输入要搜索的内容...

自定义 ETL 和数据迁移工具

自定义 ETL 和数据迁移工具

KDRM 为需要在数据库、API、文件、云平台、企业系统和空间环境之间可靠移动数据的组织设计和构建自定义 ETL、数据迁移、审核和协调工具。我们根据客户端环境、数据量、转换的复杂性以及所需的自动化级别使用 FME、Alteryx、Python、SQL、ArcPy 和其他定制开发的工具。

这些工具可用于一次性迁移计划和可重复的操作工作流程。在某些情况下,需求是从一个平台到另一个平台的大量转换。在其他情况下,要求是支持企业环境(例如 DEV、UAT、登台和 PROD)之间内容和服务的持续升级,并具有完整的可追溯性、验证和回滚规划。

产品支持什么

  • 空间和非空间数据的提取、转换、验证、协调和加载。
  • 遗留数据模型和目标数据模型之间的模式映射和转换逻辑。
  • 要素类、表、服务、Web 地图、文档和相关配置的自动迁移。
  • 针对要素类、要素服务、地图服务、Web 地图和其他 GIS 内容的数据质量审核。
  • 异常报告、补救工作列表和迁移审核跟踪,以支持受控交付和移交。
  • 计划的 ETL 作业、批量迁移运行以及针对长时间运行的程序的操作支持工具。

ArcMap 到 ArcGIS Pro 迁移自动化

KDRM 开发了 Python 驱动的迁移工具,用于自动将 ArcMap 地图文档迁移到 ArcGIS Pro 项目。我们的工具清单 MXD 文件,将其转换为 APRX 项目,验证迁移结果,并生成有关迁移结果、异常、数据源问题、损坏的层和需要手动修复的项目的报告。

我们已经使用这种方法为多个客户端迁移了数百个 ArcMap 地图文档。此类工具的价值不仅仅是速度。它还提供可重复性、可审核性、质量保证,以及关于迁移成功、迁移失败以及仍需要手动跟进的可靠记录。

企业环境迁移与提升

我们还构建了用于在企业环境之间自动迁移和推广地图服务、要素服务和相关网络地图内容的工具。这包括 DEV、UAT 和 PROD 等环境之间的受控移动,以及确认服务、依赖项和配置在升级后仍然有效所需的支持检查。

在主要客户端环境中,KDRM 使用自动迁移工具在很短的时间内跨多个企业环境移动数百个 Web 地图和要素服务。我们还构建了通过将批准的服务层直接连接到托管数据存储和 API 来减少或消除不必要的重新发布瓶颈的方法,这是更好的长期运营设计。

审核和质量保证工具

除了迁移工具之外,KDRM 还开发了许多用于审核要素类、要素服务、地图服务、Web 地图和相关 GIS 内容的工具。这些工具用于识别损坏的层、无效的数据源、架构不一致、元数据丢失、几何或属性问题、服务配置问题以及大型企业资产中常见的其他风险。这种审核功能在大型转型计划中尤其重要,因为它允许团队在迁移前评估准备情况,验证迁移后的结果,并生成清晰的问题日志以进行修复。如果需要,我们还支持自动化单元测试、集成测试、部署运行表、软件部署策略和操作移交文档。

项目和行业经验

KDRM 领导并支持多个大型项目和部门的数据迁移和转换工作,包括地籍、公用事业、铁路、采矿和环境计划。这种体验包括桌面 GIS 内容、企业级地理数据库、服务层、Web 制图内容、API 和更广泛的空间应用程序集成。

我们的交付模式专为高度负责的迁移工作而设计:高级技术人员、脚本化的可重复工作流程、清晰的审计跟踪和自动化,可有效减少人工工作量、风险和返工。在较大的转型计划中,这意味着我们可以帮助制定迁移策略、构建工具、执行试验和生产迁移、支持测试,并提供运营团队自信地掌握所有权所需的报告和移交。