カスタム ETL とデータ移行ツール

KDRM は、データベース、API、ファイル、クラウド プラットフォーム、エンタープライズ システム、空間環境の間でデータを確実に移動する必要がある組織向けに、カスタム ETL、データ移行、監査、調整ツールを設計および構築します。当社では、クライアント環境、データ量、変換の複雑さ、必要な自動化のレベルに応じて、FME、Alteryx、Python、SQL、ArcPy、その他のカスタム開発ツールを使用します。

これらのツールは、1 回限りの移行プログラムと反復可能な運用ワークフローの両方に使用されます。場合によっては、あるプラットフォームから別のプラットフォームへの大規模な切り替えが要件となることがあります。他のケースでは、完全なトレーサビリティ、検証、ロールバック計画を備えた DEV、UAT、ステージング、PROD などのエンタープライズ環境間でのコンテンツとサービスの継続的なプロモーションをサポートすることが要件となります。

製品がサポートするもの

• 空間データと非空間データの抽出、変換、検証、調整、ロード。
• 従来のデータ モデルとターゲット データ モデル間のスキーマ マッピングと変換ロジック。
• フィーチャクラス、テーブル、サービス、Web マップ、ドキュメント、および関連構成の自動移行。
• フィーチャクラス、フィーチャ サービス、マップ サービス、Web マップ、およびその他の GIS コンテンツのデータ品質監査。
• 例外レポート、修復ワークリスト、移行監査証跡により、制御された配信と引き継ぎをサポートします。
• スケジュールされた ETL ジョブ、バッチ移行の実行、および長時間実行プログラムの運用サポート ツール。

ArcMap から ArcGIS Pro への移行の自動化

KDRM は、ArcMap マップ ドキュメントの ArcGIS Pro プロジェクトへの移行を自動化する、Python ベースの移行ツールを開発しました。当社のツールは、MXD ファイルのインベントリを作成し、それらを APRX プロジェクトに変換し、移行結果を検証し、移行結果、例外、データ ソースの問題、破損したレイヤー、および手動修復が必要な項目に関するレポートを作成します。

私たちはこのアプローチを使用して、複数のクライアントの何百もの ArcMap マップ ドキュメントを移行しました。このタイプのツールの価値は速度だけではありません。また、再現性、監査可能性、品質保証、および何が正常に移行されたか、何が失敗したか、そして何が依然として手動によるフォローアップが必要かについての防御可能な記録も提供します。

エンタープライズ環境の移行と推進

また、エンタープライズ環境間でのマップ サービス、フィーチャ サービス、および関連する Web マッピング コンテンツの自動移行とプロモーションのためのツールも構築しました。これには、DEV、UAT、PROD などの環境間の制御された移動と、昇格後もサービス、依存関係、構成が有効であることを確認するために必要なサポート チェックが含まれます。

主要なクライアント環境では、KDRM は自動移行ツールを使用して、数百の Web マップとフィーチャ サービスを複数のエンタープライズ環境間で非常に短期間で移行しました。また、承認されたサービス レイヤーをマネージド データ ストアや API に直接接続することで、不必要な再公開のボトルネックを軽減または除去するアプローチも構築しました。これが長期的な運用設計としてより適切です。

監査および品質保証ツール

移行ツールに加えて、KDRM はフィーチャクラス、フィーチャ サービス、マップ サービス、Web マップ、および関連する GIS コンテンツを監査するための多くのツールを開発しました。これらのツールは、壊れたレイヤー、無効なデータ ソース、スキーマの不一致、メタデータの欠落、ジオメトリまたは属性の問題、サービス構成の問題、および大規模な企業資産で一般的に発生するその他のリスクを特定するために使用されます。この監査機能は、チームが移行前に準備状況を評価し、移行後に結果を検証し、修復のための明確な問題ログを作成できるため、大規模な変革プログラムでは特に重要です。必要に応じて、自動化された単体テスト、統合テスト、展開実行シート、ソフトウェア展開戦略、運用引き継ぎドキュメントもサポートします。

プロジェクトとセクターの経験

KDRM は、地籍、公益事業、鉄道、鉱業、環境プログラムなど、複数の大規模プロジェクトやセクターにわたるデータ移行と変換作業を主導し、サポートしてきました。このエクスペリエンスには、デスクトップ GIS コンテンツ、エンタープライズ ジオデータベース、サービス レイヤー、Web マッピング コンテンツ、API、および広範な空間アプリケーションの統合が含まれます。

当社の提供モデルは、上級技術スタッフ、スクリプト化された反復可能なワークフロー、明確な監査証跡、および手動の労力、リスク、およびやり直し作業を大幅に削減する自動化など、責任の高い移行作業向けに設計されています。これは、大規模な変革プログラムにおいて、移行戦略の確立、ツールの構築、試行移行と実稼働移行の実行、テストのサポート、そして運用チームが自信を持って所有権を握るために必要なレポートと引き継ぎを提供できることを意味します。