ETL tùy chỉnh và công cụ di chuyển dữ liệu

KDRM thiết kế và xây dựng các công cụ ETL, di chuyển, kiểm tra và đối chiếu dữ liệu tùy chỉnh cho các tổ chức cần sự di chuyển dữ liệu đáng tin cậy giữa cơ sở dữ liệu, API, tệp, nền tảng đám mây, hệ thống doanh nghiệp và môi trường không gian. Chúng tôi sử dụng FME, Alterx, Python, SQL, ArcPy và các công cụ được phát triển tùy chỉnh khác tùy thuộc vào môi trường máy khách, khối lượng dữ liệu, độ phức tạp của các phép biến đổi và mức độ tự động hóa cần thiết.

Những công cụ này được sử dụng cho cả chương trình di chuyển một lần và quy trình hoạt động lặp lại. Trong một số trường hợp, yêu cầu là phải chuyển đổi lớn từ nền tảng này sang nền tảng khác. Trong các trường hợp khác, yêu cầu là hỗ trợ quảng bá liên tục nội dung và dịch vụ giữa các môi trường doanh nghiệp như DEV, UAT, dàn dựng và PROD với đầy đủ khả năng truy nguyên, xác thực và lập kế hoạch khôi phục.

Sản phẩm hỗ trợ những gì

• Khai thác, chuyển đổi, xác nhận, đối chiếu và tải dữ liệu không gian và phi không gian.
• Lập bản đồ lược đồ và logic chuyển đổi giữa các mô hình dữ liệu kế thừa và dữ liệu đích.
• Tự động di chuyển các lớp tính năng, bảng, dịch vụ, bản đồ web, tài liệu và cấu hình liên quan.
• Kiểm tra chất lượng dữ liệu cho các lớp đối tượng, dịch vụ đối tượng, dịch vụ bản đồ, bản đồ web và nội dung GIS khác.
• Báo cáo ngoại lệ, danh sách công việc khắc phục và các bản kiểm tra di chuyển để hỗ trợ việc chuyển giao và chuyển giao có kiểm soát.
• Các công việc ETL theo lịch trình, các lần di chuyển hàng loạt và công cụ hỗ trợ vận hành cho các chương trình chạy dài.

Tự động di chuyển ArcMap sang ArcGIS Pro

KDRM đã phát triển công cụ di chuyển dựa trên Python để tự động hóa việc di chuyển các tài liệu bản đồ ArcMap sang các dự án ArcGIS Pro. Công cụ của chúng tôi kiểm kê các tệp MXD, chuyển đổi chúng thành dự án APRX, xác thực kết quả di chuyển và tạo báo cáo về kết quả di chuyển, ngoại lệ, sự cố nguồn dữ liệu, lớp bị hỏng và các mục cần khắc phục thủ công.

Chúng tôi đã sử dụng phương pháp này để di chuyển hàng trăm tài liệu bản đồ ArcMap cho nhiều khách hàng. Giá trị của loại công cụ này không chỉ là tốc độ. Nó cũng cung cấp khả năng lặp lại, khả năng kiểm tra, đảm bảo chất lượng và bản ghi có thể bảo vệ được về những gì đã di chuyển thành công, những gì đã thất bại và những gì vẫn cần theo dõi thủ công.

Di chuyển và thăng tiến môi trường doanh nghiệp

Chúng tôi cũng đã xây dựng các công cụ để di chuyển tự động và quảng cáo các dịch vụ bản đồ, dịch vụ tính năng và nội dung lập bản đồ web có liên quan giữa các môi trường doanh nghiệp. Điều này bao gồm chuyển động được kiểm soát giữa các môi trường như DEV, UAT và PROD, cùng với các bước kiểm tra hỗ trợ cần thiết để xác nhận rằng các dịch vụ, phần phụ thuộc và cấu hình vẫn hợp lệ sau khi nâng cấp.

Trên các môi trường máy khách lớn, KDRM đã sử dụng các công cụ di chuyển tự động để di chuyển hàng trăm bản đồ web và các dịch vụ nổi bật trên nhiều môi trường doanh nghiệp trong một khung thời gian rất ngắn. Chúng tôi cũng đã xây dựng các phương pháp giúp giảm bớt hoặc loại bỏ các nút thắt cổ chai khi xuất bản lại không cần thiết bằng cách kết nối trực tiếp các lớp dịch vụ đã được phê duyệt với các kho dữ liệu và API được quản lý, nơi đó là thiết kế hoạt động lâu dài tốt hơn.

Công cụ kiểm tra và đảm bảo chất lượng

Ngoài công cụ di chuyển, KDRM đã phát triển nhiều công cụ để kiểm tra các lớp đối tượng, dịch vụ đối tượng, dịch vụ bản đồ, bản đồ web và nội dung GIS liên quan. Các công cụ này được sử dụng để xác định các lớp bị hỏng, nguồn dữ liệu không hợp lệ, sự không nhất quán trong lược đồ, thiếu siêu dữ liệu, các vấn đề về hình học hoặc thuộc tính, các vấn đề về cấu hình dịch vụ và các rủi ro khác thường xuất hiện trong các khu vực doanh nghiệp lớn.Khả năng kiểm tra này đặc biệt quan trọng trong các chương trình chuyển đổi lớn vì nó cho phép các nhóm đánh giá mức độ sẵn sàng trước khi di chuyển, xác thực kết quả sau khi di chuyển và tạo ra nhật ký sự cố rõ ràng để khắc phục. Khi được yêu cầu, chúng tôi cũng hỗ trợ kiểm tra đơn vị tự động, kiểm tra tích hợp, bảng chạy triển khai, chiến lược triển khai phần mềm và tài liệu bàn giao vận hành.

Kinh nghiệm dự án và lĩnh vực

KDRM đã lãnh đạo và hỗ trợ công việc di chuyển và chuyển đổi dữ liệu trên nhiều dự án và lĩnh vực quy mô lớn, bao gồm các chương trình địa chính, tiện ích, đường sắt, khai thác mỏ và môi trường. Trải nghiệm đó bao gồm nội dung GIS trên máy tính để bàn, cơ sở dữ liệu địa lý doanh nghiệp, lớp dịch vụ, nội dung bản đồ web, API và tích hợp ứng dụng không gian rộng hơn.

Mô hình phân phối của chúng tôi được thiết kế cho công việc di chuyển có trách nhiệm cao: nhân viên kỹ thuật cấp cao, quy trình làm việc có thể lặp lại theo kịch bản, quy trình kiểm tra rõ ràng và tự động hóa ở bất kỳ nơi nào giúp giảm đáng kể nỗ lực thủ công, rủi ro và việc làm lại. Trong các chương trình chuyển đổi lớn hơn, điều này có nghĩa là chúng tôi có thể giúp thiết lập chiến lược di chuyển, xây dựng công cụ, thực hiện di chuyển thử nghiệm và sản xuất, hỗ trợ thử nghiệm cũng như cung cấp báo cáo và bàn giao cần thiết để các nhóm vận hành tự tin nắm quyền sở hữu.