Пользовательские ETL и инструменты миграции данных
KDRM разрабатывает и создает специальные инструменты ETL, миграции данных, аудита и сверки для организаций, которым требуется надежное перемещение данных между базами данных, API, файлами, облачными платформами, корпоративными системами и пространственными средами. Мы используем FME, Alteryx, Python, SQL, ArcPy и другие специально разработанные инструменты в зависимости от клиентской среды, объема данных, сложности преобразований и требуемого уровня автоматизации.
Эти инструменты используются как для разовых программ миграции, так и для повторяемых рабочих процессов. В некоторых случаях требуется большой переход с одной платформы на другую. В других случаях требуется поддержка постоянного продвижения контента и услуг между корпоративными средами, такими как DEV, UAT, Staging и PROD, с полной отслеживаемостью, проверкой и планированием отката.
Что поддерживает продукт
- Извлечение, преобразование, проверка, согласование и загрузка пространственных и непространственных данных.
- Сопоставление схем и логика преобразования между устаревшими и целевыми моделями данных.
- Автоматическая миграция классов объектов, таблиц, сервисов, веб-карт, документов и соответствующей конфигурации.
- Аудит качества данных для классов объектов, сервисов объектов, картографических сервисов, веб-карт и другого контента ГИС.
- Отчеты об исключениях, рабочие списки исправлений и журналы аудита миграции для поддержки контролируемой доставки и передачи.
- Запланированные задания ETL, запуски пакетной миграции и инструменты оперативной поддержки для долговыполняющихся программ.
Автоматизация миграции ArcMap в ArcGIS Pro
KDRM разработала инструмент миграции на основе Python для автоматизации переноса документов карт ArcMap в проекты ArcGIS Pro. Наши инструменты инвентаризируют файлы MXD, преобразуют их в проекты APRX, проверяют результаты миграции и создают отчеты о результатах миграции, исключениях, проблемах с источниками данных, поврежденных слоях и элементах, требующих исправления вручную.
Мы использовали этот подход для миграции сотен документов карт ArcMap для нескольких клиентов. Ценность этого типа инструментов заключается не только в скорости. Он также обеспечивает повторяемость, возможность аудита, гарантию качества и надежную запись того, что было перенесено успешно, что не удалось, а что все еще требует ручного контроля.
Миграция и продвижение корпоративной среды
Мы также создали инструменты для автоматической миграции и продвижения картографических сервисов, сервисов объектов и соответствующего картографического веб-контента между корпоративными средами. Это включает в себя контролируемое перемещение между средами, такими как DEV, UAT и PROD, а также вспомогательные проверки, необходимые для подтверждения того, что службы, зависимости и конфигурация остаются действительными после повышения.
В основных клиентских средах KDRM использовала инструменты автоматической миграции для перемещения сотен веб-карт и сервисов объектов в различные корпоративные среды за очень короткий промежуток времени. Мы также разработали подходы, которые уменьшают или устраняют ненужные узкие места, связанные с повторной публикацией, путем подключения утвержденных уровней обслуживания напрямую к управляемым хранилищам данных и API, где это является лучшим долгосрочным эксплуатационным решением.
Инструменты аудита и обеспечения качества
Помимо инструментов миграции, KDRM разработала множество инструментов для аудита классов объектов, сервисов объектов, картографических сервисов, веб-карт и связанного с ними ГИС-контента. Эти инструменты используются для выявления поврежденных слоев, недействительных источников данных, несоответствий схемы, отсутствующих метаданных, проблем с геометрией или атрибутами, проблем с конфигурацией сервисов и других рисков, которые обычно возникают в крупных предприятиях.Эта возможность аудита особенно важна в крупных программах трансформации, поскольку она позволяет командам оценивать готовность перед миграцией, проверять результаты после миграции и создавать четкие журналы проблем для устранения. При необходимости мы также поддерживаем автоматизированные модульные тесты, интеграционные тесты, таблицы выполнения развертывания, стратегии развертывания программного обеспечения и документацию по передаче операций.
Опыт проектов и отрасли
KDRM руководил и поддерживал работу по миграции и преобразованию данных в различных крупномасштабных проектах и секторах, включая кадастровые, коммунальные, железнодорожные, горнодобывающие и экологические программы. Этот опыт включает в себя содержимое настольной ГИС, корпоративные базы геоданных, слои сервисов, веб-картографический контент, API и более широкую интеграцию пространственных приложений.
Наша модель доставки предназначена для работы по миграции с высокой степенью ответственности: старший технический персонал, повторяемые рабочие процессы по сценариям, четкие контрольные журналы и автоматизация везде, где это значительно снижает ручные усилия, риски и доработку. В более крупных программах трансформации это означает, что мы можем помочь разработать стратегию миграции, создать инструменты, выполнить пробную и производственную миграцию, поддержать тестирование, а также предоставить отчеты и передачу данных, необходимые для того, чтобы оперативные группы могли уверенно взять на себя ответственность.