ETLs personalizados e ferramentas de migração de dados

KDRM projeta e constrói ferramentas personalizadas de ETL, migração de dados, auditoria e reconciliação para organizações que precisam de movimentação confiável de dados entre bancos de dados, APIs, arquivos, plataformas em nuvem, sistemas corporativos e ambientes espaciais. Utilizamos FME, Alteryx, Python, SQL, ArcPy e outras ferramentas desenvolvidas sob medida dependendo do ambiente do cliente, do volume de dados, da complexidade das transformações e do nível de automação necessário.

Essas ferramentas são usadas tanto para programas de migração únicos quanto para fluxos de trabalho operacionais repetíveis. Em alguns casos, o requisito é uma grande transição de uma plataforma para outra. Em outros casos, o requisito é apoiar a promoção contínua de conteúdo e serviços entre ambientes empresariais, como DEV, UAT, teste e PROD, com total rastreabilidade, validação e planejamento de reversão.

O que o produto suporta

• Extração, transformação, validação, reconciliação e carregamento de dados espaciais e não espaciais.
• Mapeamento de esquema e lógica de transformação entre modelos de dados legados e alvo.
• Migração automatizada de classes de recursos, tabelas, serviços, mapas da web, documentos e configurações relacionadas.
• Auditoria de qualidade de dados para classes de feições, serviços de feições, serviços de mapas, mapas da web e outros conteúdos GIS.
• Relatórios de exceções, listas de trabalho de remediação e trilhas de auditoria de migração para dar suporte à entrega e transferência controladas.
• Trabalhos ETL agendados, execuções de migração em lote e ferramentas de suporte operacional para programas de longa execução.

Automação de migração do ArcMap para ArcGIS Pro

KDRM desenvolveu ferramentas de migração orientadas por Python para automatizar a migração de documentos de mapas ArcMap para projetos ArcGIS Pro. Nossas ferramentas inventariam arquivos MXD, convertem-nos em projetos APRX, validam os resultados da migração e produzem relatórios sobre resultados de migração, exceções, problemas de fonte de dados, camadas quebradas e itens que exigem correção manual.

Usamos essa abordagem para migrar centenas de documentos de mapas ArcMap para vários clientes. O valor deste tipo de ferramenta não é apenas a velocidade. Também fornece repetibilidade, auditabilidade, garantia de qualidade e um registro defensável do que foi migrado com sucesso, do que falhou e do que ainda requer acompanhamento manual.

Migração e promoção de ambiente empresarial

Também construímos ferramentas para migração automatizada e promoção de serviços de mapas, serviços de recursos e conteúdo de mapeamento da web relacionado entre ambientes corporativos. Isso inclui a movimentação controlada entre ambientes como DEV, UAT e PROD, juntamente com as verificações de suporte necessárias para confirmar se os serviços, as dependências e a configuração permanecem válidos após a promoção.

Nos principais ambientes de clientes, o KDRM usou ferramentas de migração automatizadas para mover centenas de mapas da web e serviços de recursos em vários ambientes corporativos em um período de tempo muito curto. Também criamos abordagens que reduzem ou eliminam gargalos desnecessários de republicação, conectando camadas de serviço aprovadas diretamente a armazenamentos de dados gerenciados e APIs, onde esse é o melhor design operacional de longo prazo.

Ferramentas de auditoria e garantia de qualidade

Além das ferramentas de migração, a KDRM desenvolveu muitas ferramentas para auditar classes de feições, serviços de feições, serviços de mapas, mapas da web e conteúdo GIS relacionado. Essas ferramentas são usadas para identificar camadas quebradas, fontes de dados inválidas, inconsistências de esquema, metadados ausentes, problemas de geometria ou atributos, problemas de configuração de serviço e outros riscos que comumente aparecem em grandes propriedades empresariais.Esta capacidade de auditoria é especialmente importante em grandes programas de transformação porque permite que as equipas avaliem a preparação antes da migração, validem os resultados após a migração e produzam registos claros de problemas para remediação. Quando necessário, também oferecemos suporte a testes unitários automatizados, testes de integração, planilhas de execução de implantação, estratégias de implantação de software e documentação de transferência operacional.

Experiência em projetos e setor

A KDRM liderou e apoiou o trabalho de migração e transformação de dados em vários projetos e setores de grande escala, incluindo programas de cadastro, serviços públicos, ferroviários, de mineração e ambientais. Essa experiência inclui conteúdo GIS de desktop, bancos de dados geográficos corporativos, camadas de serviço, conteúdo de mapeamento da web, APIs e integração mais ampla de aplicativos espaciais.

Nosso modelo de entrega foi projetado para trabalhos de migração de alta responsabilidade: equipe técnica sênior, fluxos de trabalho repetíveis com script, trilhas de auditoria claras e automação onde quer que reduza significativamente o esforço manual, o risco e o retrabalho. Em programas de transformação maiores, isso significa que podemos ajudar a estabelecer a estratégia de migração, construir as ferramentas, executar migrações de teste e produção, apoiar testes e fornecer os relatórios e a transferência necessários para que as equipes operacionais assumam a responsabilidade com confiança.