ETL personalizzati e strumenti di migrazione dei dati

KDRM progetta e realizza strumenti ETL personalizzati, migrazione dei dati, controllo e riconciliazione per le organizzazioni che necessitano di uno spostamento affidabile dei dati tra database, API, file, piattaforme cloud, sistemi aziendali e ambienti spaziali. Utilizziamo FME, Alteryx, Python, SQL, ArcPy e altri strumenti sviluppati su misura a seconda dell’ambiente client, del volume di dati, della complessità delle trasformazioni e del livello di automazione richiesto.

Questi strumenti vengono utilizzati sia per programmi di migrazione una tantum che per flussi di lavoro operativi ripetibili. In alcuni casi il requisito è un ampio passaggio da una piattaforma all’altra. In altri casi il requisito è supportare la promozione continua di contenuti e servizi tra ambienti aziendali come DEV, UAT, staging e PROD con tracciabilità, convalida e pianificazione di rollback complete.

Cosa supporta il prodotto

• Estrazione, trasformazione, validazione, riconciliazione e caricamento di dati spaziali e non spaziali.
• Mappatura dello schema e logica di trasformazione tra modelli di dati legacy e di destinazione.
• Migrazione automatizzata di classi di funzionalità, tabelle, servizi, mappe Web, documenti e relativa configurazione.
• Controllo della qualità dei dati per classi di entità geografiche, servizi di entità geografiche, servizi di mappa, mappe Web e altri contenuti GIS.
• Reporting sulle eccezioni, liste di lavoro di correzione e audit trail di migrazione per supportare la consegna e il passaggio controllati.
• Lavori ETL pianificati, esecuzioni di migrazione batch e strumenti di supporto operativo per programmi a lunga esecuzione.

Automazione della migrazione da ArcMap ad ArcGIS Pro

KDRM ha sviluppato strumenti di migrazione basati su Python per automatizzare la migrazione dei documenti cartografici ArcMap ai progetti ArcGIS Pro. I nostri strumenti inventariano i file MXD, li convertono in progetti APRX, convalidano i risultati della migrazione e producono report sui risultati della migrazione, eccezioni, problemi relativi all’origine dati, livelli danneggiati ed elementi che richiedono una riparazione manuale.

Abbiamo utilizzato questo approccio per migrare centinaia di documenti cartografici ArcMap per più client. Il valore di questo tipo di attrezzatura non è solo la velocità. Fornisce inoltre ripetibilità, verificabilità, garanzia di qualità e una registrazione difendibile di ciò che è stato migrato con successo, di ciò che non è riuscito e di ciò che richiede ancora un follow-up manuale.

Migrazione e promozione dell’ambiente aziendale

Abbiamo inoltre creato strumenti per la migrazione automatizzata e la promozione di servizi di mappa, servizi di funzionalità e relativi contenuti di mappatura Web tra ambienti aziendali. Ciò include lo spostamento controllato tra ambienti come DEV, UAT e PROD, insieme ai controlli di supporto necessari per confermare che servizi, dipendenze e configurazione rimangano validi dopo la promozione.

Sui principali ambienti client, KDRM ha utilizzato strumenti di migrazione automatizzata per spostare centinaia di mappe Web e servizi di funzionalità su più ambienti aziendali in un periodo di tempo molto breve. Abbiamo inoltre creato approcci che riducono o rimuovono i colli di bottiglia della ripubblicazione non necessari collegando i livelli di servizio approvati direttamente agli archivi dati gestiti e alle API dove questa rappresenta la migliore progettazione operativa a lungo termine.

Strumenti di audit e garanzia della qualità

Oltre agli strumenti di migrazione, KDRM ha sviluppato molti strumenti per il controllo di classi di funzionalità, servizi di funzionalità, servizi di mappa, mappe Web e contenuto GIS correlato. Questi strumenti vengono utilizzati per identificare layer danneggiati, origini dati non valide, incoerenze di schemi, metadati mancanti, problemi di geometria o attributi, problemi di configurazione del servizio e altri rischi che comunemente compaiono nelle grandi aziende.Questa capacità di controllo è particolarmente importante nei programmi di trasformazione di grandi dimensioni perché consente ai team di valutare la preparazione prima della migrazione, convalidare i risultati dopo la migrazione e produrre registri chiari dei problemi per la risoluzione. Ove richiesto, supportiamo anche test unitari automatizzati, test di integrazione, fogli di esecuzione della distribuzione, strategie di distribuzione del software e documentazione di passaggio operativo.

Esperienza progettuale e di settore

KDRM ha guidato e supportato il lavoro di migrazione e trasformazione dei dati in molteplici progetti e settori su larga scala, tra cui catasto, servizi pubblici, ferrovie, miniere e programmi ambientali. Tale esperienza include contenuti GIS desktop, geodatabase aziendali, livelli di servizio, contenuti di mappatura web, API e una più ampia integrazione di applicazioni spaziali.

Il nostro modello di fornitura è progettato per attività di migrazione ad alta responsabilità: personale tecnico senior, flussi di lavoro ripetibili con script, audit trail chiari e automazione ovunque riduca significativamente lo sforzo manuale, i rischi e le rilavorazioni. Su programmi di trasformazione più ampi, ciò significa che possiamo aiutare a stabilire la strategia di migrazione, costruire gli strumenti, eseguire migrazioni di prova e di produzione, supportare i test e fornire il reporting e il passaggio di consegne necessari affinché i team operativi possano assumerne la proprietà con sicurezza.