ETL แบบกำหนดเองและเครื่องมือการย้ายข้อมูล

KDRM ออกแบบและสร้างเครื่องมือ ETL การโยกย้ายข้อมูล การตรวจสอบ และการกระทบยอดแบบกำหนดเองสำหรับองค์กรที่ต้องการการเคลื่อนย้ายข้อมูลที่เชื่อถือได้ระหว่างฐานข้อมูล, API, ไฟล์, แพลตฟอร์มคลาวด์, ระบบองค์กร และสภาพแวดล้อมเชิงพื้นที่ เราใช้ FME, Alteryx, Python, SQL, ArcPy และเครื่องมืออื่นๆ ที่พัฒนาขึ้นเอง ขึ้นอยู่กับสภาพแวดล้อมไคลเอ็นต์ ปริมาณข้อมูล ความซับซ้อนของการแปลง และระดับของระบบอัตโนมัติที่ต้องการ

เครื่องมือเหล่านี้ใช้สำหรับทั้งโปรแกรมการโยกย้ายแบบครั้งเดียวและเวิร์กโฟลว์การปฏิบัติงานที่ทำซ้ำได้ ในบางกรณี ข้อกำหนดก็คือการตัดขนาดใหญ่จากแพลตฟอร์มหนึ่งไปยังอีกแพลตฟอร์มหนึ่ง ในกรณีอื่นๆ ข้อกำหนดคือการสนับสนุนการโปรโมตเนื้อหาและบริการอย่างต่อเนื่องระหว่างสภาพแวดล้อมขององค์กร เช่น DEV, UAT, การจัดเตรียม และ PROD ด้วยความสามารถในการตรวจสอบย้อนกลับ การตรวจสอบความถูกต้อง และการวางแผนการย้อนกลับอย่างสมบูรณ์

สินค้ารองรับอะไรบ้าง

• การสกัด การแปลง การตรวจสอบความถูกต้อง การกระทบยอด และการโหลดข้อมูลเชิงพื้นที่และไม่ใช่เชิงพื้นที่
• การทำแผนที่สคีมาและตรรกะการเปลี่ยนแปลงระหว่างโมเดลข้อมูลเดิมและเป้าหมาย
• การย้ายคลาสคุณลักษณะ ตาราง บริการ แผนที่เว็บ เอกสาร และการกำหนดค่าที่เกี่ยวข้องโดยอัตโนมัติ
• การตรวจสอบคุณภาพข้อมูลสำหรับคลาสฟีเจอร์ บริการฟีเจอร์ บริการแผนที่ แผนที่เว็บ และเนื้อหา GIS อื่นๆ
• การรายงานข้อยกเว้น รายการงานการแก้ไข และเส้นทางการตรวจสอบการโยกย้ายเพื่อรองรับการจัดส่งและการส่งมอบที่มีการควบคุม
• งาน ETL ที่กำหนดเวลาไว้ การรันการโยกย้ายเป็นชุด และเครื่องมือสนับสนุนการปฏิบัติงานสำหรับโปรแกรมที่รันระยะยาว

ArcMap สู่ ArcGIS Pro การโยกย้ายอัตโนมัติ

KDRM ได้พัฒนาเครื่องมือการโยกย้ายที่ขับเคลื่อนด้วย Python เพื่อทำให้การโยกย้ายเอกสารแผนที่ ArcMap ไปยังโปรเจ็กต์ ArcGIS Pro เป็นแบบอัตโนมัติ เครื่องมือของเราจะจัดเก็บไฟล์ MXD แปลงเป็นโปรเจ็กต์ APRX ตรวจสอบผลการโยกย้าย และสร้างรายงานเกี่ยวกับผลลัพธ์การโยกย้าย ข้อยกเว้น ปัญหาแหล่งข้อมูล เลเยอร์ที่เสียหาย และรายการที่ต้องมีการแก้ไขด้วยตนเอง

เราได้ใช้วิธีการนี้เพื่อย้ายเอกสารแผนที่ ArcMap หลายร้อยรายการสำหรับไคลเอนต์หลายราย คุณค่าของเครื่องมือประเภทนี้ไม่ใช่แค่ความเร็วเท่านั้น นอกจากนี้ ยังให้ความสามารถในการทำซ้ำ การตรวจสอบได้ การประกันคุณภาพ และบันทึกที่สามารถป้องกันได้ของสิ่งใดที่ย้ายสำเร็จ สิ่งใดที่ล้มเหลว และสิ่งใดที่ยังต้องมีการติดตามผลด้วยตนเอง

การโยกย้ายและการส่งเสริมสภาพแวดล้อมองค์กร

นอกจากนี้เรายังได้สร้างเครื่องมือสำหรับการโยกย้ายอัตโนมัติและการส่งเสริมบริการแผนที่ บริการฟีเจอร์ และเนื้อหาการทำแผนที่เว็บที่เกี่ยวข้องระหว่างสภาพแวดล้อมขององค์กร ซึ่งรวมถึงการเคลื่อนไหวที่มีการควบคุมระหว่างสภาพแวดล้อม เช่น DEV, UAT และ PROD พร้อมด้วยการตรวจสอบที่รองรับที่จำเป็นเพื่อยืนยันว่าบริการ การขึ้นต่อกัน และการกำหนดค่ายังคงใช้ได้หลังจากการเลื่อนระดับ

ในสภาพแวดล้อมไคลเอนต์หลัก KDRM ได้ใช้เครื่องมือการย้ายอัตโนมัติเพื่อย้ายแผนที่เว็บและบริการคุณลักษณะหลายร้อยรายการผ่านสภาพแวดล้อมองค์กรหลายแห่งในกรอบเวลาที่สั้นมาก นอกจากนี้เรายังสร้างแนวทางที่จะลดหรือขจัดปัญหาคอขวดในการเผยแพร่ซ้ำโดยไม่จำเป็นโดยการเชื่อมต่อชั้นบริการที่ได้รับอนุมัติโดยตรงกับที่เก็บข้อมูลและ API ที่มีการจัดการ ซึ่งเป็นการออกแบบการดำเนินงานในระยะยาวที่ดีกว่า

เครื่องมือตรวจสอบและประกันคุณภาพ

นอกเหนือจากเครื่องมือการย้ายข้อมูลแล้ว KDRM ยังได้พัฒนาเครื่องมือมากมายสำหรับการตรวจสอบคลาสคุณลักษณะ บริการคุณลักษณะ บริการแผนที่ แผนที่เว็บ และเนื้อหา GIS ที่เกี่ยวข้อง เครื่องมือเหล่านี้ใช้เพื่อระบุเลเยอร์ที่เสียหาย แหล่งข้อมูลที่ไม่ถูกต้อง ความไม่สอดคล้องกันของสคีมา ข้อมูลเมตาที่หายไป ปัญหาเรขาคณิตหรือคุณลักษณะ ปัญหาการกำหนดค่าบริการ และความเสี่ยงอื่น ๆ ที่มักปรากฏในพื้นที่ขององค์กรขนาดใหญ่ความสามารถในการตรวจสอบนี้มีความสำคัญอย่างยิ่งในโปรแกรมการเปลี่ยนแปลงขนาดใหญ่ เนื่องจากช่วยให้ทีมสามารถประเมินความพร้อมก่อนการโยกย้าย ตรวจสอบผลลัพธ์หลังจากการโยกย้าย และสร้างบันทึกปัญหาที่ชัดเจนสำหรับการแก้ไข หากจำเป็น เรายังสนับสนุนการทดสอบหน่วยอัตโนมัติ การทดสอบการรวม รันชีทการปรับใช้ กลยุทธ์การปรับใช้ซอฟต์แวร์ และเอกสารการส่งมอบการปฏิบัติงาน

ประสบการณ์โครงการและภาคส่วน

KDRM ได้เป็นผู้นำและสนับสนุนงานการโยกย้ายและการเปลี่ยนแปลงข้อมูลในโครงการและภาคส่วนขนาดใหญ่หลายโครงการ รวมถึงโครงการเกี่ยวกับที่ดิน สาธารณูปโภค รถไฟ เหมืองแร่ และสิ่งแวดล้อม ประสบการณ์ดังกล่าวรวมถึงเนื้อหา GIS บนเดสก์ท็อป ฐานข้อมูลทางภูมิศาสตร์ขององค์กร ชั้นบริการ เนื้อหาการทำแผนที่เว็บ API และการบูรณาการแอปพลิเคชันเชิงพื้นที่ที่กว้างขึ้น

รูปแบบการส่งมอบของเราได้รับการออกแบบสำหรับงานย้ายข้อมูลที่มีความรับผิดชอบสูง: เจ้าหน้าที่ด้านเทคนิคอาวุโส ขั้นตอนการทำงานที่ทำซ้ำได้โดยใช้สคริปต์ เส้นทางการตรวจสอบที่ชัดเจน และระบบอัตโนมัติในทุกที่ที่ช่วยลดความพยายามด้วยตนเอง ความเสี่ยง และการทำงานซ้ำได้อย่างมีนัยสำคัญ ในโปรแกรมการเปลี่ยนแปลงขนาดใหญ่ หมายความว่าเราสามารถช่วยสร้างกลยุทธ์การย้ายข้อมูล สร้างเครื่องมือ ดำเนินการย้ายการทดลองและการใช้งานจริง รองรับการทดสอบ และจัดให้มีการรายงานและการส่งมอบที่จำเป็นสำหรับทีมปฏิบัติการในการเป็นเจ้าของอย่างมั่นใจ