รหัส

สคริปต์นี้มีประโยชน์สำหรับการตรวจสอบข้อมูลเมตา สคริปต์สามารถทำงานได้บนฐานข้อมูลทางภูมิศาสตร์ enterprise หลายฐานข้อมูล และจะสร้างไฟล์ CSV เอาท์พุตที่มีคอลัมน์เหล่านี้: 'Geodatabase', 'Feature Dataset', 'Feature Class', 'Spatial Reference', 'Spatial Reference', 'Row Count', 'Column Count', 'Column Count', 'Metadata Title', 'Metadata Description', 'Metadata Summary', 'Metadata Credits', 'ข้อจำกัดการเข้าถึงข้อมูลเมตา'

หากต้องการใช้สคริปต์นี้ คุณต้องเปลี่ยนบรรทัด 19 ให้ชี้ไปที่ไฟล์การเชื่อมต่อ SDE ของคุณ

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

สคริปต์นี้มีประโยชน์สำหรับการตรวจสอบข้อมูลเมตา สคริปต์สามารถเรียกใช้บนฐานข้อมูลทางภูมิศาสตร์ file หลายฐานข้อมูล และจะสร้างไฟล์ CSV เอาต์พุตที่มีคอลัมน์เหล่านี้: 'แก้ไขล่าสุด', 'ฐานข้อมูลทางภูมิศาสตร์ของไฟล์', 'ชุดข้อมูลคุณลักษณะ', 'คลาสคุณลักษณะ', 'การอ้างอิงเชิงพื้นที่', 'จำนวนแถว', 'จำนวนคอลัมน์', 'ชื่อข้อมูลเมตา', 'คำอธิบายข้อมูลเมตา', 'สรุปข้อมูลเมตา', 'ข้อมูลเมตา เครดิต', 'ข้อจำกัดการเข้าถึงข้อมูลเมตา'

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

บางครั้งเมื่อข้อมูลถูกแปลงจากเชพไฟล์เป็นคลาสฟีเจอร์ หรือหากไม่ได้รับการดูแลเมื่อใช้เครื่องมือประมวลผลทางภูมิศาสตร์ คลาสฟีเจอร์อาจจบลงด้วยฟิลด์ที่ซ้ำซ้อน ตัวอย่างเช่น คลาสฟีเจอร์อาจมีฟิลด์ชื่อ "OBJECTID" และอาจมีฟิลด์อื่นชื่อ "OBJECTID_1" ในคลาสฟีเจอร์เดียวกัน หนึ่งในฟิลด์เหล่านี้ควรเป็นฟิลด์ OID สำหรับคลาสคุณลักษณะ แต่บางครั้งก็ไม่ชัดเจนว่าฟิลด์ OBJECTID ใดเป็นฟิลด์ที่ถูกต้อง สคริปต์ด้านล่างนี้ไม่จำเป็นต้องทราบว่าฟิลด์ใดเป็นฟิลด์ OID เนื่องจากบรรทัด 35 จะล้มเหลวหากไม่สามารถลบฟิลด์ได้ และสคริปต์จะทำงานต่อไป สคริปต์ด้านล่างแสดงวิธีการตรวจสอบชื่อฟิลด์ที่แตกต่างกันสองวิธี กล่าวคือ สามารถรวมชื่อฟิลด์ไว้ในรายการในบรรทัดที่ 10 หรือชื่อฟิลด์สามารถขึ้นต้นด้วย "OBJECTID" ในบรรทัด 33 สำหรับสคริปต์นี้ ฟิลด์ที่ถูกลบจะถูกส่งออกไปยังไฟล์ CSV ชื่อของไฟล์ CSV เอาต์พุตเป็นชื่อเดียวกับสคริปต์ Python - ดูบรรทัดที่ 12 ก่อนที่จะเรียกใช้สคริปต์ เป็นความคิดที่ดีที่จะใส่เครื่องหมายบรรทัดที่ 35 เรียกใช้สคริปต์ และตรวจสอบไฟล์ CSV เอาต์พุตเพื่อดูว่าฟิลด์ใดที่จะถูกลบ นอกจากนี้ เมื่อลบฟิลด์แล้ว จะไม่สามารถกู้คืนได้ ดังนั้นหากมีข้อสงสัย ควรสำรองฐานข้อมูลภูมิศาสตร์ของไฟล์ก่อน

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

ก่อนที่จะเผยแพร่บริการแผนที่หรือบริการคุณลักษณะ แนวทางปฏิบัติที่ดีในการคำนวณขอบเขตคลาสคุณลักษณะใหม่ก่อน เนื่องจากบางครั้งขอบเขตคลาสคุณลักษณะอาจผิดพลาดได้ มีหลายสิ่งที่อาจทำให้ขอบเขตคลาสคุณลักษณะผิดพลาด รวมถึงการรันงานการประมวลผลทางภูมิศาสตร์กับข้อมูลที่เปลี่ยนแปลงขอบเขตของข้อมูล และขอบเขตคลาสคุณลักษณะก็อาจผิดพลาดได้เช่นกันเมื่อนำเข้าข้อมูล เนื่องจากขอบเขตคลาสคุณลักษณะเริ่มต้นอาจถูกคำนวณตามชุดย่อยของข้อมูลที่นำเข้า วิธีแรกง่ายๆ ในการดูขอบเขตคลาสคุณลักษณะที่ไม่ถูกต้องคือ เมื่อคลิกที่ปุ่มซูมไปยังเลเยอร์ แผนที่จะไม่ซูมไปยังขอบเขตที่ถูกต้อง สัญญาณอีกประการหนึ่งที่แสดงว่าขอบเขตของเลเยอร์ไม่ถูกต้องคือเลเยอร์แสดงผลไม่ถูกต้อง ตัวอย่างเช่น เมื่อนำเข้าไฟล์ GeoJSON ขนาดใหญ่ อาจแสดงผลไม่ถูกต้องใน ArcGIS Pro จนกว่าจะมีการคำนวณขอบเขตใหม่สำหรับคลาสคุณลักษณะนั้น

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

สคริปต์นี้ใช้สำหรับแสดงรายการเชปไฟล์ทั้งหมดในไดเร็กทอรีเพื่อช่วยให้เข้าใจว่าคุณมีเชพไฟล์จำนวนเท่าใด เพื่อให้สามารถย้ายไปยังคลาสคุณลักษณะในฐานข้อมูลภูมิศาสตร์ของไฟล์หรือฐานข้อมูลภูมิศาสตร์ขององค์กรได้ โปรดทราบว่าโดยทั่วไปควรหลีกเลี่ยงเชพไฟล์ด้วยเหตุผลหลายประการ รูปแบบเชพไฟล์เป็นรูปแบบที่เก่ามากและมีรูปแบบที่ดีกว่ามากสำหรับการแชร์ข้อมูลเชิงพื้นที่ เชปไฟล์มีการบีบอัดไม่ดี และเมื่อข้อมูลถูกส่งออกไปยังเชปไฟล์ ชื่อฟิลด์จะถูกตัดให้เหลือสิบอักขระ ซึ่งทำให้ยากต่อการคาดเดาว่าชื่อฟิลด์เดิมคืออะไร ใช้คลาสฟีเจอร์ฐานข้อมูลภูมิศาสตร์ แพ็คเกจทางภูมิศาสตร์ geojson หรือรูปแบบอื่นๆ ก่อนที่จะพิจารณาใช้เชปไฟล์

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

สคริปต์นี้แสดงรายการข้อมูลเลเยอร์สำหรับ MXD (ไฟล์ ArcMap) และ APRX (ไฟล์ ArcGIS Pro) ผลลัพธ์จะถูกส่งออกเป็นไฟล์ CSV และมีคอลัมน์เหล่านี้:

โปรดทราบว่า ArcMap ใช้ Python 2 และ ArcGIS Pro ใช้ Python 3 ดังนั้นเพื่อให้สคริปต์ทำงานกับ Python 3 สำหรับไฟล์ MXD เราจะแปลง MXD เป็น APRX ในสคริปต์ด้านล่าง APRX นี้อยู่ในหน่วยความจำเท่านั้นและจะไม่ถูกบันทึกลงดิสก์ (แต่สามารถบันทึกลงในดิสก์ได้หากจำเป็น)

หากต้องการเรียกใช้สิ่งนี้ด้านล่างให้เปลี่ยนบรรทัดที่ 5 และ 7 และสร้าง APRX เปล่าด้วยตนเองที่สามารถโคลนลงในหน่วยความจำ (บรรทัดที่ 7)

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

สคริปต์นี้แสดงรายการข้อมูลบริการสำหรับบริการทั้งหมดและส่งออกผลลัพธ์เป็น CSV ส่วนหัวของคอลัมน์ใน CSV มีดังต่อไปนี้:

ก่อนที่จะเรียกใช้สคริปต์ ให้เปลี่ยนพารามิเตอร์จากบรรทัด 22 เป็น 31.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)