شفرة

هذا البرنامج النصي مفيد لتدقيق البيانات التعريفية. يمكن تشغيل البرنامج النصي عبر قواعد بيانات جغرافية enterprise متعددة، وسيقوم بإنشاء ملف CSV مخرج بهذه الأعمدة: "قاعدة البيانات الجغرافية"، و"مجموعة بيانات المعالم"، و"فئة المعالم"، و"المرجع المكاني"، و"عدد الصفوف"، و"عدد الأعمدة"، و"عنوان البيانات التعريفية"، و"وصف البيانات التعريفية"، و"ملخص البيانات التعريفية"، و"أرصدة البيانات التعريفية"، "قيود الوصول إلى بيانات التعريف".

لاستخدام هذا البرنامج النصي، تحتاج إلى تغيير السطر 19 للإشارة إلى ملفات اتصال SDE الخاصة بك.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

هذا البرنامج النصي مفيد لتدقيق البيانات التعريفية. يمكن تشغيل البرنامج النصي عبر قواعد بيانات جغرافية ملف متعددة، وسيقوم بإنشاء ملف CSV مخرج مع هذه الأعمدة: "آخر تعديل"، "قاعدة البيانات الجغرافية للملف"، "مجموعة بيانات المعالم"، "فئة المعالم"، "المرجع المكاني"، "عدد الصفوف"، "عدد الأعمدة"، "عنوان البيانات التعريفية"، "وصف البيانات التعريفية"، "ملخص البيانات التعريفية"، "أرصدة البيانات التعريفية"، "قيود الوصول إلى البيانات التعريفية".

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

في بعض الأحيان عندما يتم تحويل البيانات من ملفات الأشكال إلى فئات المعالم، أو إذا لم يتم توخي الحذر عند تشغيل أدوات المعالجة الجغرافية، يمكن أن تنتهي فئات المعالم بحقول متكررة. على سبيل المثال، يمكن أن تحتوي فئة الميزة على حقل يسمى "OBJECTID" وقد يكون هناك حقل آخر يسمى "OBJECTID_1" في نفس فئة الميزة. يجب أن يكون أحد هذه الحقول هو حقل معرف الكائن (OID) لفئة الميزة، ومع ذلك، في بعض الأحيان لا يكون من الواضح أيضًا أي حقل OBJECTID هو الحقل الصحيح. لا يحتاج هذا البرنامج النصي أدناه إلى معرفة الحقل الذي يمثل حقل معرف الكائن لأن السطر 35 سيفشل إذا تعذر حذف الحقل، وسيستمر تشغيل البرنامج النصي. يعرض البرنامج النصي أدناه طريقتين مختلفتين للتحقق من اسم الحقل، أي يمكن تضمين اسم الحقل في القائمة في السطر 10، أو يمكن أن يبدأ اسم الحقل بـ "OBJECTID" في السطر 33. بالنسبة لهذا البرنامج النصي، يتم إخراج الحقول المحذوفة إلى ملف CSV. اسم ملف CSV الناتج هو نفس اسم برنامج Python النصي - راجع السطر 12. قبل تشغيل البرنامج النصي، من الجيد التعليق على السطر 35، وتشغيل البرنامج النصي، والتحقق من ملف CSV الناتج لمعرفة الحقول التي سيتم حذفها. وأيضًا، بمجرد حذف الحقل، لا يمكن استعادته، لذا إذا كان هناك شك، فيجب عمل نسخة احتياطية من قواعد البيانات الجغرافية الملفية أولاً.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

قبل نشر خدمات الخرائط أو خدمات المعالم، من الممارسات الجيدة إعادة حساب نطاقات فئة المعالم أولاً. وذلك لأن مدى فئة الميزة قد يكون خاطئًا في بعض الأحيان. هناك العديد من الأشياء التي يمكن أن تتسبب في أن يكون مدى فئة المعالم خاطئًا، بما في ذلك تشغيل مهام المعالجة الجغرافية على البيانات التي تغير مدى البيانات، كما يمكن أن يكون نطاق فئة المعالم خاطئًا أيضًا عند استيراد البيانات لأنه ربما تم حساب مدى فئة المعالم الأولية بناءً على مجموعة فرعية من البيانات التي تم استيرادها. أول طريقة سهلة لرؤية مدى خطأ فئة المعالم هي عند النقر على زر التكبير/التصغير إلى الطبقة، لا يتم تكبير الخريطة إلى المدى الصحيح. علامة أخرى على أن مدى الطبقة غير صحيح هو أن الطبقة لا يتم عرضها بشكل صحيح. على سبيل المثال، عند استيراد ملف GeoJSON كبير، قد لا يتم عرضه بشكل صحيح في ArcGIS Pro حتى تتم إعادة حساب المدى لفئة الميزة تلك.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

هذا البرنامج النصي مخصص لإدراج جميع ملفات الأشكال في الدليل للمساعدة في فهم عدد ملفات الأشكال لديك، بحيث يمكن ترحيلها إلى فئات المعالم في قواعد البيانات الجغرافية الملفية أو قواعد البيانات الجغرافية المؤسسية. لاحظ أنه يجب عمومًا تجنب ملفات الأشكال لعدة أسباب. يعد تنسيق ملف الشكل تنسيقًا قديمًا جدًا، وهناك تنسيقات أفضل بكثير لمشاركة البيانات المكانية. تتميز ملفات الأشكال بضغط ضعيف، وعندما يتم تصدير البيانات إلى ملفات الأشكال، يتم اقتطاع أسماء الحقول إلى عشرة أحرف، مما قد يجعل من الصعب تخمين اسم الحقل الأصلي. استخدم فئات معالم قاعدة البيانات الجغرافية، أو الحزم الجغرافية، أو Geojson، أو التنسيقات الأخرى قبل التفكير في استخدام ملفات الأشكال.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

يسرد هذا البرنامج النصي معلومات الطبقة لـ MXDs (ملفات ArcMap) وAPRXs (ملفات ArcGIS Pro). يتم إخراج النتائج إلى ملف CSV وتحتوي على هذه الأعمدة:

لاحظ أن ArcMap يستخدم Python 2 وArcGIS Pro يستخدم Python 3، لذا لكي يعمل البرنامج النصي مع Python 3 لملفات MXD، نقوم بتحويل MXD إلى APRX في البرنامج النصي أدناه. هذا APRX موجود فقط في الذاكرة ولن يتم حفظه على القرص (ولكن يمكن حفظه على القرص إذا لزم الأمر).

لتشغيل هذا أدناه، قم بتغيير السطرين 5 و7 وإنشاء APRX فارغ يدويًا يمكن استنساخه في الذاكرة (السطر 7).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

يسرد هذا البرنامج النصي معلومات الخدمة لجميع الخدمات ويخرج النتائج إلى ملف CSV. رؤوس الأعمدة في ملف CSV مدرجة أدناه:

قبل تشغيل البرنامج النصي، قم بتغيير المعلمات من الأسطر 22 إلى 31.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)