کد

این اسکریپت برای ممیزی ابرداده مفید است. این اسکریپت را می توان در چندین پایگاه جغرافیایی enterprise اجرا کرد، و یک فایل CSV خروجی با این ستون ها ایجاد می کند: "Geodatabase"، "Feature Dataset"، "Feature Class"، "Spatial Reference"، "Row Count"، "Colum CountMatait, "ColumMatale" توضیحات'، 'خلاصه فراداده'، 'اعتبارات فراداده'، 'محدودیت های دسترسی به فراداده'.

برای استفاده از این اسکریپت، باید خط 19 را تغییر دهید تا به فایل های اتصال SDE شما اشاره کند.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

این اسکریپت برای ممیزی ابرداده مفید است. این اسکریپت را می توان در چندین پایگاه جغرافیایی file اجرا کرد، و یک فایل CSV خروجی با این ستون ها ایجاد می کند: "آخرین تغییر"، "پایگاه جغرافیایی فایل"، "مجموعه داده های ویژگی"، "کلاس ویژگی"، "مرجع مکانی"، "CountM," Row. عنوان، «شرح فراداده»، «خلاصه فراداده»، «اعتبارات فراداده»، «محدودیت‌های دسترسی فراداده».

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

گاهی اوقات وقتی داده‌ها از شکل فایل‌ها به کلاس‌های ویژگی تبدیل می‌شوند، یا اگر در اجرای ابزارهای پردازش جغرافیایی دقت لازم صورت نگرفته باشد، کلاس‌های ویژگی ممکن است به فیلدهای اضافی ختم شوند. به عنوان مثال، یک کلاس ویژگی می تواند فیلدی به نام "OBJECTID" داشته باشد و ممکن است فیلد دیگری به نام "OBJECTID_1" در همان کلاس ویژگی وجود داشته باشد. یکی از این فیلدها باید فیلد OID برای کلاس ویژگی باشد، اما گاهی اوقات نیز مشخص نیست که کدام فیلد OBJECTID درست است. این اسکریپت زیر نیازی به دانستن فیلد OID ندارد زیرا اگر فیلد حذف نشود خط 35 خراب می شود و اسکریپت به کار خود ادامه می دهد. اسکریپت زیر دو روش مختلف برای بررسی نام فیلد نشان می دهد، یعنی نام فیلد را می توان در لیست در خط 10 قرار داد، یا نام فیلد را می توان با "OBJECTID" در خط 33 پیشوند کرد. برای این اسکریپت، فیلدهای حذف شده به یک فایل CSV خروجی می شوند. نام فایل CSV خروجی همان نام اسکریپت پایتون است - به خط 12 مراجعه کنید. قبل از اجرای اسکریپت، ایده خوبی است که در مورد خط 35 نظر دهید، اسکریپت را اجرا کنید و فایل CSV خروجی را بررسی کنید تا ببینید کدام فیلدها حذف خواهند شد. همچنین، پس از حذف فیلد، نمی توان آن را بازیابی کرد، بنابراین اگر شک دارید، ابتدا باید از پایگاه های جغرافیایی فایل نسخه پشتیبان تهیه کنید.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

قبل از انتشار سرویس‌های نقشه یا سرویس‌های ویژگی، تمرین خوبی است که ابتدا وسعت کلاس ویژگی را مجدداً محاسبه کنید. این به این دلیل است که گاهی اوقات وسعت کلاس ویژگی ممکن است اشتباه باشد. چندین چیز وجود دارد که می‌تواند باعث اشتباه بودن گستره کلاس ویژگی شود، از جمله اجرای وظایف پردازش جغرافیایی روی داده‌ها که وسعت داده‌ها را تغییر می‌دهد، و وسعت کلاس ویژگی نیز می‌تواند هنگام وارد کردن داده اشتباه باشد زیرا وسعت کلاس ویژگی اولیه ممکن است بر اساس زیرمجموعه‌ای از داده‌های وارد شده محاسبه شده باشد. اولین راه آسان برای مشاهده وسعت کلاس ویژگی اشتباه است این است که وقتی روی دکمه بزرگنمایی به لایه کلیک می‌کنید، نقشه به میزان صحیح بزرگنمایی نمی‌شود. یکی دیگر از نشانه های نادرست بودن وسعت لایه این است که لایه به درستی رندر نمی شود. به عنوان مثال، هنگام وارد کردن یک فایل GeoJSON بزرگ، ممکن است در ArcGIS Pro به درستی نمایش داده نشود تا زمانی که مقدار آن برای آن کلاس ویژگی دوباره محاسبه نشود.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

این اسکریپت برای فهرست کردن همه فایل‌های شکل در یک فهرست است تا به درک تعداد شکل فایل‌های شما کمک کند، بنابراین می‌توان آنها را به کلاس‌های ویژگی در پایگاه‌های جغرافیایی فایل یا پایگاه‌های جغرافیایی سازمانی منتقل کرد. توجه داشته باشید که به دلایل مختلف باید از شکل فایل ها اجتناب شود. فرمت shapefile یک فرمت بسیار قدیمی است و فرمت های بسیار بهتری برای به اشتراک گذاری داده های مکانی وجود دارد. Shapefiles فشرده سازی ضعیفی دارند و هنگامی که داده ها به shapefiles صادر می شوند، نام فیلدها به ده کاراکتر کوتاه می شوند، که می تواند حدس زدن نام فیلد اصلی را دشوار کند. قبل از استفاده از shapefiles از کلاس‌های ویژگی پایگاه داده جغرافیایی، بسته‌های جغرافیایی، geojson یا سایر قالب‌ها استفاده کنید.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

این اسکریپت اطلاعات لایه را برای MXD (فایل‌های ArcMap) و APRX (فایل‌های ArcGIS Pro) فهرست می‌کند. نتایج به یک فایل CSV خروجی می‌شوند و حاوی این ستون‌ها هستند:

توجه داشته باشید که ArcMap از Python 2 و ArcGIS برای کار با ArcGIS 3 استفاده می کند. فایل‌های MXD، MXD را در اسکریپت زیر به APRX تبدیل می‌کنیم. این APRX فقط در حافظه است و در دیسک ذخیره نمی‌شود (اما در صورت نیاز می‌توان آن را روی دیسک ذخیره کرد).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

این اسکریپت اطلاعات سرویس را برای همه سرویس ها فهرست می کند و نتایج را به CSV خروجی می دهد. سرصفحه های ستون در CSV در زیر فهرست شده است:

قبل از اجرای اسکریپت، پارامترها را از خطوط 22 به 31 تغییر دهید.†5_†2.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)