Код

Этот сценарий полезен для аудита метаданных. Сценарий можно запустить в нескольких базах геоданных enterprise. Он создаст выходной файл CSV со следующими столбцами: «База геоданных», «Набор данных объектов», «Класс объектов», «Пространственная привязка», «Количество строк», «Количество столбцов», «Название метаданных», «Описание метаданных», «Сводка метаданных», «Кредиты метаданных», «Доступ к метаданным». Constraints'.

Чтобы использовать этот сценарий, вам необходимо изменить строку 19, указав на файлы подключения SDE.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

Этот сценарий полезен для аудита метаданных. Скрипт можно запустить в нескольких файловых базах геоданных и создать выходной файл CSV со следующими столбцами: «Последнее изменение», «Файловая база геоданных», «Набор данных объектов», «Класс объектов», «Пространственная привязка», «Количество строк», «Количество столбцов», «Название метаданных», «Описание метаданных», «Сводка метаданных», «Метаданные». Кредиты», «Ограничения доступа к метаданным».

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

Иногда, когда данные конвертируются из шейп-файлов в классы объектов или если при запуске инструментов геообработки не были приняты меры, классы объектов могут оказаться с избыточными полями. Например, класс объектов может иметь поле с названием «OBJECTID», а в том же классе объектов может существовать еще одно поле с названием «OBJECTID_1». Одним из этих полей должно быть поле OID для класса объектов, однако иногда также неясно, какое поле OBJECTID является правильным. В приведенном ниже сценарии не требуется знать, какое поле является полем OID, поскольку строка 35 завершится ошибкой, если поле невозможно удалить, и сценарий продолжит работу. В приведенном ниже сценарии показаны два различных способа проверки имени поля: имя поля может быть включено в список в строке 10 или имя поля может иметь префикс «OBJECTID» в строке 33. В этом сценарии удаленные поля выводятся в файл CSV. Имя выходного CSV-файла совпадает с именем сценария Python — см. строку 12. Перед запуском сценария рекомендуется закомментировать строку 35, запустить сценарий и проверить выходной файл CSV, чтобы увидеть, какие поля будут удалены. Кроме того, после удаления поля его невозможно восстановить, поэтому в случае сомнений следует сначала создать резервную копию файловых баз геоданных.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

Перед публикацией картографических сервисов или сервисов объектов рекомендуется сначала пересчитать экстенты классов объектов. Это связано с тем, что иногда экстент класса объектов может быть неправильным. Есть несколько причин, которые могут привести к неправильному экстенту класса объектов, включая выполнение задач геообработки данных, которые изменяют экстент данных, а экстент класса объектов также может быть неправильным при импорте данных, поскольку исходный экстент класса объектов мог быть рассчитан на основе подмножества импортированных данных. Первый простой способ увидеть неправильный экстент класса объектов — это при нажатии на кнопку масштабирования слоя карта не масштабируется до правильного экстента. Еще одним признаком того, что экстент слоя неправильный, является то, что слой отображается неправильно. Например, при импорте большого файла GeoJSON он может отображаться неправильно в ArcGIS Pro до тех пор, пока экстент не будет пересчитан для этого класса объектов.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

Этот скрипт предназначен для перечисления всех шейп-файлов в каталоге, чтобы помочь понять, сколько у вас шейп-файлов, чтобы их можно было перенести в классы объектов в файловых базах геоданных или многопользовательских базах геоданных. Обратите внимание, что шейп-файлов обычно следует избегать по нескольким причинам. Формат шейп-файла — очень старый формат, и существуют гораздо лучшие форматы для обмена пространственными данными. Шейп-файлы плохо сжимаются, и когда данные экспортируются в шейп-файлы, имена полей усекаются до десяти символов, что может затруднить угадывание исходного имени поля. Прежде чем рассматривать возможность использования шейп-файлов, используйте классы объектов базы геоданных, геопакеты, geojson или другие форматы.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

Этот скрипт выводит информацию о слоях для MXD (файлов ArcMap) и APRX (файлов ArcGIS Pro). Результаты выводятся в файл CSV и содержат следующие столбцы:

Обратите внимание, что ArcMap использует Python 2, а ArcGIS Pro использует Python 3, поэтому, чтобы скрипт работал с Python 3 для файлов MXD, мы конвертируем MXD в APRX в скрипте ниже. Этот APRX находится только в памяти и не будет сохранен на диске (но при необходимости его можно сохранить на диске).

Чтобы запустить это ниже, измените строки 5 и 7 и вручную создайте пустой APRX, который можно клонировать в память (строка 7).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

Этот сценарий выводит информацию обо всех службах и выводит результаты в CSV. Заголовки столбцов в CSV-файле перечислены ниже:

Перед запуском сценария измените параметры со строк 22 на 31.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)