Code

Ang script na ito ay kapaki-pakinabang para sa pag-audit ng metadata. Ang script ay maaaring patakbuhin sa maraming enterprise geodatabase, at gagawa ng output na CSV file na may mga column na ito: 'Geodatabase', 'Feature Dataset', 'Feature Class', 'Spatial Reference', 'Row Count', 'Column Count', 'Metadata Title', 'Metadata Title', 'Metadata Title', 'Metadata Title' Credits', 'Metadata Access Constraints'.

Upang gamitin ang script na ito, kailangan mong baguhin ang Linya 19 upang tumuro sa iyong mga SDE connection file.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

Ang script na ito ay kapaki-pakinabang para sa pag-audit ng metadata. Maaaring patakbuhin ang script sa maraming file geodatabase, at gagawa ng output na CSV file na may mga column na ito: 'Huling Binago', 'File Geodatabase', 'Feature Dataset', 'Feature Class', 'Spatial Reference', 'Row Count', 'Column 'Metadata Deskripsyon', 'Meta Title ng Data', 'Meta Deskripsyon ng Column' Buod', 'Mga Kredito sa Metadata', 'Mga Limitasyon sa Pag-access sa Metadata'.

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

Minsan kapag na-convert ang data mula sa mga formefile patungo sa mga feature class, o kung hindi nag-iingat kapag nagpapatakbo ng mga tool sa geoprocessing, maaaring mauwi sa mga redundant na field ang mga feature class. Halimbawa, ang isang feature class ay maaaring magkaroon ng field na tinatawag na "OBJECTID" at maaaring may isa pang field na tinatawag na "OBJECTID_1" sa parehong feature class. Ang isa sa mga field na ito ay dapat na ang field ng OID para sa klase ng tampok, gayunpaman, kung minsan ay hindi rin malinaw kung aling field ng OBJECTID ang tama. Hindi kailangang malaman ng script na ito sa ibaba kung aling field ang field ng OID dahil mabibigo ang Line 35 kung hindi matatanggal ang field, at magpapatuloy sa pagtakbo ang script. Ang script sa ibaba ay nagpapakita ng dalawang magkaibang paraan upang masuri ang pangalan ng field, ibig sabihin, ang pangalan ng field ay maaaring isama sa listahan sa Linya 10, o ang pangalan ng field ay maaaring lagyan ng prefix na "OBJECTID" sa Linya 33. Para sa script na ito, ang mga tinanggal na field ay output sa isang CSV file. Ang pangalan ng output CSV file ay kapareho ng pangalan ng Python script - tingnan ang Line 12. Bago patakbuhin ang script, magandang ideya na magkomento sa Line 35, patakbuhin ang script, at suriin ang output CSV file upang makita kung aling mga field ang tatanggalin. Gayundin, kapag na-delete na ang field, hindi na ito mababawi, kaya kung may pagdududa, dapat na i-back up muna ang mga geodatabase ng file.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

Bago mag-publish ng mga serbisyo ng mapa o mga serbisyo ng tampok, magandang kasanayan na muling kalkulahin ang mga lawak ng klase ng tampok. Ito ay dahil kung minsan ang lawak ng klase ng tampok ay maaaring mali. Mayroong ilang mga bagay na maaaring maging sanhi ng pagiging mali ng lawak ng klase ng tampok, kabilang ang pagpapatakbo ng mga gawain sa geoprocessing sa data na nagbabago sa lawak ng data, at ang lawak ng klase ng tampok ay maaari ding mali kapag nag-i-import ng data dahil maaaring nakalkula ang paunang lawak ng klase ng tampok batay sa isang subset ng data na na-import. Ang unang madaling paraan upang makita ang lawak ng klase ng tampok ay mali ay kapag nag-click sa pindutan ng zoom-to-layer, ang mapa ay hindi nag-zoom sa tamang lawak. Ang isa pang palatandaan na ang lawak ng layer ay hindi tama ay ang layer ay hindi nagre-render nang tama. Halimbawa, kapag nag-import ng malaking GeoJSON file, maaaring hindi ito mag-render nang tama sa ArcGIS Pro hanggang sa muling kalkulahin ang lawak para sa klase ng feature na iyon.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

Ang script na ito ay para sa paglilista ng lahat ng mga formefile sa isang direktoryo upang makatulong na maunawaan kung gaano karaming mga formefile ang mayroon ka, upang mailipat ang mga ito sa mga tampok na klase sa mga geodatabase ng file o mga geodatabase ng enterprise. Tandaan na ang mga formefile sa pangkalahatan ay dapat na iwasan para sa ilang kadahilanan. Ang format ng formefile ay isang napakalumang format at mayroong mas mahusay na mga format para sa pagbabahagi ng spatial na data. Mahina ang compression ng mga Shapefile at kapag na-export ang data sa mga formefile, napuputol ang mga pangalan ng field sa sampung character, na maaaring maging mahirap hulaan kung ano ang orihinal na pangalan ng field. Gumamit ng mga klase ng tampok na geodatabase, geopackage, geojson, o iba pang mga format bago isaalang-alang ang paggamit ng mga formefile.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

Inililista ng script na ito ang impormasyon ng layer para sa mga MXD (ArcMap file) at APRX (ArcGIS Pro file). Ang mga resulta ay output sa isang CSV file at naglalaman ng mga column na ito:

Tandaan na ang ArcMap ay gumagamit ng Python 2 at ang ArcGIS Pro ay gumagamit ng Python 3, kaya para magamit ang script sa Python 3 para sa mga MXD file, iko-convert namin ang MXD sa isang APRX sa script sa ibaba. Ang APRX na ito ay nasa memorya lamang at hindi ise-save sa disk (ngunit maaaring i-save sa disk kung kinakailangan).

Upang patakbuhin ito sa ibaba baguhin ang mga linya 5 at 7 at manu-manong lumikha ng blangkong APRX na maaaring i-clone sa memorya (linya 7).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

Inililista ng script na ito ang impormasyon ng serbisyo para sa lahat ng serbisyo at inilalabas ang mga resulta sa CSV. Ang mga header ng column sa CSV ay nakalista sa ibaba:

Bago patakbuhin ang script, baguhin ang mga parameter mula sa Linya 22 hanggang 31.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)