コード

このスクリプトは、メタデータの監査に役立ちます。 このスクリプトは複数の enterprise ジオデータベースにわたって実行でき、次の列を含む出力 CSV ファイルを作成します: 「ジオデータベース」、「フィーチャ データセット」、「フィーチャクラス」、「空間参照」、「行数」、「列数」、「メタデータ タイトル」、「メタデータの説明」、「メタデータの概要」、「メタデータ クレジット」、 「メタデータ アクセス制約」。

このスクリプトを使用するには、SDE 接続ファイルを指すように 19 行目を変更する必要があります。

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

このスクリプトは、メタデータの監査に役立ちます。 このスクリプトは複数の ファイル ジオデータベース にわたって実行でき、次の列を含む出力 CSV ファイルを作成します:「最終更新日」、「ファイル ジオデータベース」、「フィーチャ データセット」、「フィーチャクラス」、「空間参照」、「行数」、「列数」、「メタデータ タイトル」、「メタデータの説明」、「メタデータの概要」、「メタデータ」クレジット」、「メタデータ アクセス制約」。

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

データがシェープファイルからフィーチャクラスに変換されるとき、またはジオプロセシング ツールの実行時に注意が払われなかった場合、フィーチャクラスに冗長なフィールドが含まれる場合があります。 たとえば、フィーチャクラスに「OBJECTID」というフィールドがあり、同じフィーチャクラスに「OBJECTID_1」という別のフィールドが存在する場合があります。 これらのフィールドの 1 つはフィーチャクラスの OID フィールドである必要がありますが、どの OBJECTID フィールドが正しいのかが明確でない場合もあります。 以下のこのスクリプトでは、どのフィールドが OID フィールドであるかを認識する必要はありません。フィールドを削除できない場合は 35 行目が失敗し、スクリプトは実行を継続します。 以下のスクリプトは、フィールド名を確認する 2 つの異なる方法を示しています。つまり、10 行目でフィールド名をリストに含める方法と、33 行目でフィールド名に「OBJECTID」というプレフィックスを付ける方法です。このスクリプトでは、削除されたフィールドが CSV ファイルに出力されます。 出力 CSV ファイルの名前は、Python スクリプトと同じ名前です - 12 行目を参照してください。スクリプトを実行する前に、35 行目をコメントアウトしてスクリプトを実行し、出力 CSV ファイルをチェックしてどのフィールドが削除されるかを確認することをお勧めします。 また、フィールドを削除すると復元できないため、疑わしい場合は、最初にファイル ジオデータベースをバックアップする必要があります。

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

マップ サービスまたはフィーチャ サービスを公開する前に、最初にフィーチャクラスの範囲を再計算することをお勧めします。 これは、フィーチャクラスの範囲が間違っている場合があるためです。 フィーチャクラスの範囲が間違っている原因としては、データの範囲を変更するデータ上でのジオプロセシング タスクの実行など、いくつかの原因が考えられます。また、データのインポート時にフィーチャクラスの範囲が間違っている可能性もあります。これは、最初のフィーチャクラスの範囲が、インポートされたデータのサブセットに基づいて計算されている可能性があるためです。 フィーチャクラスの範囲が間違っていることを簡単に確認できる最初の方法は、[レイヤーにズーム] ボタンをクリックしたときに、マップが正しい範囲にズームしないことです。 レイヤー範囲が正しくないことを示すもう 1 つの兆候は、レイヤーが正しくレンダリングされないことです。 たとえば、大きな GeoJSON ファイルをインポートする場合、そのフィーチャクラスの範囲が再計算されるまで、ArcGIS Pro で正しくレンダリングされない可能性があります。

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

このスクリプトは、ディレクトリ内のすべてのシェープファイルをリストして、シェープファイルの数を把握し、シェープファイルをファイル ジオデータベースまたはエンタープライズ ジオデータベースのフィーチャクラスに移行できるようにするためのものです。 シェープファイルは通常、いくつかの理由から避けるべきであることに注意してください。 シェープファイル形式は非常に古い形式であり、空間データを共有するためのより優れた形式があります。 シェープファイルの圧縮率は低く、データをシェープファイルにエクスポートすると、フィールド名が 10 文字に切り詰められるため、元のフィールド名を推測することが困難になる場合があります。 シェープファイルの使用を検討する前に、ジオデータベース フィーチャクラス、ジオパッケージ、geojson、またはその他の形式を使用してください。

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

このスクリプトは、MXD (ArcMap ファイル) および APRX (ArcGIS Pro ファイル) のレイヤー情報をリストします。 結果は CSV ファイルに出力され、次の列が含まれます。

ArcMap は Python 2 を使用し、ArcGIS Pro は Python 3 を使用するため、スクリプトを MXD ファイルに対して Python 3 で動作させるには、以下のスクリプトで MXD を APRX に変換します。 この APRX はメモリ内にのみ存在し、ディスクには保存されません (ただし、必要に応じてディスクに保存できます)。

これを実行するには、5 行目と 7 行目を変更し、メモリに複製できる空の APRX を手動で作成します (7 行目)。

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

このスクリプトは、すべてのサービスのサービス情報を一覧表示し、結果を CSV に出力します。 CSV の列ヘッダーは次のとおりです。

スクリプトを実行する前に、パラメータを行 22 から行 31 に変更します。

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)