Kod

Bu komut dosyası meta verileri denetlemek için kullanışlıdır. Komut dosyası birden fazla enterprise coğrafi veri tabanında çalıştırılabilir ve şu sütunlarla bir çıktı CSV dosyası oluşturur: 'Coğrafi Veritabanı', 'Özellik Veri Kümesi', 'Özellik Sınıfı', 'Uzamsal Referans', 'Satır Sayısı', 'Sütun Sayısı', 'Meta Veri Başlığı', 'Meta Veri Açıklaması', 'Meta Veri Özeti', 'Meta Veri Kredi', 'Meta Veri Erişim Kısıtlamaları'.

Bu betiği kullanmak için, Satır 19'u SDE bağlantı dosyalarınızı işaret edecek şekilde değiştirmeniz gerekir.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

Bu komut dosyası meta verileri denetlemek için kullanışlıdır. Komut dosyası birden fazla dosya coğrafi veritabanlarında çalıştırılabilir ve şu sütunlarla bir çıktı CSV dosyası oluşturur: 'Son Değiştirilme', 'Dosya Coğrafi Veri Tabanı', 'Özellik Veri Kümesi', 'Özellik Sınıfı', 'Uzamsal Referans', 'Satır Sayısı', 'Sütun Sayısı', 'Meta Veri Başlığı', 'Meta Veri Açıklaması', 'Meta Veri Özeti', 'Meta Veri Kredileri', 'Meta Veri Erişim Kısıtlamaları'.

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

Bazen veriler şekil dosyalarından özellik sınıflarına dönüştürüldüğünde veya coğrafi işlem araçları çalıştırılırken dikkat edilmediğinde, özellik sınıfları gereksiz alanlarla sonuçlanabilir. Örneğin, bir özellik sınıfının "OBJECTID" adında bir alanı olabilir ve aynı özellik sınıfında "OBJECTID_1" adında başka bir alan bulunabilir. Bu alanlardan biri özellik sınıfı için OID alanı olmalıdır, ancak bazen hangi OBJECTID alanının doğru olduğu da net olmayabilir. Aşağıdaki komut dosyasının hangi alanın OID alanı olduğunu bilmesine gerek yoktur çünkü alan silinemezse Satır 35 başarısız olur ve komut dosyası çalışmaya devam eder. Aşağıdaki komut dosyası, alan adının kontrol edilmesinin iki farklı yolunu gösterir; yani, alan adı 10. Satırdaki listeye dahil edilebilir veya 33. Satırda alan adının önüne "OBJECTID" eklenebilir. Bu komut dosyası için, silinen alanlar bir CSV dosyasına çıkarılır. Çıktı CSV dosyasının adı Python betiğiyle aynı addır - bkz. Satır 12. Betiği çalıştırmadan önce, Satır 35'e yorum yapmak, betiği çalıştırmak ve hangi alanların silineceğini görmek için çıktı CSV dosyasını kontrol etmek iyi bir fikirdir. Ayrıca, alan silindikten sonra kurtarılamaz; dolayısıyla şüpheniz varsa öncelikle dosya coğrafi veritabanları yedeklenmelidir.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

Harita hizmetlerini veya özellik hizmetlerini yayınlamadan önce, öncelikle özellik sınıfı kapsamlarını yeniden hesaplamak iyi bir uygulamadır. Bunun nedeni bazen özellik sınıfı kapsamının yanlış olabilmesidir. Verilerin kapsamını değiştiren veriler üzerinde coğrafi işlem görevlerinin çalıştırılması da dahil olmak üzere, özellik sınıfı kapsamının yanlış olmasına neden olabilecek birkaç şey vardır ve başlangıçtaki özellik sınıfı kapsamı, içe aktarılan verilerin bir alt kümesine dayalı olarak hesaplanmış olabileceğinden, verileri içe aktarırken özellik sınıfı kapsamı da yanlış olabilir. Özellik sınıfı kapsamının yanlış olduğunu görmenin ilk kolay yolu, katmana yakınlaştır düğmesine tıklandığında haritanın doğru ölçüde yakınlaştırılmamasıdır. Katman kapsamının yanlış olduğunun bir başka işareti de katmanın doğru şekilde oluşturulmamasıdır. Örneğin, büyük bir GeoJSON dosyasını içe aktarırken, o özellik sınıfı için kapsam yeniden hesaplanana kadar dosya ArcGIS Pro'da doğru şekilde oluşturulmayabilir.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

Bu komut dosyası, kaç tane şekil dosyanızın olduğunu anlamanıza yardımcı olmak amacıyla bir dizindeki tüm şekil dosyalarını listelemek içindir, böylece bunlar, dosya coğrafi veritabanlarındaki veya kurumsal coğrafi veritabanlarındaki özellik sınıflarına taşınabilir. Şekil dosyalarından genellikle çeşitli nedenlerle kaçınılması gerektiğini unutmayın. Şekil dosyası formatı çok eski bir formattır ve mekansal verileri paylaşmak için çok daha iyi formatlar vardır. Şekil dosyalarının sıkıştırması zayıftır ve veriler şekil dosyalarına aktarıldığında alan adları on karaktere kısaltılır, bu da orijinal alan adının ne olduğunu tahmin etmeyi zorlaştırabilir. Şekil dosyalarını kullanmayı düşünmeden önce coğrafi veritabanı özellik sınıflarını, coğrafi paketleri, geojson'u veya diğer formatları kullanın.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

Bu komut dosyası, MXD'ler (ArcMap dosyaları) ve APRX'ler (ArcGIS Pro dosyaları) için katman bilgilerini listeler. Sonuçlar bir CSV dosyasına çıkarılır ve şu sütunları içerir:

ArcMap'in Python 2 kullandığını ve ArcGIS Pro'nun Python 3 kullandığını unutmayın; dolayısıyla betiğin MXD dosyaları için Python 3 ile çalışmasını sağlamak amacıyla aşağıdaki betikte MXD'yi bir APRX'e dönüştürüyoruz. Bu APRX yalnızca bellektedir ve diske kaydedilmez (ancak gerekirse diske kaydedilebilir).

Bunu aşağıda çalıştırmak için 5. ve 7. satırları değiştirin ve belleğe kopyalanabilecek boş bir APRX'i manuel olarak oluşturun (satır 7).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

Bu komut dosyası, tüm hizmetlerin hizmet bilgilerini listeler ve sonuçları CSV'ye çıkarır. CSV'deki sütun başlıkları aşağıda listelenmiştir:

Betiği çalıştırmadan önce, parametreleri Satır 22'den 31'e değiştirin.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)