Mã số

Tập lệnh này hữu ích cho việc kiểm tra siêu dữ liệu. Tập lệnh có thể chạy trên nhiều cơ sở dữ liệu địa lý enterprise và sẽ tạo tệp CSV đầu ra với các cột sau: 'Cơ sở dữ liệu địa lý', 'Tập dữ liệu tính năng', 'Lớp đối tượng', 'Tham chiếu không gian', 'Đếm hàng', 'Số cột', 'Tiêu đề siêu dữ liệu', 'Mô tả siêu dữ liệu', 'Tóm tắt siêu dữ liệu', 'Tín dụng siêu dữ liệu', 'Truy cập siêu dữ liệu' Ràng buộc'.

Để sử dụng tập lệnh này, bạn cần thay đổi Dòng 19 để trỏ đến tệp kết nối SDE của mình.

import csv
import os

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

# the output CSV file name
output_csv_file = 'enterprise_gdbs_results.csv'

# or use this to make the output CSV file name the same as the script name
# output_csv_file = os.path.basename(__file__).replace('.py','.csv')

# change this path to use your SDE connection files
sde_connection_files = 'c:/gis/sde_connection_files'

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(sde_connection_files):
        for file in files:
            if(not file.startswith('_') and file.endswith('.sde')):
                geodatabase = file.split('@')[1]

                wksp = os.path.join(folder,file)
                env.workspace = wksp

                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []

                for dataset in datasets:
                    for feature_class in ListFeatureClasses(dataset):
                        desc = Describe(feature_class)
                        spatial_reference = desc.SpatialReference.factoryCode
                        count = GetCount_management(feature_class)[0]
                        column_count = len(ListFields(feature_class))
                        metadata = md.Metadata(feature_class)

                        row = [
                            geodatabase,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]

                        print(row)
                        
                        csv_writer.writerow(row)

Tập lệnh này hữu ích cho việc kiểm tra siêu dữ liệu. Tập lệnh có thể chạy trên nhiều file cơ sở dữ liệu địa lý và sẽ tạo một tệp CSV đầu ra với các cột sau: 'Sửa đổi lần cuối','Cơ sở dữ liệu địa lý tệp', 'Tập dữ liệu tính năng', 'Lớp tính năng', 'Tham chiếu không gian', 'Số hàng', 'Số cột', 'Tiêu đề siêu dữ liệu', 'Mô tả siêu dữ liệu', 'Tóm tắt siêu dữ liệu', 'Tín dụng siêu dữ liệu', 'Ràng buộc truy cập siêu dữ liệu'.

import csv
import os
import time

from arcpy import Describe
from arcpy import env
from arcpy import GetCount_management
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy import metadata as md

folder = r'...'
log = open('log.txt', 'w')
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file,'w',newline='') as csv_file:
    csv_writer = csv.writer(csv_file, delimiter=',')
    column_headers = [
        'Last Modified','File Geodatabase', 'Feature Dataset', 'Feature Class', 
        'Spatial Reference', 'Row Count', 'Column Count', 
        'Metadata Title', 'Metadata Description', 'Metadata Summary',
        'Metadata Credits', 'Metadata Access Constraints'
    ]
    
    csv_writer.writerow(column_headers)

    for (folder, dirs, files) in os.walk(folder):
        if(folder.endswith('.gdb')):
            print(folder)

            last_modified = '???'

            try:
                last_modified = time.ctime(max(os.stat(root).st_mtime for root,_,_ in os.walk(folder)))
            except:
                msg = 'Error getting last modified date for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            fgdb = folder
            env.workspace = fgdb

            datasets = []

            try:
                datasets = ListDatasets(feature_type='feature')
                datasets = [''] + datasets if datasets is not None else []
            except:
                msg = 'Error getting datasets for {}'.format(folder)
                print(msg)
                log.write('{}\n'.format(msg))
                pass

            for dataset in datasets:
                for feature_class in ListFeatureClasses(dataset):
                    desc = Describe(feature_class)
                    spatial_reference = desc.SpatialReference.factoryCode
                    count = GetCount_management(feature_class)[0]
                    column_count = len(ListFields(feature_class))
                
                    metadata = None
                    row = []

                    try:
                        metadata = md.Metadata(feature_class)
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            metadata.title,metadata.description,
                            metadata.summary,metadata.credits,
                            metadata.accessConstraints    
                        ]
                    except:
                        row = [
                            last_modified,
                            fgdb,dataset,feature_class,
                            spatial_reference,count,column_count,
                            'error','error','error','error','error'    
                        ]
                        pass

                    csv_writer.writerow(row)

log.close()

Đôi khi dữ liệu được chuyển đổi từ tệp hình dạng sang các lớp đối tượng hoặc nếu không cẩn thận khi chạy các công cụ xử lý địa lý, các lớp đối tượng có thể có các trường dư thừa. Ví dụ: một lớp đối tượng có thể có một trường có tên là "ĐỐI TƯỢNG" và có thể có một trường khác có tên là "ĐỐI TƯỢNGID_1" trong cùng một lớp đối tượng. Một trong những trường này phải là trường OID cho lớp đối tượng, tuy nhiên, đôi khi cũng không rõ trường MỤC TIÊU nào là đúng. Tập lệnh bên dưới không cần biết trường nào là trường OID vì Dòng 35 sẽ thất bại nếu không thể xóa trường đó và tập lệnh sẽ tiếp tục chạy. Tập lệnh bên dưới hiển thị hai cách khác nhau để kiểm tra tên trường, tức là tên trường có thể được đưa vào danh sách trên Dòng 10 hoặc tên trường có thể được bắt đầu bằng "ĐỐI TƯỢNG" trên Dòng 33. Đối với tập lệnh này, các trường đã xóa sẽ xuất ra tệp CSV. Tên của tệp CSV đầu ra trùng với tên của tập lệnh Python - xem Dòng 12. Trước khi chạy tập lệnh, bạn nên nhận xét Dòng 35, chạy tập lệnh và kiểm tra tệp CSV đầu ra để xem trường nào sẽ bị xóa. Ngoài ra, sau khi trường bị xóa, nó sẽ không thể phục hồi được, vì vậy nếu có nghi ngờ, trước tiên bạn nên sao lưu cơ sở dữ liệu địa lý tệp.

import csv
import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy import ListFields
from arcpy.management import DeleteField

fields_to_delete = ['objectid', 'objectid_1', 'objectid_12', 'shape_le_1', 'shape_leng', 'shape_length', 'shape__length', 'shape__area']
input_folder = r'...'
output_csv_file = os.path.basename(__file__).replace('.py','.csv')

with open(output_csv_file, 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['File Geodatabase','Feature Dataset', 'Feature Class', 'Field'])

    for (folder, dirs, files) in os.walk(input_folder):
        if(folder.endswith('.gdb')):
            file_geodatabase = folder
            print('Processing {}'.format(file_geodatabase))

            env.workspace = file_geodatabase

            feature_datasets = ListDatasets(feature_type='feature')
            feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

            for feature_dataset in feature_datasets:
                feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

                for feature_class in feature_classes:
                    for field in ListFields(feature_class):
                        if field.name.lower() in fields_to_delete or field.name.lower().startswith('objectid'):
                            try:
                                DeleteField(feature_class, field.name)
                                csv_writer.writerow([file_geodatabase, feature_dataset, feature_class, field.name])
                            
                            except:
                                pass

Trước khi xuất bản dịch vụ bản đồ hoặc dịch vụ đối tượng, trước tiên bạn nên tính toán lại phạm vi lớp đối tượng. Điều này là do đôi khi phạm vi lớp đối tượng có thể sai. Có một số điều có thể khiến phạm vi lớp đối tượng bị sai, bao gồm việc chạy các tác vụ xử lý địa lý trên dữ liệu làm thay đổi phạm vi của dữ liệu và phạm vi lớp đối tượng cũng có thể sai khi nhập dữ liệu vì phạm vi lớp đối tượng ban đầu có thể đã được tính toán dựa trên một tập hợp con dữ liệu đã được nhập. Cách dễ dàng đầu tiên để xem phạm vi lớp đối tượng bị sai là khi nhấp vào nút thu phóng theo lớp, bản đồ không thu phóng đến mức chính xác. Một dấu hiệu khác cho thấy phạm vi lớp không chính xác là lớp đó không hiển thị chính xác. Ví dụ: khi nhập một tệp GeoJSON lớn, tệp đó có thể không hiển thị chính xác trong ArcGIS Pro cho đến khi phạm vi được tính toán lại cho lớp đối tượng đó.

import os

from arcpy import env
from arcpy import ListDatasets
from arcpy import ListFeatureClasses
from arcpy.management import RecalculateFeatureClassExtent

input_folder = r'...'

for (folder, dirs, files) in os.walk(input_folder):
    if(folder.endswith('.gdb')):
        env.workspace = folder

        feature_datasets = ListDatasets(feature_type='feature')
        feature_datasets = [''] + feature_datasets if feature_datasets is not None else []

        for feature_dataset in feature_datasets:
            feature_classes = ListFeatureClasses(feature_dataset=feature_dataset)

            for feature_class in feature_classes:
                print('{}\t{}\t{}'.format(folder, feature_dataset, feature_class))
                RecalculateFeatureClassExtent(feature_class)

Tập lệnh này dùng để liệt kê tất cả các tệp hình dạng trong một thư mục nhằm giúp bạn hiểu được số lượng tệp hình dạng mà bạn có, để chúng có thể được di chuyển sang các lớp đặc trưng trong cơ sở dữ liệu địa lý tệp hoặc cơ sở dữ liệu địa lý doanh nghiệp. Lưu ý rằng nên tránh sử dụng các tệp hình dạng vì nhiều lý do. Định dạng shapefile là định dạng rất cũ và có nhiều định dạng tốt hơn để chia sẻ dữ liệu không gian. Shapefile có khả năng nén kém và khi dữ liệu được xuất sang shapefile, tên trường bị cắt ngắn còn 10 ký tự, điều này có thể gây khó khăn cho việc đoán tên trường ban đầu là gì. Sử dụng các lớp tính năng cơ sở dữ liệu địa lý, gói địa lý, Geojson hoặc các định dạng khác trước khi cân nhắc sử dụng tệp hình dạng.

import csv
import os

# change the input folder here for the directory you want to search
input_folder = r'\\...\...'

# change the file name here to the output file you want
results_file = 'shapefiles.csv'

extns = ['.aih', '.ain', '.atx', '.cpg', '.dbf', '.fbn', '.fbx', '.ixs', '.mxs', '.prj', '.sbn', '.sbx', '.shp', '.shx', '.xml']

with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)
    column_headers = ['Folder','Shapefile'] + extns
    csvwriter.writerow(column_headers)

    for (folder, dirs, files) in os.walk(input_folder):
        for file in files:
            if(file.endswith('.shp')):
                shapefile_name = file.replace('.shp','')

                line = [folder,shapefile_name]

                for extn in extns:
                    file_path = os.path.join(folder,'{}{}'.format(shapefile_name,extn))
                    file_exists = 'Y' if os.path.exists(file_path) else 'N'
                    line.append(file_exists)
                
                csvwriter.writerow(line)

Tập lệnh này liệt kê thông tin lớp cho MXD (tệp ArcMap) và APRX (tệp ArcGIS Pro). Kết quả được xuất ra tệp CSV và chứa các cột sau:

Lưu ý rằng ArcMap sử dụng Python 2 và ArcGIS Pro sử dụng Python 3, vì vậy để tập lệnh hoạt động với Python 3 cho các tệp MXD, chúng tôi chuyển đổi MXD thành APRX trong tập lệnh bên dưới. APRX này chỉ có trong bộ nhớ và sẽ không được lưu vào đĩa (nhưng có thể được lưu vào đĩa nếu cần).

Để chạy phần này bên dưới, hãy thay đổi dòng 5 và 7 và tạo thủ công một APRX trống có thể được sao chép vào bộ nhớ (dòng 7).

import csv
import os

from arcpy.mp import ArcGISProject

directory = r'\\...\...'
blank_aprx = r'\\...\...\temp.aprx'
results_file = os.path.basename(__file__).replace('.py','.csv')

# create a CSV file
with open(results_file, 'w', newline='') as csvfile:
    csvwriter = csv.writer(csvfile)

    # write out the column headers in the CSV file
    csvwriter.writerow(['File Path','Folder','File Name','File Type','Map / Data Frame','Layer Name','Layer Source','Is Broken','Definition Query'])

    # loop through all of the folders and files in the input directory
    for folder, dirs, files in os.walk(directory):
        for file in files:
            file_path = os.path.join(folder,file)
            
            # check if it is an MXD file - we need to convert the MXD to APRX (in-memory) because we cannot use Python 3 with MXDs
            if file.endswith('.mxd'):     
                file_type = 'mxd'
                aprx = ArcGISProject(blank_aprx)
                aprx.importDocument(file_path)

            #  check if it is an APRX file
            elif file.endswith('.aprx'):
                file_type = 'aprx'
                aprx = ArcGISProject(file_path)
            
            else:
                # file is not an MXD or APRX, so skip the loop below
                continue

            # list all layers within the 'maps' (for APRXs), or 'data frames' (for MXDs)
            for map in aprx.listMaps():
                for layer in map.listLayers():
                    # if the layer is not a group layer and has a data source
                    if layer.supports('dataSource'):
                        # check if the layer is broken
                        isBroken = layer.isBroken if layer.supports('isBroken') else 'n/a'
                        # check if the layer has a definition query (the WHERE clause in a normal SQL statement - definition queries use SQL)
                        definitionQuery = layer.definitionQuery if layer.supports('definitionQuery') else 'n/a'
                        line = [file_path, folder, file, file_type, map.name, layer.name, layer.dataSource, isBroken, definitionQuery]

                        # write the results to CSV
                        csvwriter.writerow(line)

            # delete the in-memory aprx
            del aprx

print('Results file: {}'.format(results_file))

Tập lệnh này liệt kê thông tin dịch vụ cho tất cả các dịch vụ và xuất kết quả sang CSV. Các tiêu đề cột trong CSV được liệt kê bên dưới:

Trước khi chạy tập lệnh, hãy thay đổi tham số từ Dòng 22 thành 31.

import csv
import json
import requests

def getToken(url, params):
    response = requests.post(url, params)
    token = json.loads(response.text)['token']
    return token

def fetchUrl(url):
    params = {
        'f': 'json',
        'token': token
    }

    response = requests.post(url, params)
    data = json.loads(response.text)

    return data

web_adaptor = 'arcgis' # web adaptor or load balancer 
token_url = 'https://{}/portal/sharing/rest/generateToken'.format(map_server)

params = {
    'f': 'json',
    'referer': 'https://.../portal/sharing/rest/generateToken',
    'username': 'portaladmin',
    'password': '**************'
}

token = getToken(token_url, params)

''' 
    ArcGIS Admin URL - we are using the admin URL, not the 
    Services Directory URL because the Services Directory will 
    only list the services that are started/running.  We also
    want to know about the stopped services.
'''
admin_url = 'https://{}/{}/admin/services'.format(map_server,web_adaptor)

params = {
    'f': 'json',
    'token': token
}

response = requests.get(admin_url, params)
data = json.loads(response.text)

folders = data['folders']
foldersToExclude = ['System','Utilities']

for folder in foldersToExclude:
    folders.remove(folder)

services = data['services'] 

with open('map_service_info.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)

    column_names = ['Map Server', 'Folder', 'Service name', 'Service type', 'URL', 'Published By', 'Path', 'Service Description', 'Copyright Info']
    csv_writer.writerow(column_names)

    for service in services:
        folder = ''
        service_name = service['serviceName']
        service_type = service['type']
        url = '{}/{}.{}'.format(admin_url,service_name,service_type)
       
        service_info = fetchUrl(url)
        service_description = service_info['description']
        user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
        copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
        path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

        row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
        csv_writer.writerow(row)

    for folder in folders:
        url = '{}/{}'.format(admin_url,folder)
        folder_info = fetchUrl(url)

        for service in folder_info['services']:
            folder = folder_info['folderName']
            service_name = service['serviceName']
            service_type = service['type']
            url = '{}/{}/{}.{}'.format(admin_url, folder, service_name, service_type, url)

            service_info = fetchUrl(url)
            service_description = service_info['description']
            user_name = service_info['properties']['userName'] if 'userName' in service_info['properties'] else ''
            copyright_info = service_info['properties']['copyright'] if 'copyright' in service_info['properties'] else ''
            path = service_info['properties']['path'] if 'path' in service_info['properties'] else ''

            row = [map_server, folder, service_name, service_type, url, user_name, path, service_description, copyright_info]
            csv_writer.writerow(row)