企业级空间数据库管理策略课件

企业级地理数据库管理策略企业级地理数据库1内容概要4企业级GDB部署及建库管理1235企业级GDB用户管理企业级GDB日常维护企业级GDB性能优化企业级GDB概述内容概要4企业级GDB部署及建库管理1235企业级GDB用户2企业级地理数据库概述ArcGIS

forEngineArcGISfor

ServerMobile GISArcGIS

forDesktopAdvancedStandardBasic

View+ArcGIS

ExtensionArcMapArcCatalogArcReaderCreate

customGIS

desktopapplicationsComprehensiveserver-basedGISPublish

mapsdata、metadataon

thewebGIS

for

fieldmappingapplicationsArcSDEAdvanced

spatialdataserverGeodatabaseDBMSFile-Based企业级地理数据库概述ArcGISforEngineArc3企业级地理数据库部署• 安装部署• 建库企业级地理数据库部署• 安装部署4部署——0.1的差距ArcSDE10软件介质分32Bit和64Bit安装方式：先安装软件，然后Post数据库：IBM

DB2InformixMicrosoft

SQLServerOraclePostgreSQLArcSDE10.1软件介质只有64Bit安装方式：安装软件（命令包+软件包）ArcGIS桌面直连Post数据库：IBM

DB2InformixMicrosoft

SQLServerSQL

AzureNetezzaOraclePostgreSQLDB

Client：Esri

Customer

Care

portal部署——0.1的差距ArcSDE10ArcSDE10.1软件5ArcGIS

10.1

Post界面ArcGIS10.1Post界面6ArcSDE建库-OracleOracle实例普通用户SDE用户SDE表空间用户表空间1用户表空间n……ArcSDE建库-OracleOracle实例普通用户SDE7ArcSDE建库-SQLServerSQLServer默认实例/命名实例SDE库SDE1库SDE2库SDE

Schema用户数据SDE用户普通用户SDE

Schema用户数据SDE

Schema用户数据普通用户普通用户超级用户Sa用户ArcSDE建库-SQLServerSQLServer默认实8企业级地理数据库用户管理• 用户角色• 业务与角色• 典型需求企业级地理数据库用户管理• 用户角色9用户角色SDE管理员CONNECT、RESOURCE

权限分配、版本数据拥有者CONNECTRESOURCE普通用户DBMS_PIPE、DBMS_LOCK

创建用户、赋予权限、创建表空间、备份数据库CONNECT、RESOURCE、UNLIMITED

TABLESPACE、

ADMINISTER

DATABASE

TRIGGER……

版本压缩、升级地理数据库、补丁升级、服务管理、参数管理、备份SDE数据库数据库DBA用户角色SDE管理员CONNECT、RESOURCEDBMS10业务与角色分配SDE管理员普通用户数据库DBA数据拥有者数据管理数据生产数据分析创建和管理整个ArcSDE库，保证SDE库的高效率，高安全性，升级、备份、迁移等。DefaultChildV1ChildV2管理索引、字段管理、版本管理、权限分配。数据编辑、数据查询、分析、报表、出图等业务与角色分配SDE管理员普通用户数据库DBA数据拥有者数据11典型用户需求Default数据拥有者普通用户普通用户ChangePrivilegesGrant

View

to

UserGrant

Edit

to

UserChildV1ChildV2CreateChild

VersionPrivate典型用户需求Default数据拥有者普通用户普通用户Chan12企业级地理数据库日常管理• 排错管理• 连接管理• 命令管理• 升级管理• 迁移管理企业级地理数据库日常管理• 排错管理13排错管理giomgr_<esri_sde>.logsde_<esri_sde>.logsde_setup.logwise_err.logsdedc_Oracle.log……BinDocumentationetclibLocateSDEHOMETool排错管理giomgr_<esri_sde>.logsde_14性能分析•SQL

Server

Profiler•Oracle的Trace文件Oracle的方法获得ArcToolBox工具获得-Tell

The

Beestotal

265

0.03

0.22

37更多了解：/linghe301/article/details/6946562

/linghe301/article/details/6669138call

count

cpu

elapsed

disk

query

current-------

------

--------

----------

----------

----------

----------

----------rowsFetch129

0.000------

------

--------

----------

----------

----------

----------

----------5100 123Parse70.000.000000Execute1290.030.040000性能分析•SQLServerProfilertotal 15连接管理•从连接的效率来说•ArcGIS产品的发展来说ArcSDE安装必须直连Post提供下载数据库客户端地址ArcSDE连接默认直连ArcSDE服务连接隐藏起来连接管理•从连接的效率来说•ArcGIS产品的发展来说16连接管理自动提示密码过期自动提示lic过期连接管理自动提示密码过期自动提示lic过期17命令管理•大量的ArcSDE命令从幕后走到了台前•Sdelayer

-o

register•Sdetable

-o

create_view•Sdetable

-o

create_mv_view•Sdemon

-o

info

-I

users•Sdemon

-o

info

-I

locks•Sdemon

-o

kill•……命令管理•Sdelayer-oregister18升级管理升级管理19版本兼容性管理ArcGIS10.1Geodatabase10.0Geodatabase9.x版本兼容性管理ArcGIS10.1Geodatabase1020版本兼容性管理Geodatabase10.1ArcGIS10ArcGIS10可以连接Geodatabase10.1，但是可能因为新的功能操作出现：Esri建议ArcGIS10

SP2补丁连接Geodatabase10.1个人建议尽可能的版本一致，一劳永逸The

version

of

the

Geodatabase

client

is

incompatiblewith

thedataset

andcannot

openit.版本兼容性管理Geodatabase10.1ArcGIS1021迁移管理ArcGIS方式（小于50GB）导出导入/复制粘贴（FGDB、XML）同步复制优点：安全、跨数据库、跨平台、跨版本缺点：版本数据、稍慢数据库方式数据泵（小于10GB）冷备份热备份RMAN（大于100GB）优点：速度快缺点：太专业、数据库版本关于ArcSDE数据迁移更多了解：/linghe301/article/details/6330759迁移管理ArcGIS方式（小于50GB）数据库方式优点：速度22企业级地理数据库性能管理• 连接数管理• 版本管理• 索引管理• 数据库管理企业级地理数据库性能管理• 连接数管理23ArcSDE参数-连接数“Failed

to

connect

to

database.Maximum

number

of

conections

to

instance

exceeded”orphaned

gsrvrprocess<孤立进程><空闲连接>操作系统ArcSDE数据库processes（150）Connections（48/60）TCPKEEPALIVE=TRUESharedSection1024,3072,512SharedSection=1024,3076,2048KEEPALIVETIME(mm)ArcSDE参数-连接数“Failedtoconnect24版本管理版本管理25数据版本编辑mvtables_modified大量状态值是元凶statesstate_lineagesversions关于ArcGIS版本更多了解：/view/7ad2ec7d27284b73f24250fe.htmlArcGIS版本编辑数据版本编辑mvtables_modified大量状态值是元26版本压缩

它会移除未引用的状态及其关联增量表行

它会将所有版本共用的增量表条目移至基表中why…版本压缩 它会移除未引用的状态及其关联增量表行why…27版本压缩管理你的版本压缩是否见效？Pre…

保证数据库除SDE用户外其他用户断开连接

所有子版本数据进行协调提交到default版本

删除所有子版本数据，注意同步复制版本

删除所有的lock信息或重新启动ArcSDE服务版本压缩管理你的版本压缩是否见效？Pre…保证数据库除28版本压缩管理流程数据备份删除子版本创建子版本版本压缩SDE

管理员断开其他用户版本压缩管理流程数据备份删除子版本创建子版本版本压缩SDE29版本压缩管理理想的版本压缩结果After…

压缩前与压缩后预览ArcMap相同

增量表数据信息为空状态表的State_id=0版本压缩管理理想的版本压缩结果After…压缩前与压缩30子版本管理现实业务中，多用户并发编辑，往往不仅仅是几个版本那么简单，有些业务有十几个甚至几十个子版本……版本名称固定版本结构固定版本数固定EXEC

sde.version_user_ddl.create_version

(sde.DEFAULT’,

---------------父版本:mv_version,

---------------子版本sde.version_util.C_take_name_as_given,sde.version_util.C_version_private,--------权限'multiversioned

view

edit

version');------版本描述EXEC

sde.version_user_ddl.delete_version('mv_version');更多了解：/linghe301/article/details/7329531子版本管理现实业务中，多用户并发编辑，往往不仅仅是几个版本那31版本压缩典型问题高水位线（High-warter

mark,

HWM）Select语句会对表中的数据进行一次扫描，但是究竟扫描多少数据存储块呢，这个并不是说数据库中有多少数据，Oracle就扫描这么大的数据块，而是Oracle会扫描高水位线以下的数据块。Truncate可以清空HWMStatesState_lingages/linghe301/article/details/7357028版本压缩典型问题高水位线（High-wartermark,32版本压缩——ORA-00001sdeversion

-ocompress

-usde

-p

sdeESRIArcSDE

Server

Repair

Utility------------------------------------------------------------Compressstate

tree:

Are

you

sure?

(Y/N):yError:

UnderlyingDBMS

error

(-51).Error:

Unable

tocompressstate

tree.ORA-00001:

unique

constraint(GDB.A40_PK)

violated•Orphaned

rows（孤立的行）•Duplicate

entriesindeletes

tables（D表有重复记录）•Entries

missing

fromthe

deletes

tables（D表有丢失记录）•No

inconsistencies（状态值的上下节点可能无效，可能找不到等）sdegdbrepair

-o

repair_tables

-dORACLE10G

-r

GDB.TOPO_AREA

-V

GDB.V1-p

sdeESRIArcSDE

Server

Repair

Utility----------------------------------------------------------Repair

Instance

Delta

Tables,

Are

yousure?

(Y/N):

yRepair

operation

completed

without

error.更多参考：/linghe301/article/details/7331992版本压缩——ORA-00001sdeversion-oc33版本压缩典型问题•Oracle用户增大UNDO表空间大小•因为版本压缩过程中，如果出现非不可抗拒问题，会进行事务的回退，而不会影响数据。那么版本压缩对UNDO表空间的使用就更加重要了。SQL>show

parameter

undo_tablespace;NAME

TYPE

VALUE------------------------------------

-----------

--------------------undo_tablespace

string

UNDOTBS1SQL>show

parameter

undo_management;NAME

TYPE

VALUE------------------------------------

-----------

--------------------undo_management

string

AUTO/linghe301/article/details/7335530版本压缩典型问题•Oracle用户增大UNDO表空间大小SQ34压缩建议根据编辑频率和编辑数定期（每月、每周、每天）进行版本压缩！压缩建议根据编辑频率和编辑数定期（每月、每周、每天）进行35索引管理索引管理36数据和索引分开存储##DEFAULTSGEOMETRY_STORAGE "ST_GEOMETRY"ST_GEOM_LOB_STORAGE

"

STORE

AS(#TABLESPACE

<lob

segment

tablespace_name>ENABLE

STORAGE

INROW

CHUNK

8K

RETENTION

CACHE)

"ATTRIBUTE_BINARYRASTER_STORAGE"BLOB""BLOB"B_STORAGE "PCTFREE

0INITRANS4"#......S_STORAGE#TABLESPACE

<default

business

table

tablespace

name>"PCTFREE

0

INITRANS4"TABLESPACE

<default

spatial

index

table

tablespace

name>S_INDEX_ALL "PCTFREE

0

INITRANS4#TABLESPACE

<default

index

tablespace

name>NOLOGGING"......BLK_STORAGE "PCTFREE0INITRANS4#TABLESPACE

<BLK

Table

tablespace

name>LOB(BLOCK_DATA)

STORE

AS(TABLESPACE

<lob

segment

tablespace_name>ENABLE

STORAGEINROW

CHUNK8K

RETENTIONCACHE)"#BLK_INDEX_COMPOSITE

"PCTFREE

0

INITRANS4#TABLESPACE

<BLK

Table

tablespace

name>NOLOGGING"END关于数据和索引分开存储更多了解：/view/f12f6c8271fe910ef12df84d.html数据和索引分开存储##DEFAULTS#TABLESPACE37重建索引Q：空间索引Grid多少是合适的？A：ArcGIS软件计算的基本上没有问题Q：什么时候使用多级空间索引？A：图层要素的大小形状差异很大

如果你的数据做了大量的平移

如果你的数据做了大量的修改

如果你增加了大量的数据why…关于空间索引更多了解：/linghe301/article/details/6269847重建索引Q：空间索引Grid多少是合适的？A：ArcGIS38重建索引新特性

批量对要素类进行重建索引

空间索引和属性索引

系统表和增量表的选项重建索引新特性 批量对要素类进行重建索引39数据统计分析why…

执行了某些主要操作后，例如创建新数据集、添加或移除拓扑规则或将大量新数据加载到现有对象中。

定期维护因对现有数据进行编辑而使其过时的统计数据；数据统计分析功能主要是对空间索引信息进行统计分析，系统可以对指定表或者指定类表进行统计。ST_GEOMETRY_INDEXOracle数据库的自动统计分析可能导致极为严重的闩锁竞争，进而可能导致数据库Hang或者Crash。所以建议最好关闭这个自动统计信息收集功能。关于ArcSDE编辑优化更多了解：/linghe301/article/details/6269860数据统计分析why…执行了某些主要操作后，例如创建新数40数据库管理数据库参数数据库管理数据库参数41企业级地理数据库管理策略企业级地理数据库42内容概要4企业级GDB部署及建库管理1235企业级GDB用户管理企业级GDB日常维护企业级GDB性能优化企业级GDB概述内容概要4企业级GDB部署及建库管理1235企业级GDB用户43企业级地理数据库概述ArcGIS

forEngineArcGISfor

ServerMobile GISArcGIS

forDesktopAdvancedStandardBasic

View+ArcGIS

ExtensionArcMapArcCatalogArcReaderCreate

customGIS

desktopapplicationsComprehensiveserver-basedGISPublish

mapsdata、metadataon

thewebGIS

for

fieldmappingapplicationsArcSDEAdvanced

spatialdataserverGeodatabaseDBMSFile-Based企业级地理数据库概述ArcGISforEngineArc44企业级地理数据库部署• 安装部署• 建库企业级地理数据库部署• 安装部署45部署——0.1的差距ArcSDE10软件介质分32Bit和64Bit安装方式：先安装软件，然后Post数据库：IBM

DB2InformixMicrosoft

SQLServerOraclePostgreSQLArcSDE10.1软件介质只有64Bit安装方式：安装软件（命令包+软件包）ArcGIS桌面直连Post数据库：IBM

DB2InformixMicrosoft

SQLServerSQL

AzureNetezzaOraclePostgreSQLDB

Client：Esri

Customer

Care

portal部署——0.1的差距ArcSDE10ArcSDE10.1软件46ArcGIS

10.1

Post界面ArcGIS10.1Post界面47ArcSDE建库-OracleOracle实例普通用户SDE用户SDE表空间用户表空间1用户表空间n……ArcSDE建库-OracleOracle实例普通用户SDE48ArcSDE建库-SQLServerSQLServer默认实例/命名实例SDE库SDE1库SDE2库SDE

Schema用户数据SDE用户普通用户SDE

Schema用户数据SDE

Schema用户数据普通用户普通用户超级用户Sa用户ArcSDE建库-SQLServerSQLServer默认实49企业级地理数据库用户管理• 用户角色• 业务与角色• 典型需求企业级地理数据库用户管理• 用户角色50用户角色SDE管理员CONNECT、RESOURCE

权限分配、版本数据拥有者CONNECTRESOURCE普通用户DBMS_PIPE、DBMS_LOCK

创建用户、赋予权限、创建表空间、备份数据库CONNECT、RESOURCE、UNLIMITED

TABLESPACE、

ADMINISTER

DATABASE

TRIGGER……

版本压缩、升级地理数据库、补丁升级、服务管理、参数管理、备份SDE数据库数据库DBA用户角色SDE管理员CONNECT、RESOURCEDBMS51业务与角色分配SDE管理员普通用户数据库DBA数据拥有者数据管理数据生产数据分析创建和管理整个ArcSDE库，保证SDE库的高效率，高安全性，升级、备份、迁移等。DefaultChildV1ChildV2管理索引、字段管理、版本管理、权限分配。数据编辑、数据查询、分析、报表、出图等业务与角色分配SDE管理员普通用户数据库DBA数据拥有者数据52典型用户需求Default数据拥有者普通用户普通用户ChangePrivilegesGrant

View

to

UserGrant

Edit

to

UserChildV1ChildV2CreateChild

VersionPrivate典型用户需求Default数据拥有者普通用户普通用户Chan53企业级地理数据库日常管理• 排错管理• 连接管理• 命令管理• 升级管理• 迁移管理企业级地理数据库日常管理• 排错管理54排错管理giomgr_<esri_sde>.logsde_<esri_sde>.logsde_setup.logwise_err.logsdedc_Oracle.log……BinDocumentationetclibLocateSDEHOMETool排错管理giomgr_<esri_sde>.logsde_55性能分析•SQL

Server

Profiler•Oracle的Trace文件Oracle的方法获得ArcToolBox工具获得-Tell

The

Beestotal

265

0.03

0.22

37更多了解：/linghe301/article/details/6946562

/linghe301/article/details/6669138call

count

cpu

elapsed

disk

query

current-------

------

--------

----------

----------

----------

----------

----------rowsFetch129

0.000------

------

--------

----------

----------

----------

----------

----------5100 123Parse70.000.000000Execute1290.030.040000性能分析•SQLServerProfilertotal 56连接管理•从连接的效率来说•ArcGIS产品的发展来说ArcSDE安装必须直连Post提供下载数据库客户端地址ArcSDE连接默认直连ArcSDE服务连接隐藏起来连接管理•从连接的效率来说•ArcGIS产品的发展来说57连接管理自动提示密码过期自动提示lic过期连接管理自动提示密码过期自动提示lic过期58命令管理•大量的ArcSDE命令从幕后走到了台前•Sdelayer

-o

register•Sdetable

-o

create_view•Sdetable

-o

create_mv_view•Sdemon

-o

info

-I

users•Sdemon

-o

info

-I

locks•Sdemon

-o

kill•……命令管理•Sdelayer-oregister59升级管理升级管理60版本兼容性管理ArcGIS10.1Geodatabase10.0Geodatabase9.x版本兼容性管理ArcGIS10.1Geodatabase1061版本兼容性管理Geodatabase10.1ArcGIS10ArcGIS10可以连接Geodatabase10.1，但是可能因为新的功能操作出现：Esri建议ArcGIS10

SP2补丁连接Geodatabase10.1个人建议尽可能的版本一致，一劳永逸The

version

of

the

Geodatabase

client

is

incompatiblewith

thedataset

andcannot

openit.版本兼容性管理Geodatabase10.1ArcGIS1062迁移管理ArcGIS方式（小于50GB）导出导入/复制粘贴（FGDB、XML）同步复制优点：安全、跨数据库、跨平台、跨版本缺点：版本数据、稍慢数据库方式数据泵（小于10GB）冷备份热备份RMAN（大于100GB）优点：速度快缺点：太专业、数据库版本关于ArcSDE数据迁移更多了解：/linghe301/article/details/6330759迁移管理ArcGIS方式（小于50GB）数据库方式优点：速度63企业级地理数据库性能管理• 连接数管理• 版本管理• 索引管理• 数据库管理企业级地理数据库性能管理• 连接数管理64ArcSDE参数-连接数“Failed

to

connect

to

database.Maximum

number

of

conections

to

instance

exceeded”orphaned

gsrvrprocess<孤立进程><空闲连接>操作系统ArcSDE数据库processes（150）Connections（48/60）TCPKEEPALIVE=TRUESharedSection1024,3072,512SharedSection=1024,3076,2048KEEPALIVETIME(mm)ArcSDE参数-连接数“Failedtoconnect65版本管理版本管理66数据版本编辑mvtables_modified大量状态值是元凶statesstate_lineagesversions关于ArcGIS版本更多了解：/view/7ad2ec7d27284b73f24250fe.htmlArcGIS版本编辑数据版本编辑mvtables_modified大量状态值是元67版本压缩

它会移除未引用的状态及其关联增量表行

它会将所有版本共用的增量表条目移至基表中why…版本压缩 它会移除未引用的状态及其关联增量表行why…68版本压缩管理你的版本压缩是否见效？Pre…

保证数据库除SDE用户外其他用户断开连接

所有子版本数据进行协调提交到default版本

删除所有子版本数据，注意同步复制版本

删除所有的lock信息或重新启动ArcSDE服务版本压缩管理你的版本压缩是否见效？Pre…保证数据库除69版本压缩管理流程数据备份删除子版本创建子版本版本压缩SDE

管理员断开其他用户版本压缩管理流程数据备份删除子版本创建子版本版本压缩SDE70版本压缩管理理想的版本压缩结果After…

压缩前与压缩后预览ArcMap相同

增量表数据信息为空状态表的State_id=0版本压缩管理理想的版本压缩结果After…压缩前与压缩71子版本管理现实业务中，多用户并发编辑，往往不仅仅是几个版本那么简单，有些业务有十几个甚至几十个子版本……版本名称固定版本结构固定版本数固定EXEC

sde.version_user_ddl.create_version

(sde.DEFAULT’,

---------------父版本:mv_version,

---------------子版本sde.version_util.C_take_name_as_given,sde.version_util.C_version_private,--------权限'multiversioned

view

edit

version');------版本描述EXEC

sde.version_user_ddl.delete_version('mv_version');更多了解：/linghe301/article/details/7329531子版本管理现实业务中，多用户并发编辑，往往不仅仅是几个版本那72版本压缩典型问题高水位线（High-warter

mark,

HWM）Select语句会对表中的数据进行一次扫描，但是究竟扫描多少数据存储块呢，这个并不是说数据库中有多少数据，Oracle就扫描这么大的数据块，而是Oracle会扫描高水位线以下的数据块。Truncate可以清空HWMStatesState_lingages/linghe301/article/details/7357028版本压缩典型问题高水位线（High-wartermark,73版本压缩——ORA-00001sdeversion

-ocompress

-usde

-p

sdeESRIArcSDE

Server

Repair

Utility------------------------------------------------------------Compressstate

tree:

Are

you

sure?

(Y/N):yError:

UnderlyingDBMS

error

(-51).Error:

Unable

tocompressstate

tree.ORA-00001:

unique

constraint(GDB.A40_PK)

violated•Orphaned

rows（孤立的行）•Duplicate

entriesindeletes

tables（D表有重复记录）•Entries

missing

fromthe

deletes

tables（D表有丢失记录）•No

inconsistencies（状态值的上下节点可能无效，可能找不到等）sdegdbrepair

-o

repair_tables

-dORACLE10G

-r

GDB.TOPO_AREA

-V

GDB.V1-p

sdeESRIArcSDE

Server

Repair

Utility----------------------------------------------------------Repair

Instance

Delta

Tables,

Are

yousure?

(Y/N):

yRepair

operation

completed

without

error.更多参考：/linghe301/article/details/7331992版本压缩——ORA-00001sdeversion-oc74版本压缩典型问题•Oracle用户增大UNDO表空间大小•因为版本压缩过程中，如果出现非不可抗拒问题，会进行事务的回退，而不会影响数据。那么版本压缩对UNDO表空间的使用就更加重要了。SQL>show

parameter

undo_tablespace;NAME

TYPE

VALUE------------------------------------

-----------

--------------------undo_tablespace

string

UNDOTBS1SQL>show

parameter

undo_management;NAME

TYPE

VALUE------------------------------------

-----------

--------------------undo_management

string

AUTO/linghe301/article/details/7335530版本