为了实现堤防工程信息化,促使堤防工程数据高效的收集、有序的存储、快速准确的分析与利用,需确定堤防工程数据标准,明确不同类型数据标准化方案。从堤防工程涉及的工程、水文气象、人文经济、地理、地质、物探、险情及监测数据8个方面出发,调查了国内外数据标准化研究现状,并在此基础上提出堤防数据标准化包含的3部分内容:结构化数据标准化、非结构化数据标准化、数据入库与清洗。结果表明:通过数据分类、数据编码及表设计3个步骤的操作,可对结构化数据进行标准化;利用Java Script对象表示法(Java Script Object Notation,JSON)描述文档的关键信息,将带有文档属性的JSON连同文档一起存入数据库,可实现非结构化数据标准化;通过统一接入和动态配置的数据接入和清洗方法,提高了堤防工程数据标准化过程的效率。研究成果可为进一步提高堤防工程数据标准化程度提供参考。
Abstract
The standards of dyke engineering data should be determined and the standardization schemes of different types of data should be defined in an aim to enhance effective data collection, orderly storage, and rapid and accurate analysis and utilization. In this paper, the status quo of data standardization research in China and abroad are investigated in eight aspects, namely, engineering data, hydrometeorological data, humanistic and economic data, geographic data, geological data, geophysical data, danger data, and monitoring data involved in dyke engineering. The standardization of dyke engineering data should include three contents: structured data, unstructured data, data warehousing and cleaning. Structured data can be standardized through data classification, data coding, and table design; unstructured data can be standardized via describing key information of documents by Java Script Object Notation(JSON) storing the documents together with JSON in the database; the efficiency of data standardization can be improved by uniform data warehousing and dynamic cleaning.
关键词
堤防工程 /
数据标准化 /
数据入库与清洗 /
Java Script对象表示法 /
水利信息化
Key words
dyke engineering /
data standardization /
data warehousing and cleaning /
JSON /
water conservancy informatization
{{custom_sec.title}}
{{custom_sec.title}}
{{custom_sec.content}}
参考文献
[1] 李 喆,谭德宝,程学军.基于GeoDatabase的长江流域生态环境信息库模型[J].长江科学院院报,2010,27(1): 4-8.
[2] 饶小康.水利工程灌浆大数据平台设计与实现[J].长江科学院院报,2019,36(6): 139-145.
[3] 牛广利,李瑞有,李天旸.基于云平台的大坝安全监测数据管理及分析系统研发与应用[J].长江科学院院报,2019,36(6): 161-165.
[4] ZHANG Q,ZHU H H.Collaborative 3D Geological Modeling Analysis Based on Multi-source Data Standard[J].Engineering Geology, 2018, 246(12):233-244.
[5] 王继民,朱跃龙,周 洲,等.南水北调东线泵站(群)运行监控数据标准化研究[J].水利信息化,2018(5): 6-10.
[6] 黄 伟,娄渊清,李长松.面向软件定义地图模式的水利数据共享方法[J].水利信息化,2018(4): 30-36.
[7] 吴涵宇,马 明,余虹剑.基于GIS的水利数据中心建设研究[J].测绘与空间地理信息,2017,40(增刊1): 193-196.
[8] 徐德馨,周玉琴,周晓愚.“武汉市城市地质调查数据分类编码及数据库规范”编制研究[J].城市勘测,2018,18(2): 169-176.
[9] 刘慧梅.如何推进水利信息化建设[J].水电工程,2015,15(4): 1597.
[10]SL 478—2010,水利信息数据库表结构及标识符编制规范[S]. 北京:中国水利水电出版社,2010.
[11]SL 577—2013,实时工情数据库表结构及标识符[S]. 北京:中国水利水电出版社,2013.
[12]NFCS01—2017,防洪工程数据库表结构及标识符[S]. 北京:中国水利水电出版社,2017.
[13]SL 249—2012,中国河流代码[S]. 北京:中国水利水电出版社,2012.
[14]SL 213—2012,水利工程代码编制规范[S]. 北京:中国水利水电出版社,2012.
基金
国家重点研发计划项目(2017YFC1502601)