大数据背景下水文信息化 展望与思考

鄂州市水文水资源局

             
首页 > 专题集锦 >详细信息
大数据背景下水文信息化 展望与思考

2016年是云计算、图计算系统、大数据及虚拟化技术浓墨重彩及飞速发展的一年,在数据日益增长的今天,挖掘大规模数据增强现有业务,甚至产生新的商业模式,深度数据编辑及有效数据挖掘本身成为难题,现有的水文遥测设备运行方式及数据加工模式不能很好的适应行业需求,本文以现有热门技术为支点,对水文信息化运维及数据深度开发趋势作简要展望与畅想。

1、运行模式。

现今水文数据的运行模式是以遥测采集、分中心机房接收、汇集转发模式进行,传统的模式有以下弊端:分中心机房维护成本较高、需专职机房管理人员、软件盗版问题、数据可利用性低、没有统一的平台及操作模式、不能便捷的进行远程作业、数据分析及整理不够精细等。

在公有云及私有云发展日渐成熟的今天,将分中心机房托管到云端,节省了服务器、存储设备及管理维护等硬件开销的同时,可以很大程度提升硬件的稳定性及管理的便捷性,远程监测各项硬件指标,高度统一的管理界面及专业的大型机房管理运维都大大释放了传统专职机房管理人员的精力,可更加专注于面对水文遥测数据的深度开发与分析。

依靠云端的统一管理,配合虚拟化技术将各水文分中心虚拟呈现,如同本地操作,统一的接口,统一的操作方式以统一的管理模式,机房管理员将不再面对真实底层硬件转而转向虚拟数据分析层面,更加专注及更加专业的处理水文技术问题,更好的服务社会。

2、数据安全及可靠性。

云端托管的安全性是我们无法回避的问题,在互联网时代安全是相对的,没有绝对的安全可言,我们需要在成本和效益之间找一个均衡点。我们在应用程序上还可以针对一些敏感度高的数据在存储环节进行一定的混淆(加密数据之间的关系)和加密(加密数据本身),配合现在运行中的成熟的通信消息加密,应用程序合法性校验等一系列手段,进一步提高整个系统的安全性,保护用户的数据。

核心数据存储是需要有整套的冗余和备份策略来保证可靠性的,云计算平台也一样应用了冗余和备份的技术,在云计算提供商的技术手册上给出的无故障运行时间参数就是这些技术应用水平的重要标识。相比于规范程度不是很高,冗余度比较低的自建数据中心,专业公司维护的规范的云计算平台能提供更高的可靠性参数。当然,在严格按照云计算提供商的技术手册配置冗余和备份策略的同时,应用程序提供商还可以通过支持部分离线操作来提高核心业务的可用性以及更多的冗余和备份技术来提高数据的可靠性。

3、数据深度挖掘与利用。

随着水文遥测站点及数据的剧增,遥测数据的整理与分析是水文工作中是重要环节,在云计算、虚拟化技术为背景的现代化水文工作模式下,深度的数据利用与开发将是日常工作中的重点。

数据挖掘是从海量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。数据挖掘中用到了大量的机器学习界提供的数据分析技术和数据库界提供的数据管理技术。

以大量的数据为基础,通过机器学习,掌握挖掘潜在数据的规律与方法,然后由特定的模型进行加工、分发、生成成果,最后进行审核,一系列紧密联系,整个过程会不断反复,模型也会不断调整,直至达到理想效果。以机器学习为手段,数据挖掘为目的,高效的进行水文数据整理与分析,进一步提升成果质量,为快速、准确专业的解决水文行业问题提供了基础与便捷。


  • 编辑:         责任编辑: