基于云计算的地质大数据挖掘内涵(3)

5 地质大数据处理流程

地质学与地球科学面临的问题息息相关，长期积累的各类地质数据以及互联网所能收集的大量数字国土资源相关数据(包括传统意义上认为不是“数据”的信息数据)，构成了地质大数据的总体。地质大数据的发现、梳理、平台、分析和服务是本研究领域的主要内容。通过数据发现模块，定位及更新局域网数据，将局域网数据初步转变为异构数据。数据梳理模块对局域网地质数据设计索引数据结构，并建立索引数据库，同时根据文件传输协议设计并实现文件传输。数据挖掘模块在CRISP-DM理论指导下，进行数据检索和信息综合。综合处理数据挖掘模块所得的信息，为各种应用需求提供社会化服务以及数据更新存储，进而完成知识服务(图2)。

图1 基于Hadoop平台融合多功能的大数据挖掘Fig.1 Multi-functional big data mining based on Hadoop platform

图2 地质大数据梳理模式流程图Fig.2 Flow chart of geological big data carding model

6 结 论

1) 基于云计算的地质大数据挖掘将极大地改变以“图”形式为主的服务模式，使大量有价值却难以被利用的多样化、碎片化的复杂地质调查非结构化数据被激活，信息变得多元而丰富[14]。

2) 快速搜索技术是内容搜索以及知识发现领域研究的热点。如何根据野外地质人员提出的问题快速返回相关的知识片段，并依兴趣相关度高效排序，由聚类分析算法找出相关推荐文档及时指导野外工作，即智能分析挖掘，这将是一个热点。

3) 大数据挖掘适合实时处理或流处理海量的各种结构、半结构、非结构数据，较注重处理速度而非数据处理的精确度，数据处理质量欠佳，能很好的扩展、伸缩，并有容错机制。

但基于云计算的大数据挖掘在可视化与自动融合挖掘以及创建便于用户认知的自动交互界面等方面仍面临挑战。

[1] BARBIERATO E,GRIBAUDO M,IACONO evaluation of NoSQL big-data applications using multi-formalism models[J].Future Generation Computer Systems,2014,37(7):345-353.

[2] 高明,金澈清,王晓玲,等.数据世系管理技术研究综述[J].计算机学报,2010,33(3):373-389.

GAO Ming,JIN Cheqing,WANG Xiaoling,et al.A survey on management of data provenance[J].Chinese Journal of computers,2010,33(3):373-389.

[3] 张俊林.大数据日知录:架构与算法[M].北京:电子工业出版社,2014.

[4] 郑锦娜,陈安蜀,杨君.在涉密地质资料管理工作中的几点思考与对策[J].地质调查与研究,2018,41(4):318-320.

ZHENG Jinna,CHEN Anshu,YANG Jun.Some thoughts and countermeasures in the management of confidential geological data[J].Geological Survey and Research,2018,41(4):318-320.

[5] 丁岩,杨庆平,钱煜明.基于云计算的数据挖掘平台架构及其关键技术研究[J].中兴通讯技术,2013,19(1):53-56.

DING Yan,YANG Qingping,QIAN and key technology of a data mining platform based on cloud computing[J].ZTE Technology Journal,2013,19(1):53-56.

[6] 杨勇,董振江,陆平.具备云计算特性的业务交付平台及其关键技术研究[J].中兴通讯技术,2011,17(5):55-57.

YANG Yong,DONG Zhenjiang,LU Ping.SDP with cloud computing features[J].ZTE Technology Journal,2011,17(5):55-57.

[7] 吴朱华.云计算核心技术剖析[M].北京:人民邮电出版社,2011.

[8] HAN J W,MICHELINE K.数据挖掘概念与技术[M].范明,孟晓峰,译.北京:机械工业出版社,2012.

[9] 王元卓,靳小龙,程学旗,等.网络大数据:现状与展望[J].计算机学报,2013,36(6):1125-1138.

WANG YuanZhuo,JIN Xiaolong,CHENG Xueqi,et big data:current situation and prospects[J].Journal of Computer,2013,36(6):1125-1138.

[10] LI K,GIBSON C,HO D,et of machine learning algorithms in cloud computing frameworks[C]∥2013 IEEE Systems and Information Engineering Design Computer

[11] 白梅,信俊昌,东韩,等.不确定数据流上的概率反轮廓查询处理[J].计算机研究与发展,2011,48(10):1842-1849.

BAI Mei,XIN Junchang,DONG Han,et reverse skyline query processing on uncertain data streams[J].Journal of Computer Research and Development,2011,48(10):1842-1849.

[12] ARI I,OLMEZOGULLARI E,CELEBI,et al.Data stream analytics and mining in the cloud [C]∥Cloud Com 2012-Proceedings：2012 4th IEEE International Conference on Cloud Computing Technology and Computer

[13] 付长军,乔宏章.大数据可视化技术探析[J].无线电通信技术,2017,43(5):1-5.

FU Changjun,QIAO on big data visualization technology[J].Radio Communications Technology,2017,43(5):1-5.

[14] 李超岭,李健强,张宏春,等.智能地质调查大数据应用体系架构与关键技术[J].地质通报,2015,34(7):1288-1299.

LI Chaoling,LI Jianqiang,ZHANG Hongchun,et al.Big data application architecture and key technologies of intelligent geological survey[J].Geological Bulletin of China,2015,34(7):1288-1299.

文章来源：《中国地质灾害与防治学报》 网址: http://www.zgdzzhyfzxb.cn/qikandaodu/2021/0511/708.html