成果简介:
石油大数据平台基于 Spring Cloud 微服务框架,是一个集数据采集、存储、处理为一体的大数据知识挖掘平台。
系统被划分为多个低耦合的微服务组件,各组件间通过 HTTP 和 RPC 协议进行交互,具有较高可用性与可扩展性。基于 Redis 和 Kafka 相结合的数据缓存服务层,能够极大提升系统内部的数据读写速度。基于 HDFS 和 HBase 的分布式数据存储和基于 Hive 的数据仓库存储机制,实现了多源异构大数据融合 , 建立了大数据治理体系结构 , 为整个系统提供数据支撑 。 基于Hadoop+Storm+Spark 的云计算基础设施体系结构,融合不同云计算优势的混合云基础设施,提供数 据的离线批处理、实时在线处理功能和石油大数据知识发现、知识展示和分析应用的技术方法。
技术特点及技术指标:
与国内外同行业技术相比,石油大数据平台各个微服务之间具有更低的耦合性,云计算基础设施更为稳定,具有更高的知识发现效率,数据访问延时在 50ms 以下,可承载数十 TB数据。
应用领域:
目前与华北油田、中石油勘探院等石油企业进行了长期稳定的项目合作,具有多年项目经验积累,但仍有较大的推广空间,因此期望寻求与各个石油企业及各类市场推广机构进行项目合作,合作方式包括方法转让或许可、产品区域代理、市场推广代理、联合实施、协商确定等,进一步扩展该方法在石油产业中的应用。
投入需求:
将石油大数据平台进行部署,需要根据实际数据规模和处理性能要求选择合适的存储服务器和计算服务器。
专利授权及申请情况:
1、国家发明专利:一种基于 RK(Redis and Kafka)的实时高效缓存机制(实审)
2、国家发明专利:一种基于深度学习的混合多模式热数据缓存策略(实审)
3、国家发明专利:一种融合时序与非时序特征的测井曲线生成方法(实审)
4、国家发明专利:一种基于小样本学习的剩余油挖潜方法(实审)
5、国家发明专利:一种面向实时视频处理的负载感知云计算系统(授权)
6、国家发明专利:一种基于 OSGi 的计算任务近数据源迁移方法(授权)
7、国家发明专利:一种基于深度学习的自然场景中船牌文字识别方法、装置(授 权)
8、国家发明专利:一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方 法(授权)
9、国家发明专利:一种基于深度学习的高精度交通标志检测方法及系统(授权)
成果受资助及获奖情况:
1、国家自然科学基金面上项目,62072469,基于类脑认知的高泛化性故障预测方法 研究,2021-01 至 2024-12;
2、国家重点研发计划,2018YFE0116700,互联网工厂运行状态分析预测与优化研 究及应用,2019-10 至 2021-10;
3、山东省科技进步二等奖,自适应联邦智能关键技术研究与产业化 (第一)
4、吴文俊人工智能科技进步三等奖,可信联邦智能关键技术研发及产业示范(第 一)
5、青岛市 2018 年度大数据优秀学术成果(入围),市局级,石油大数据知识挖掘 技术,2018-11;
6、中国石油和化学工业联合会科技进步奖三等奖,其他,大数据环境下油气开采智能生产关键技术。
技术成熟程度: 已在产业中应用
拟合作方式: ☑技术许可 ☑作价入股 ☑合作开发