,据国家知识产权局公告,太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“,公开号CN117251414A,申请日期为2023年11月。

专利摘要显示,本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。
本文源自:金融界
作者:情报员
声明:本网转发此文,旨在为读者提供更多资讯信息,所渉内容不构成投资、建议消费。文章内容如有疑问,请与有关方核实,文章观点非本网站观点,仅供读者参考。
工商银行举办“工享数币迎大运”健步走线上活动
数字人民币是人民银行发行的数字形式的法定货币,具有安全、智慧、便...
海航控股“五一”期间国内日均航班量1193班客座
在今日召开的2022年度海南辖区上市公司业绩说明会上,海航控股回...
消息称TikTok正测试AI聊天机器人“Tako
,据路透社报道,以色列人工智能公司WatchfulTechnol...
LG42英寸C3OLED游戏电视降至7999元,
,LG在今年4月份推出了42英寸C3OLED游戏电视,首发到手价...
在比亚迪汉DM上看大场面才过瘾 购买自主中高端B
汉DM-i冠军版也好,汉DM-p战神版也罢,都将领衔中国品牌完成...
四大智能技术加持,售价11.68万元起一汽丰田新
5月21日,“一汽丰田智能电混技术发布暨新卡罗拉上市发布会”在珠...