首页 > 专利学习

基于flink的高效同步实时数据到ClickHouse的方法及装置[发明专利]

专利名称：基于flink的高效同步实时数据到ClickHouse的方法及装置

专利类型：发明专利

发明人：肖明睿

申请号：CN202111309015.2

申请日：20211105

公开号：CN114003660B

公开日：

20220603

专利内容由知识产权出版社提供

摘要：本发明公开了一种基于flink的高效同步实时数据到ClickHouse的方法及装置，本申请的查询ClickHouse集中所有分片的链接列表，基于预设分片规则，从链接列表中查对应分片的机器，将变化数据写入对应分片的机器的本地表中。现有的flink不支持按照分片规则写入本地表的方式，数据写入到分布式表再同步到本地表存在很大的性能问题。本发明提供了直接将数据写入本地表的技术手段，而避免通过分布式表再写入本地表中，写入速度极大提升，且不存在数据一致性的问题。

申请人：广州宸祺出行科技有限公司

地址：510700 广东省广州市黄埔区腾飞一街2号501房(部位:5001)

国籍：CN

代理机构：广州云领专利代理事务所(普通合伙)

代理人：肖云

本文发布于:2024-09-21 18:58:28，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/1/405078.html

上一篇：基于系统索引的敏感关键字检索方法、设备、介质及产品[发明专利]

下一篇：一种移动试衣间配置方法及装置[发明专利]