信息无障碍通道
您的位置:首页>>热点动态

Flink CDC 2.1 发布,XTransfer贡献MongoDB CDC 连接器

发布时间:2021-11-25 14:03  来源:互联网    背景: 无障碍阅读通道

  近日,在社区开发者们共同努力下,Flink CDC 社区宣布 Flink CDC 2.1 正式发布。据悉,2.1 版本包含 23 位贡献者贡献的 100+ PR,重点提升了 MySQL CDC 连接器的性能和生产稳定性,重磅推出 Oracle CDC 连接器和 MongoDB CDC 连接器。其中,XTransfer 的技术专家Jiabao Sun贡献了MongoDB CDC 连接器,支持从 MongoDB 数据库获取全量历史数据和增量变更数据。

  详解推出的MongoDB CDC 连接器

  MongoDB CDC 连接器并不依赖 Debezium,是在 Flink CDC 项目里独立开发。MongoDB CDC 连接器支持捕获并记录 MongoDB 数据库中实时变更数据,其原理是伪装一个 MongoDB 集群里副本 [4],利用 MongoDB 集群的高可用机制,该副本可以从 master 节点获取完整 oplog(operation log) 事件流。Change Streams API 则提供实时订阅这些 oplog 事件流的能力,可以将这些实时的 oplog 事件流推送给订阅的应用程序。

  从 ChangeStreams API 获取的更新事件中,对于 update 事件,没有 update 事件的前镜像值,即 MongoDB CDC 数据源只能作为一个 upsert source。不过 Flink 框架会自动为 MongoDB CDC 附加一个 Changelog Normalize 节点,补齐 update 事件的前镜像值(即 UPDATE_BEFORE 事件),从而确保 CDC 数据的语义正确性。

  使用 MongoDB CDC 连接器,用户只需要声明如下 Flink SQL 就能实时捕获 MongoDB 数据库中的全量和增量变更数据,借助 Flink 强大的集成能力,用户可以非常方便地将 MongoDB 中的数据实时同步到 Flink 支持的所有下游存储。

  整个数据捕获过程,用户不需要学习 MongoDB 的副本机制和原理,极大地简化了流程,降低了使用门槛。MongoDB CDC 也支持两种启动模式:默认的initial 模式是先同步表中的存量的数据,然后同步表中的增量数据;latest-offset 模式则是从当前时间点开始只同步表中增量数据。

  此外,MongoDB CDC 还提供了丰富的配置和优化参数,对于生产环境来说,这些配置和参数能够极大地提升实时链路的性能和稳定性。

  写在最后

  在短短的一年多时间里,Flink CDC 项目取得了现象级的发展和关注,这离不开 Flink CDC 开源社区的贡献者们的无私贡献,也离不开广大 Flink CDC 用户的积极反馈,正是这两者的良性互动才使得 Flink CDC 项目健康发展,这种良性互动也是开源社区的魅力所在。对此,XTransfer技术专家Jiabao Sun表示,“未来,XTransfer技术团队将持续关注开源社区并积极贡献力量。”

  关于XTransfer

  XTransfer是一站式外贸企业跨境金融和风控服务公司,致力于帮助中小微企业大幅降低全球展业的门槛和成本,提升全球竞争力。公司总部设立在上海,并在中国香港地区、深圳等主要外贸城市,以及英国、美国、加拿大、日本、澳大利亚、新加坡等地设有分支机构。目前,XTransfer已在中国香港地区、英国、美国、加拿大、澳大利亚获得当地支付牌照。

  通过与知名跨国银行及金融机构合作,XTransfer建设跨国大集团级全球多币种统一结算平台,并打造了以中小微企业为中心的,数据化、自动化、互联网化和智能化的反洗钱风控基础设施。XTransfer以科技为桥梁,链接全球大型金融机构和中小微企业,让中小微企业享受到和大型跨国集团企业同等水平的跨境金融服务。

  文章整理自:微信公众号Apache Flink

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
指路双十二:全网热销的4K投影极米RS Pro2有多强?
用过投影仪的朋友都知道,投影仪除了看基本参数外(比如画面亮度、分辨率),操作流畅感也非常重要。尤其是对于一些游戏玩家,或者急性子的人来说,机器运行卡顿简直不能忍!那么,有这么一款硬件配置拉满的4K投...
日期:11-25
Flink CDC 2.1 发布,XTransfer贡献MongoDB CDC 连接器
近日,在社区开发者们共同努力下,Flink CDC 社区宣布 Flink CDC 2.1 正式发布。据悉,2.1 版本包含 23 位贡献者贡献的 100+ PR,重点提升了 MySQL CDC 连接器的性能和生产稳定性,重磅推出 Oracle CDC 连接...
日期:11-25
指路双十二:全网热销的4K投影极米RS Pro2有多强?
用过投影仪的朋友都知道,投影仪除了看基本参数外(比如画面亮度、分辨率),操作流畅感也非常重要。尤其是对于一些游戏玩家,或者急性子的人来说,机器运行卡顿简直不能忍!那么,有这么一款硬件配置拉满的4K投...
日期:11-25
极米屠榜双十一的原因:对画质要求极高的偏执狂
之所以还有不少消费者不愿意选择投影机作为家庭电视使用,还有一部分原因是对投影效果的不信赖,他们还认为投屏出来的画面"灰灰的" "色彩太淡" "看不清楚"等等。
日期:11-25
国星光电:已开发 Micro LED 芯片系列,实现小批量供货
11 月 25 日消息,昨日,国星光电披露了近期接受机构调研时的主要内容。
日期:11-25
TCL QD-Mini LED:细节拉满,宅家也能享受影院级视听体验
看电影的最高境界是什么?当然就是沉浸在画面中,为画面里人物的悲伤而哭,为人物的幸福而笑,心疼人物的每一滴眼泪,也珍惜每一刻的喜悦。感受主人公身上的不幸和阳光,一起去经历,成长,全身心的畅游在电影...
日期:11-25
松下洗衣机器人,将“不可机洗”成为可能
随着生活水平的提高,审美升级的消费者对穿衣品味更加看重,更愿意为自己购买奢品级的衣物,但面对那些“不可机洗”的衣物标签,难免要为衣物清洁问题发愁。
日期:11-25
顺丰科技 x StarRocks:双十一实时运单分析实践
顺丰科技有限公司隶属于顺丰速运集团,成立于2009年,致力于构建智慧大脑,建设智慧物流服务。顺丰科技经过多年的自主研发,已经建成大数据整体生态系统,完成数据采集与同步、数据存储与整合、数据分析与挖...
日期:11-25
“摆脱场馆思维”,智能健身或可让更多的人运动起来
若问当代人最关心什么,健康无疑是最重要的话题,特别是在疫情之后尤其如此。
日期:11-25
《剑网1:归来》今日开启全平台公测!传承侠文化、再续剑侠情!
行走江湖,侠义于心。由西山居自研、西山居和盛趣游戏联合发行的正统剑侠情缘手游《剑网1:归来》今日正式开启全平台公测!
日期:11-25
2021中国(西安)电子商务博览会将于12月启幕
2021中国(西安)电子商务博览会(简称“西安电商博览会”)将于12月17日在西安国际会展中心盛大开启,为期三天。西安电商博览会由西安市人民政府主办,西安市商务局、西安市贸促会承办,西部国际会展(陕...
日期:11-25
当贝X3超大屏观看《战地2042》,激光投影仪大屏更震撼
《战地2042游戏》近期已经在Origin、Steam、EPIC、Xbox Series X/S、Xbox One、PS5、PS4平台发售,《战地风云 2042》是《战地》系列的全新续作,并非是《战地6》,游戏的主体框架为《战地2142》的前传,也是...
日期:11-25
元宇宙掀起AR热!影目发布首款消费级AR眼镜,获数千万Pre-A融资
2010年,谷歌智能眼镜发布,人们就一直对智能穿戴眼镜抱有无限遐想。但受限于技术因素,在长达十年的发展中,AR智能眼镜市场似乎一直处于踟蹰不前的境地。在这期间,也有不少生产商纷纷“曲线救国&rdquo...
日期:11-25
中国搜索“多模态机器狗”亮相中国网络媒体论坛
上下坡、转身、蹲起、趴下……在工作人员操控下,一只中型犬大小的黑色机器狗,灵活地展示着各种技能。同时,它身上搭载的多个镜头和传感器,将实时采集的各类数据源源不断地传输到云端。
日期:11-25
96%好评率的OPPO A95值得入吗?真实用户给出这个答案
细看当前的手机市场,尽管旗舰机型之间的竞争相当激烈,但其实在千元档5G手机市场中,角逐程度丝毫不亚于旗舰机。毕竟,对于绝大多数的消费者来说,千元5G入门机确实会是更为主要的入手目标,对于一些预算有...
日期:11-25
新氧“百城千店”计划创新模式  一周吸引144家机构入驻
时至年底,在各种年会、聚会的推动下,消费者掀起了新一轮美白、嫩肤、除皱的轻医美消费热潮。由于主要涉及皮肤护理,不会造成大的创伤,恢复时间相对较快,轻医美越来越受人们欢迎。据iMedia Research(艾媒咨询...
日期:11-24
Gartner《超融合基础设施软件魔力象限》发布,信服云超融合连续三年入围!
融合创新,云化演进,“让用户像搭积木一样随心所欲地搭建自己的基础设施”是信服云一直追求的目标。近日,国际权威研究分析机构Gartner发布2021全球《超融合基础设施软件魔力象限》报告,信服云旗...
日期:11-24
加速开启云计算产业 快快云计算在深圳成立
新冠肺炎疫情让很多线下工作按下暂停键,蓬勃发展的“宅经济”孕育出了新的市场爆发点,让远程办公、在线教育和线上交互等成为行业热词。轻点鼠标、轻敲键盘的背后,是智能边缘设备、企业数字化服务、...
日期:11-24
双十二买家用投影仪必看哪些配置参数?双十二智能投影仪推荐
一提到投影仪的选购问题,许多家庭和个人都会遇到相同的问题,家用投影仪怎么选?家用投影仪怎么用?正值双十二,让我们一起看看双十二家用投影仪该怎么选?双十二买家用投影仪必看哪些配置参数?双十二投影仪选...
日期:11-24
小a科普|全面解析固态硬盘的“无形规则”——传输协议
近年来最受用户欢迎的存储产品非固态硬盘莫属。相较于传统机械硬盘,固态硬盘的传输速度要快的多,且除了承担存储任务外,固态硬盘还能够为电脑性能带来提升,可以说是一举数得。不过同样的固态硬盘的构成和...
日期:11-24
  专栏介绍
半斤 的专栏
半斤发表的文章