您的位置:首页>>业界动态

OceanBase二度登顶TPC-C:蚂蚁技术人的砥砺前行

发布时间:2020-05-23 10:55:41  来源:互联网    背景:
一群人站在室内

描述已自动生成

  2019 年 8 月,阿里巴巴自研分布式关系数据库 OceanBase 圆满通过 TPC-C 测试,超越老牌数据库巨头 Oracle,登顶世界第一。2020 年 5月,OceanBase再次登顶,将自己的纪录刷新了 11 倍。这两张漂亮的成绩单来自于 OceanBase 诞生至今走过的十年艰辛之路,这背后既有前辈元老的筚路蓝缕,也有无数蚂蚁技术人的砥砺前行,薪火相传。

  2019 年 8 月,那条性能曲线平稳地出现在了杭州蚂蚁总部的大屏幕上。

  第一次 TPC-C 测试圆满结束,团队成员欢呼雀跃,沉浸在登顶世界第一、超越老牌数据库巨头 Oracle 的喜悦当中。当时没有人会想到,这个刚刚崭露头角的自研分布式关系数据库 OceanBase,会在半年之后将自己的纪录再度刷新 11 倍。

图片包含 游戏机, 大, 屏幕, 站

描述已自动生成

  登顶世界第一后,对 OceanBase 的质疑也接踵而来:

  有人说,Oracle 的数据是 9 年前测的,它的硬件提升早已今非昔比;还有人指出,2013 年 Oracle 单台工作站跑分达到 800 万,而它最多可将 27 台工作站联在一起组成集群。换句话说,Oracle 有实力跑出数千万甚至上亿的分数。

  团队心里憋着一股气。OceanBase 创始人阳振坤皱起眉头,说:“再测一次吧。”

  2020 年 5 月,OceanBase 第二次参加 TPC-C 跑分测试,最终成绩达到了 7.07 亿 tpmC,新创造的纪录是去年的 11.6 倍。相比于去年的兴师动众,杭州、北京两个团队昼夜攻坚,第二次测试就显得轻车熟路、高歌猛进。用 OceanBase 技术专家曹晖的话说,这是因为“该踩的坑都已经踩过了”。

  如今的盛况,在十年前简直是一种奢望,OceanBase 这个由阿里自研的分布式数据库,刚起步时可说是举步维艰。2010 年,阳振坤提出独立开发数据库的设想时,几乎所有人都提出了质疑:“到底行不行?”

  数据库是企业的命脉,尤其是金融机构的数据库,出一点问题就意味着巨大的损失。谁也不敢冒着风险使用不成熟的技术。

  就在这样无人问津的窘境中,OceanBase 从无到有,一点一点艰难地扎根和生长。从最初唯一的业务是淘宝收藏夹,到 2017 年双十一承载包括整个支付宝账务库在内的核心系统,年轻的 OceanBase 逐渐成为阿里业务的一大支柱。2019 年,这个诞生 9 年多的数据库首次参加了全球事务处理性能委员会组织的 OLTP 数据库权威测试 TPC-C,以 6088 万 tpmC 的数据傲立世界之巅。

  再到 2020 年 5 月,这个纪录又被自己打破。

  “第一次感觉不可思议,第二次就在意料之中了。”谈及短短 8 个月内的两次“高光时刻”,曹晖复述了自己从激动到平静的心路历程,“第二次测试的准备时间比较久,模拟的时间也足够,不可预知性就会小很多。”

  千帆过尽,只余从容。OceanBase 的两度登顶之路,从惊险刺激到闲庭信步,离不开背后这些蚂蚁技术人的倾力支撑。

  01 “这不是一个人能干成的事儿”

  谈及 OceanBase 的第一次测试,曹晖仍然心有余悸。

  “预审计前的那段时间是最困难的,真的快熬不住了。”曹晖告诉我们,从 8 月 1 日第一次上 200 台服务器集群开始,TPC-C 项目组几乎有两周的时间不眠不休。甚至在审计抵达杭州之后,OceanBase 的压测曲线还是不满足要求。组员白天和审计员沟通,晚上通宵排查问题,“每个人都在超负荷运转”。

  从调研阶段的存储空间摸底,到攻坚阶段的性能优化,再到后来操作压测集群、与审计员沟通和修改测试脚本……身为 TPC-C 项目的核心技术人员,曹晖肩上的担子不比任何人轻松。压力最大的那段时间,他直到每天早上五六点钟才离开公司。

  逢山开路,遇水搭桥,在首次登顶世界冠军后,团队成员终于摸清了 TPC-C 严格测试流程中的那些坑。时隔半年,面对阳振坤定下的“小目标”,曹晖不怕了,他的心态很从容:“必须要做到,也能够做到。”

  压测、修改、优化,一切按部就班。结果出来的那一刻,他的感受更接近于“释然”,好像心里的一块石头落地。

  耀眼的成绩背后,是一群齐心协力攻坚的战友。说到自己所在的 OceanBase 团队,曹晖用了“朴实”这个词来形容。这和他给人留下的第一印象相一致:朴实、耿直、稳重,不大会说漂亮话,唯有在涉及技术的话题上,他才打开了话匣子滔滔不绝。

  “数据库是一个底层的软件,如果你太浮躁,就没办法静下心来做一个基础软件的内核开发。”回顾 OceanBase 艰难的诞生史,这句话并不难理解:自研数据库需要投入极大的人力和心力,而在短时间内根本看不到回报,相比之下,购买第三方数据库无疑是更省时省力的选择。在 OceanBase 立项之初,阿里内部曾经爆发过极大的矛盾,许多员工都不理解为什么要自研数据库,在他们看来,这无异于舍近求远,引火烧身。

  这条路有多难走,辉煌背后有多少苦难,OceanBase 团队的同学们冷暖自知。

  “这不是一个人能干成的事儿。”曹晖说。

  刘浩(OceanBase 技术专家)参与了两次 TPC-C 项目,“在过去一年多的时间里,有幸和这么一个强悍的团队一起参与了 OceanBase 两次登顶 TPC-C 的全过程。TPC-C 登顶不仅仅是 OceanBase 每一位同学努力后的成果,也离不开很多兄弟团队的支持和协助。”

  这两次 TPC-C 测试交出的漂亮成绩单来自于 OceanBase 诞生至今走过的十年艰辛之路。这背后既有前辈元老的筚路蓝缕,也有无数蚂蚁技术人的薪火相传。

  02 “特别纯粹的技术人”

  “这是一个 Impossible Mission(不可能的任务)。”

  这是 OceanBase 高级技术专家赵裕众在刚看到 OceanBase 的性能曲线时,脑海里蹦出来的第一个念头。要在 TPC-C 测试中超过世界纪录保持者 Oracle,彼时的 OceanBase 性能还有很大差距。

  但团队 Leader 阳振坤很乐观:“我们的目标是服务全世界!”

  服务全世界,做一个世界领先的分布式数据库,这个宏大的愿景从 2013 年赵裕众加入团队时起就鼓舞着他,也一路支撑着他度过那些难熬的时光——当然也包括初次参加 TPC-C 测试时,攻坚组成员把自己关在项目室里,南北两地同步,没日没夜地闭关加班。

  问题大把大把地涌现,头发也大把大把地掉,项目室墙上画的性能曲线飞速上涨,几乎每星期都会出现一个陡峭的提升。TPC-C 审计员来到杭州,项目组只来得及请他吃了顿盒饭,然后又马不停蹄地投入到性能优化工作中去。

图片包含 人, 建筑, 男人, 对着

描述已自动生成

  TPC-C 审计员与 OceanBase 项目组部分同学合影

  终于,当那条压测曲线平稳地出现在屏幕上时,所有人都松了口气。

  第一次看到成绩时,赵裕众难以抑制心中的激动,OceanBase 的测试数据达到了 Oracle 的两倍,这项尘封 9 年的世界纪录被阿里人打破了。相较之下,第二次 TPC-C 测试的成绩虽然更惊人,他的反应反而比较平淡,经历过一次 Impossible Mission,他已经知道了自家数据库的优势所在。

  “架构上来说,分布式具有更好的扩展性。”赵裕众告诉我们,“单机数据库无论硬件怎么提升,性能都是有极限的,而分布式数据库的扩展性可以说是无限的。”

  也正是得益于自身的分布式架构,OceanBase 能把所有与高可靠性和数据一致性相关的问题在数据库内核层面解决,这使得 OceanBase 真正具备了高度集成、整体交付、对业务少侵入甚至无侵入的商业数据库特征。通过原生的分布式设计以及 PAXOS 协议等,OceanBase 实现了强一致、高可用、高性能,以及天然的高度可扩展性——这体现在第二次 TPC-C 测试中,所需的人力和优化工作相比去年有了显著的减少。

  OceanBase 团队在这场世界级的争夺战中立下了汗马功劳。赵裕众感慨:“这是一群特别纯粹的技术人。”

  在数据库这条赛道上,这群纯粹的家伙始终在追求梦想,追求卓越。阳振坤口中“做一个世界领先的数据库”,也正是每一个 OceanBase 团队成员心怀的信念。

  03 “只有阿里这样的公司才能做到”

  我们问成肖君(OceanBase 资深测试开发专家),在 OceanBase 参与的两次 TPC-C 测试中,哪个时刻让他最有成就感。这名加入 OceanBase 团队八年的老兵不假思索地说,是第一次在 TPC-C 官网上看到测试结果时,他急不可耐地把消息转发到了自己的校友群。

  群里艳羡的声音此起彼伏,也不乏遗憾的慨叹:“我们在学校里是做不出这样的成果的,只有阿里这样的公司才能做到!”

  成肖君告诉我们,登上 TPC-C 的排行榜是每一个数据库从业者的梦想。作为全球最具公信力的联机交易处理(OLTP)数据库测试标准,TPC-C 测试是一款商业数据库向业界证明实力最直接的硬指标。在此之前,TPC-C 的榜单长期被 Oracle、IBM 等外国厂商垄断,从未出现过中国自研品牌的身影。

  “学校里有些老师,一辈子的梦想就是排进这个榜单。”成肖君说。

  而梦想实现的道路势必艰辛。TPC-C 测试需要模拟真实的交易环境,测试工具必须严格按照 TPC 委员会发布的标准搭建,光是技术文档就长达 100 多页,再加上 Oracle 占领榜单巅峰已有 9 年之久,要达成梦想谈何容易。

  测试成绩在官网公开之前,OceanBase 团队眼中“看到的全是问题”,直到审计员抵达杭州的前一周,成肖君还在忙于突破测试开发方面的重重阻碍。火烧眉毛的他给阳振坤打电话:“审计员的行程能不能推迟一下?再给我一两个星期吧!”

  度过沮丧和焦虑,度过实现梦想的惊喜,成肖君的心态也跟 OceanBase 团队的许多人一样趋向平静。看到 7.07 亿次 tpmC 的最新成绩,他笑言:已经没有当初那种震撼感了。

  “以前在 OLTP(联机事务处理)这个领域,国内从来没有数据库上榜,那时候(我们夺冠)是一个开创性的工作。”成肖君坦言,“而从去年的测试报告里,懂的人其实已经能够看出 OceanBase 的优势了。”言下之意,分布式架构成就了 OceanBase,第二次 TPC-C 测试无非让这个优势展现得更加清晰。

一群人站在一起

描述已自动生成

  很多年前的一张 OceanBase 团队成员合影

  谈及团队,他脱口而出的第一个词是“另类”:

  “OceanBase 这个团队挺‘另类’的,整体的技术氛围非常好。”成肖君言谈间既有戏谑,也有珍视,“现在要找到这样一个能够长期沉下来、专心做事情,并且把它做精、做深、做长远的团队,是非常难的。”

  04 远航

  未来,OceanBase 还将走向何方?

  “以前是跑一百米,现在是跑完一百米的基础上,再跑一万米。”OceanBase 资深技术专家庄明强这么比喻。

  两次漂亮的 TPC-C 测试,不仅给团队成员吃下了定心丸,也铺平了 OceanBase 向外部发展的道路。成肖君给现在的 OceanBase 打 70 分:“目前已经及格了,下一步我们还要提升易用性,让企业用更便宜的价格更容易地使用到它,服务到更多的外部客户。”

  走向外部,航向远海,让更多企业享受到技术的便利。在啃下 TPC-C 测试这块硬骨头之后,团队要做的事情还有很多。

  我们问曹晖,加入 OceanBase 团队为他带来了哪些变化?曹晖回答:主要是做事的态度变了。“我们团队的氛围是脚踏实地,做事的态度很严谨,从来不会想着走捷径,而是真正地、彻底地、从根本上解决问题。我以前往往会投机取巧,想一些更 trick(技巧性)的方法去绕过测试标准,只是为了测试而测试。”

  像这样“应试型”的优化方式也曾摆在 OceanBase 团队眼前,但早在第一次参加 TPC-C 测试时,曹晖在冥冥中就有一种预感:“如果我们真的做了这些事,就绝对过不了测试。”

  这个朴实、纯粹又“另类”的团队,不懂绕路,不玩 trick,只懂得全身心扑上去解决问题。难关太多,就锁在项目室里昼夜调试、攻坚克难;人员规模不够,就拉上蚂蚁的多个兄弟团队一起加班。今年 2 月,TPC-C 项目组获得了蚂蚁集团年度大奖 Super Ma,颁奖词盛赞他们创造了“中国科技的骄傲”。几位披荆斩棘的主将站在一起,他们曾在最艰难的时刻并肩战斗,终于在万众欢呼声中捧起金杯。

  如今,战场初定,风波敉平,昔日的艰苦和忙碌都被抛在脑后。OceanBase 起锚,航向新的海域。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
OceanBase二度登顶TPC-C:蚂蚁技术人的砥砺前行

      如今,战场初定,风波敉平,昔日的艰苦和忙碌都被抛在脑后。OceanBase 起锚,航向新..

日期:05-23
因供应链管控不严,苹果iOS 14内部早期版本已泄露
5月23日消息 据Appleinsider报道,从2月份开始,iOS 14的泄露版本(很可能是从中国的苹果供应链泄露...
日期:05-23
5G人才大战打响,vivo教会行业如何培养“千里马”
疫情之下,vivo依旧凶猛。
  IDC最新数据显示,今年第一季度,vivo以全球第一的销量增速跃升...
日期:05-23
支付宝OceanBase再破TPC-C世界纪录 迎接国产数据库发展风口
5月20日,数据库权威机构国际事务处理性能委员会(Transaction Processing Performance Council)官网...
日期:05-23
报告:美限制对华贸易,短期韩国或成半导体业最大赢家
5月22日消息,近日,美国BCG(波士顿咨询集团,Boston Consulting Group)发布了一份题为《限制对华贸...
日期:05-22
这个可以有!EasyDL新发布EasyData搞定AI开发中的数据管理问题
在AI模型开发中,数据准备往往占据了大量时间。经过长时间的调研与访问,我们发现用户常常会遇到以...
日期:05-22
显卡出货量激增 厂商预计增长趋势可持续到今年年底
5月22日消息,据国外媒体报道,受疫情影响,智能手机等诸多电子产品及配件的销量都有下滑,但也有部...
日期:05-22
联想618促销超值来袭,爆款惊喜直降,尊享延保免息!
它来了,它来了,它带着惊喜走来了!没错,一年一度的联想618大促即将开启,这个入手新装备的最佳时...
日期:05-22
144Hz爽快背后 高刷屏手机迎来破局点
3年前出现的“全面屏”在业内普及之后,手机屏幕进入了一段发展的真空期,迟迟没有打动人心...
日期:05-22
艺术体验官陈数:在海信遇见理想电视
5月21日,白玉兰、华鼎奖双料视后陈数,首度以海信艺术体验官的身份,入职海信工业设计中心,亲身体...
日期:05-22
李彦宏:加速智能经济落地,迎接建成全面小康社会历史时刻
原标题:政协委员李彦宏接受焦点访谈采访:帮助中小企业走出困境
日期:05-22
vivo举办“微云台”线上沟通会,vivo X50系列影像性能全曝光
日前,vivo官方针对手机市场中话题性较高的微云台防抖技术,举办了一个主题为“微云台·...
日期:05-22
百度的隐性基因:信息和知识
由于互联网的出现,信息传递效率的得以提高,信息和知识在云上的快速沉淀,使得个体接触的信息从贫...
日期:05-22
“义乌李佳琦”抖音直播一天涂100多支口红:不觉得辛苦,因为看到了希望
“义乌是商业帝国,我们想做美妆直播,就来了义乌。”去年5月,带着直播创业的梦想,曹金哲和...
日期:05-22
希沃助力临川区中小学教师教育信息技术在线培训
为进一步提高临川区中小学、幼儿园教师信息素养,促进优质教育资源应用,推动信息技术与教育教学的融...
日期:05-22
云南省教育厅与腾讯教育签约 联手打造“云南省智慧教育系统”
5月20日,云南省教育厅与腾讯公司签署战略合作协议,双方将秉持“政府引导、企业参与、资源整合...
日期:05-22
5.21女神陈数官宣新身份,直播体验海信电视
真正的女神敢于直面8K电视的挑战。
  5月21日,气质女神陈数把自己的大头照片放进了一台8K电...
日期:05-22
联发科回应华为就采购更多芯片展开磋商:和多家手机厂长期合作
5月22日消息 据《日经亚洲评论》报道,知情人士称,华为正与中国台湾联发科、内地紫光展锐就采购更...
日期:05-22
超长续航+国潮设计 华硕灵耀14轻薄本开启预约
极致轻薄的笔记本受到越来越多职场人士的欢迎,无论是差旅或是其它非商务环境,一台拥有长续航及优...
日期:05-22
台积电回应三星芯片追赶:有信心技术上持续领先
5月22日消息 对于三星为追赶台积电,新建5nm芯片生产线的消息,台积电昨日给出回应:“不评论...
日期:05-22
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :