信息无障碍通道
您的位置:首页>>热点动态

火山引擎打造企业级 ByteHouse ,打通 ClickHouse 落地企业的“最后一公里”

发布时间:2021-11-11 21:06  来源:互联网    背景: 无障碍阅读通道

  “OLAP”这个名词最早诞生于1993年,由关系型数据库之父E.F.Codd博士提出,这也是世界范围内首次对多维数据库与多维分析有一个盖棺定论的概念定义。但可能连考特博士本人也没有预料到,在短短二十余年的时间里OLAP型数据库迅速在千亿数据库市场中站稳了脚跟,并在大数据浪潮的推动下不断拓宽着属于自己的市场版图。在当下这个时代,传输的数据即是流动的石油,而OLAP数据库则是企业从数据中获取价值最为直接的工具。

  不同于OLTP领域在漫长的时间积淀下所形成的稳定技术格局,OLAP领域的数据库产品目前还处于百家争鸣、群雄割据的状态。正所谓“乱世出英豪”,2016年由俄罗斯搜索巨头Yandex开发并开源的一款OLAP型数据库产品ClickHouse在短时间内迅速蹿红。作为后起之秀,ClickHouse凭借着先天的设计优势、极致的速度性能与灵活可扩展性,受到了国内外企业的广泛关注与使用。

  当然对于数据库产品而言,仅仅做到性能上的出众是远远不够的,无论是开发者看重的上手难度、学习成本,还是企业看重的产品稳定性与业务兼容性,现阶段ClickHouse都难以满足企业级用户的使用需求。2021年8月,火山引擎正式对外发布了「ByteHouse」企业级数据库产品。作为ClickHouse的企业版,ByteHouse在解决上手与试错难题的同时,还能够为企业用户提供完善的产品技术支持服务。

图片1.png

  极限业务场景下的千锤百炼,

  国内最大ClickHouse“玩家”打造的ByteHouse

  如果我们想为ClickHouse寻找一个完美的“压力测试场景”,那么坐拥抖音、头条、西瓜视频等一系列头部产品的字节跳动一定会榜上有名。“节点总数超过15000个、管理总数据超过600PB、最大集群规模在2400余个节点”,从数字上我们不难看出ClickHouse在字节跳动内部业务场景中的深度应用。

  火山引擎是字节跳动旗下企业级技术服务平台,其基于开源的ClickHouse进行深度优化和改造后,推出了企业版产品ByteHouse。除自研表引擎、扩展数据类型、冷热数据分离等诸多自研优势以外,ByteHouse的数据实时写入能力也相较原生ClickHouse提升了两倍以上。在极限业务场景的打磨下,ByteHouse完成了由一个优秀的开源OLAP引擎向完善的商业化企业级产品的蜕变,能够为企业级用户海量数据的生产环境,提供更强的数据查询和写入服务。

  这里我们为大家分享ClickHouse在字节跳动代表性业务场景的应用案例与ByteHouse的优化方案:

  A/B测试下的推荐系统实时指标

  2016年,字节跳动搭建了支持大规模产品实验的A/B测试平台。在完成对抖音、西瓜视频等全线业务的接入后,字节跳动每天同时进行的A/B测试达到上万场,单日新增实验数量超过1500个,覆盖400多个大大小小的业务,累计A/B测试次数已经突破70万(截至2021年4月)。随着推荐系统产生的数据量越来越大,单个节点消费能力的要求自然也水涨船高。在使用ClickHouse支持A/B测试推荐系统的实时数据时,火山引擎研发团队也遇到了诸如单次数据吞吐量大、数据落盘时延低,以及数据传输过程中不丢失且不重复等技术需求。

  ByteHouse通过异步构建辅助索引的方式,及基于自研的Kafka Engine,保证写入性能在OLAP数据库中具有领先优势。同时,ByteHouse也支持exactly once语义,确保数据传输中的原子性,有效保障和满足了字节业务部门在热门活动实时数据分析上的诉求。

  头部APP端的大数据分析

  上线短短四年时间,字节跳动的短视频APP产品抖音的日活用户便已突破6亿。除了抖音,字节跳动也还有其他日活过亿的头部App产品,在庞大日活用户的背后产生了海量的产品使用数据分析需求。从业务的角度分析,APP端产品的数据分析具有指标计算相对复杂、数据总量较大且查询模式多变的业务特点,为此也需要具备高可用保障,以及能够应对超大数据规模下交互式实时响应的能力。

  ByteHouse 提供了 PB 级数据秒级响应,通过增强的自研引擎,确保95%以上的查询均可在秒级返回,针对APP端的业务多变性,引入了新的数据类型支持动态schema。同时通过自研的HAEngine和元数据持久化等优化,ByteHouse提供了新的生产级高可用方案,能够保障其在大数据量场景下依然不会影响到查询分析体验。

  “运维工具+技术支持”,齐头并进的ToB服务双头马车

  “使用难度、运维成本”相信这是每一个企业级用户在选型数据库产品时,会去关注的两大衡量指标。同时,这两项指标也成为了横跨在ClickHouse“关注者”与“使用者”之间巨大的鸿沟。无论是国内还是国外的开发论坛上,ClickHouse“上手容易,用好很难”已经成为开发者共同的认知。正所谓“九层之台,起于累土”,对于企业级用户的实际应用场景而言,配套的运维能力与技术支持是企业级产品的基石,发挥的作用至关重要。

  ByteHouse 提供了一个自助服务平台,针对部署和运维提供了多种工具进行集群管理。对于常规的运维操作,ByteHouse支持自动下发版本调整、节点重启和替换等运维任务,并具有自动发现和替换故障节点的能力。同时,针对系统的运行情况,ByteHouse也提供了全面的监控、负载指标,使其具备便捷、清晰的管理能力。比如说,在集群使用过程中,ByteHouse可以随时对CPU利用率与磁盘利用率的警戒水位线等关键指标进行监控,对健康度进行可视化展示。ByteHouse系统内部还可以根据企业自身需求,配置故障、服务异常等报警功能的阈值,方便企业级用户进行预处理操作。

  针对数据库产品不可避免存在的慢查询问题,ByteHouse提供了强大的查询诊断功能,对负载过重的后台合并任务,也可以进行自动诊断。这些“事前”、“事中”、“事后”的运维能力,有效提升了可用性,大大降低了运维复杂度。在ByteHouse的加持下,大型企业用户或许只需七名SRE工程师就能支持上万节点的运维。

  此外,火山引擎围绕ByteHouse提供了完善的产品技术支持,从产品的安装部署、业务应用与项目的0到1、端到端落地的多重维度,为企业用户提供包括架构咨询、使用优化、进阶培训等服务。从完善的自动化运维工具,到覆盖产品与项目的专业技术支持,火山引擎ByteHouse的ToB拓展之路,走的平稳且坚实。

  先狭义后广义,企业级数据库产品的商业化范式

  虽千行百业皆需赋能,但需求痛点个个不同。对于企业级交互式分析数据库产品而言,既要储备深度足够的技术能力,同时还要具备灵活适应不同业务场景的泛化能力。“先狭义,后广义”,这也是火山引擎在开发ByteHouse产品中贯穿始终的心路历程。

  作为企业级交互式数据库产品,目前ByteHouse已经成功在金融、制造、零售、互联网等行业中逐渐落地生根,并切实地帮助企业解决其在大数据分析领域中的痛点。火山引擎向CSDN分享了ByteHouse在实际应用场景中取得的进展:

  在服务传统工业制造应用场景中,客户基于工业互联网大数据平台,积累了数十万台大型设备,并以每天5亿条的速度不间断产生IoT数据,急需构建一个具有高性能、高可用、易扩展的大数据平台,以支撑千亿级数据的性能指标查询和高效的数据计算分析。ByteHouse在技术选型中脱颖而出,在实时数据写入性能、并发查询、高可用和集群稳定性、监控可视化等方面满足其核心诉求,并进一步支持了报警预测实时推送、电子围栏等场景。

  作为泛互联网场景下的代表性产业,“数据驱动”正逐渐成为游戏行业发展的核心源动力。在游戏行业的实际应用场景中,客户需要根据人群包,在丰富的维度标签下洞察人群特征分布,实现快速理解用户。而现有的技术栈面临着高基维、标签数据良多,以及复杂的业务逻辑等众多难题。ByteHouse凭借高基维优化、BitmapEngine等核心优化,有效支持了用户包的运算和亚秒级查询响应,极大提升了人群画像洞察、差异分析、个体画像分析等场景下的查询体验。

  在OLAP场景需求快速增长的当下,企业对于交互式分析数据库产品的需求,仍将会进一步增加。火山引擎ByteHouse利用自身场景的沉淀推出企业级“ClickHouse”服务,在CSDN看来可谓是恰逢其时。它的出现,为处在大数据浪潮中的企业级用户提供了OLAP场景下的一站式服务,有助于其打通大数据分析场景化落地的“最后一公里”。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
集成灶使用三年后的感受:家有十大品牌集成灶之一的火星人,亲子下厨超愉快
作为80后宝妈,我平时特别注重孩子的素质教育,经常也会让两个10岁的宝贝做一些力所能及的家务,我也会和宝宝进行一些亲子的下厨活动,比如做蒸饺,这不仅能增加孩子的动手能力,还可以营造良好的亲子关系。...
日期:11-16
如何在双十二升级自己的观影体验,极米H3S打造经济型方案
载体与渠道不同,体验升级成本不同
  当你可以在流媒体上观看1080p清晰度的idol,绝不会再看一眼360p;当你的手机可以拍摄4k、刷抖音不心疼流量,直播终于红火起来,李佳琪也掏空了女孩们的钱包&hellip...
日期:11-16
如何在双十二升级自己的观影体验,极米H3S打造经济型方案
载体与渠道不同,体验升级成本不同
  当你可以在流媒体上观看1080p清晰度的idol,绝不会再看一眼360p;当你的手机可以拍摄4k、刷抖音不心疼流量,直播终于红火起来,李佳琪也掏空了女孩们的钱包&hellip...
日期:11-16
酒店业两大盛会隆重举办 云迹科技HDOS数字化综合方案成亮点
国内领先的专注商用机器人产品应用与技术研发的科技型公司,云迹科技携机器人润及酒店住中服务数字化解决方案HDOS亮相2021年环球旅讯峰会&数字旅游展以及2021首届国际酒店品牌展。
日期:11-16
极米双十一总战报公布,全网成交总额超8亿,NEW Z6X爆卖超8万台
极米近日公布了双十一总战报,全网成交总额超8亿,蝉联投影品类八年冠军!其中单品方面,人气爆品极米NEW Z6X全网单品销售量超8万台,成交总额超2.5亿!放眼整个投影行业,极米NEW Z6X可谓是其中的佼佼者。
日期:11-16
双十一共售出120000台,极米H3S、NEW Z6X赢麻了
双十一终于结束,据极米官方数据显示,2021极米双11全网GMV突破8亿,同比增长超90%,接近翻了一倍。最引人瞩目的是,旗舰爆品H3S单品销量破4万台,GMV破2.5亿;人气爆品NEW Z6X单品销量破8万台,GMV破2.5亿;单...
日期:11-16
同方成立科创集团,打造科创融一体化全流程创新平台
创新是引领发展的第一动力,科技成果转化是实施创新驱动发展战略的重要任务。
日期:11-16
存储卡太贵?或许你的相机应该使用固态硬盘
存储卡太贵?或许你的相机应该使用固态硬盘
  2021-11-15 17:14·新心资讯内存卡虽好,但是价格昂贵
  随着视频拍摄规格的不断升级,如今4K的拍摄已经成为主流。即使是几分钟的文件,也动...
日期:11-16
当贝x3彩条彩虹纹一点也没有,买家这么说
好东西一定要多分享,今天给大家看看今年双十一买的这款家电——当贝X3激光投影仪,经过这几天的使用,跟大家一起开箱来看看怎么样。总的一句话,3200ANSI流明亮度真的和电视效果相差无几啊。
日期:11-16
当贝X3伪激光皆为讹传,用户告诉你激光有多好用
激光投影仪作为未来投影仪发展的重要方向,具有亮度高、低功耗、色彩真实还原画质对比度高等特点,在今年4月,当贝投影仪率先发布了引领国内高亮度的激光投影仪——3200ANSI流明亮度当贝X3,树立国...
日期:11-16
2021年美云智数城市巡展上海站 助力中国制造业升级
我国制造业连续11年位居世界第一, 数字技术与实体经济深度融合,催生了大量的新产业和新模式。美云智数举办“中国制造业^数字化”系列巡展:以数字化武装制造业,助力中国制造业加速转型升级。11月12...
日期:11-16
新消费时代,品牌如何抓住年轻人的心?iQOO给出了答案
新消费时代,圈层营销已经成为了新品牌出圈的利器。那么,什么是圈层营销?一般而言,共同的价值观、共同的兴趣爱好往往会引导消费者形成圈层。而品牌在营销的过程中,通过针对他们的一些信息传递、体验互动,...
日期:11-15
21.87亿销售额+智屏销量第一!TCL不愧为中国电视行业的全球领跑者
年度大促双十一已经落下帷幕,属于剁手党的狂欢终于告一段落了,各大品牌商家们也纷纷交出了满意的成绩单。享誉全球的智慧科技品牌TCL更是“战果”累累,给出了超燃的战报:2021年TCL双十一全品类...
日期:11-15
技术引领 口碑认可 三星领跑十月安卓手机好评榜
日前,国内知名评测平台安兔兔发布了最新一期的《2021年10月安兔兔Android手机好评榜TOP10》,领跑榜单的是来自三星的两款旗舰机型——三星Galaxy Note20 Ultra 5G和三星Galaxy S21 Ultra 5G。根据...
日期:11-15
BESOPKE HOME迎来新成员,Samsung BESPOKE系列衣物护理机重磅来袭
近日,三星发布了全新的Samsung BESPOKE系列衣物护理机。作为家电领域的龙头企业,三星凭借前瞻的科技创新和独特的设计理念,不断为家电消费者带来新惊喜。此次推出的Samsung BESPOKE系列衣物护理机,延续了B...
日期:11-15
移动应用性能工具之友盟+U-APM保姆级教学
首先第一步你需要有一个APP,(当然没有也关系,直接在github上克隆一个你想要的开源app这里是链接地址https://github.com/marketplace?type=&verification=&query=app+)
日期:11-15
希沃服务宣传片:导航到不了的地方,希沃人会到达。
在“内卷党”和“躺平族”打得热火朝天的今天,
日期:11-15
虚拟形象实时互动融合 SDK 业内首发,网易云信加码元宇宙
元宇宙,火得猝不及防。
  短短几个月时间,Minecraft、Roblox 进入了更多人的视野,GREE、英伟达、微软等陆续发布相关产品解决方案,韩国、日本还从国家层面宣布大力布局元宇宙赛道。《头号玩家》描...
日期:11-15
蓝海创意云 “元宇宙”的探索者
2021年被称为“元宇宙元年”,与元宇宙相关的概念表现出惊人的爆发力。
日期:11-15
元宇宙的“构建者”:伟景智能RGBD智能立体视觉系统
近年来随着全球头部公司对元宇宙的相继布局,标志着元宇宙已成为全球科技巨头对互联网发展趋势的新共识。
日期:11-15
  专栏介绍
即时新闻 的专栏
即时新闻发表的文章