信息无障碍通道
您的位置:首页>>热点动态

火山引擎正式发布企业版ClickHouse——ByteHouse

发布时间:2021-08-25 18:18  来源:互联网    背景: 无障碍阅读通道

  ClickHouse 的发展

  近十年以来,交互式分析领域百花齐放,大量解决方案随着大数据技术升级而涌现,但尚未有产品达到类似 Oracle 和 MySQL 一样在 OLTP(Online Transaction Processing)领域中领先的地位。其中,ClickHouse 作为一款 PB 量级的交互式分析数据库,最早是由号称“俄罗斯 Google ”的 Yandex 公司开发,并很快作为世界第二大网络引擎的流量分析平台 Yandex.Metrica(同类产品包括 Google Analytics、友盟统计)的核心查询引擎。

  综合来说,ClickHouse 作为交互式分析数据库,有几大明显优势:

  • 多:大规模并行计算框架,超高吞吐的实时写入能力;

  • 快:极致的查询性能,尤其是在大宽表为主体的数据模型中;

  • 好:无侵入式架构,轻松集成到现有系统,可复用上下游数据开发工具;

  • 省:充分利用硬件资源,以极低的成本分析海量数据;

DB-Engine 上 ClickHouse 的排名趋势图

  自 2016 年开源以来,ClickHouse 凭借其数倍于其他顶尖交互式分析数据库的极致性能,成为该领域的后起之秀,发展速度非常迅猛。截止 2021 年 8 月份,ClickHouse 已在 Github 上获得 18.2K Star,DB-Engines 排名近一年上升 16 位,并在国内获得字节跳动、快手、京东等互联网企业的生产级使用。

   ClickHouse与字节跳动的故事

  近年来,字节跳动旗下抖音、今日头条等产品的成长速度之快引人注目。事实上,承载着这些产品持续高速增长的关键所在,是背后的中台化技术底座。无论是在算法、AI 还是数据分析等核心技术上,字节跳动在相关领域中一直保持着领先水平。

字节跳动:中台化的技术底座

  其中字节跳动对 ClickHouse 的选型和使用也是如此,从 2017 年最早的用户行为分析场景开始,逐渐开始支持广告业务、用户增长、A/B测试、算法模型优化等大量内部场景,并演化成国内最大规模的ClickHouse使用者。

  目前字节内部的 ClickHouse 节点总数超过1万5千个,管理总数据量超过600PB,最大的集群规模在 2400 余个节点。字节跳动内部广泛的业务增长分析很多都建立在ClickHouse为基础的查询引擎上。

  在从 0 到 15000 节点的过程中,字节跳动的技术团队也遇到了很多开源 ClickHouse 的运维痛点和技术挑战。如多表关联查询、复杂嵌套子查询等复杂场景下,仍有性能不足、无法支持数据按条更新、实时数据写入的性能有限、集群扩展难度较高、运维复杂度高等问题。

  对此,随着业务场景持续增多,字节 ClickHouse 技术团队通过自研的方式极大地丰富了 ClickHouse 可使用的场景,提高运维的人效,不仅解决了开源技术上手难和试错成本高的痛点,同时已经有足够能力来提供商业产品和企业级技术支持服务。

   火山引擎正式发布 ByteHouse

  过去,与开源社区用户的交流中,经常听到的反馈是 ClickHouse “上手容易,用好很难”,或由于没有经验而“想用不敢用”,这对于性能如此出众的存储引擎来说,不免遗憾。

  现在,字节跳动旗下企业级技术服务平台火山引擎正式对外发布「ByteHouse」,为大家提供企业级技术支持服务。作为 ClickHouse企业版,ByteHouse经过了字节跳动内部海量数据场景的打磨和极限的业务要求,更加符合企业高速增长诉求,其主要亮点如下:

  • 分布式查询增强:支持星型模型等复杂的多表关联场景,进一步去除数据冗余和数据准备成本;

  • 支持Upsert 语义:既保留了ClickHouse高效的数据写入性能、又支持 Upsert(update or insert) 写入方式,帮助业务更简单地开发实时分析应用;

  • 实时数据引擎:支持实时数据高效写入,支持 exactly once 语义,写入性能远超原生架构;

  • 数据分级存储:冷热数据分级存储在HDFS和本地存储,自动化管理数据热度,自动转存不同存储,有效缓解业务存储空间持续增长的问题;

  • 企业级运维工具:自助运维能力,包括配置下发、指标告警、集群健康度监控、查询任务诊断、集群负载管理等功能,极大提高了运维人效。

  作为国内 ClickHouse 技术的多年深度实践者,ByteHouse 现基于自研技术能力和超大规模使用经验,为更多的企业大数据团队带来新的选择和支持,以应对复杂多变的业务需求,高速增长的数据场景。未来,ByteHouse 将不断以字节跳动和外部最佳实践输出给行业用户,帮助企业更好地构建交互式大数据分析平台,并更广泛的与 ClickHouse 研发者社群共享经验,共同推动 ClickHouse 社区的发展。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
网易严选猫粮、日用品拿下多平台双11爆款TOP1
又是一年双11落下帷幕。新中产生活方式品牌网易严选爆款频出,登顶京东双11全时期日用销售品牌榜单榜首,多款产品在淘系、抖音多平台拿下爆款TOP1,成为后疫情时代的用户首选。
日期:11-13
天猫双11“饮料之王”出炉,农夫山泉连续五年成交额第一
又一年的双十一落幕了。截至2021 年 11 月 12 日零点,天猫京东两大平台的双 11 销售总额超 8894 亿元。双 11 开售第一小时,天猫即有超过 2600 个品牌成交额超过去年首日全天。
日期:11-13
后电商时代的双十一,如何突破线上流量见顶困境?
没有大屏上不断跳动的GMV数字,甚至也无需“熬夜剁手”,今年的双十一结束得静悄悄。如此平静地迎来收官的背后,其实是线上流量见顶的一个缩影。
日期:11-12
曝vivo新机搭载联发科下一代天玑旗舰,跑分首破百万,网友齐呼:打榜神器!
本周的最后一天,手机圈再曝大新闻,vivo神秘新机跑分破百万,联发科下一代天玑旗舰强势出击。就在今天,微博数码大V数码闲聊站配图发出了一记实锤,图中发出了一张安兔兔的100万跑分图,并且提示大家,这是...
日期:11-12
aigo国民好物双十一战报:固态硬盘产品销售额同比翻400倍
aigo国民好物双十一战报:固态硬盘产品销售额同比翻400倍
日期:11-12
屹立QD-Mini LED领域顶端!这款TCL 智屏完美诠释TCL的领跑者实力
双十一,一个全网狂欢的电商大节,也是各大消费者比拼谁“更能薅羊毛”的舞台,而我们从每年数以千亿计的双十一成交额中也能明白这一场狂欢购物盛典的重要性。对于网民而言,这是一年中为数不多能...
日期:11-12
云康宝厨房秤+轻牛品味APP:厨房小白也可以对翻车say no
对于厨房小白来说,做菜翻车也不是什么值得大惊小怪的事情了。所以我们可以看到前有社交媒体上的全民厨艺大赛眼看着变成失败厨艺大赏,后有对自己厨房小白的定位认知非常清晰的年轻人发出自嘲:“看,这...
日期:11-12
纳尼?顶级SSL证书1折狂欢,逾期不候
一年一度的阿里云“上云狂欢节”正在火热进行中,作为阿里云平台的明星产品,以保障网站和数据传输安全为己任的SSL证书,怎可能没有惊喜和优惠呢?一起来看看吧!
日期:11-12
大V再爆料:vivo新机搭载新一代天玑旗舰芯片,跑分首破100万大关!
临近年底,关于新一代安卓旗舰处理器的消息越来越多,备受用户关注。今天,数码大V数码闲聊站再发重磅爆料,曝光了联发科下一代天玑旗舰芯片的性能跑分,安兔兔跑分首次突破100万大关,并在爆料中称:“...
日期:11-12
数字化安全威胁无孔不入 双十一网购成诈骗重灾区
  “双十一”期间,网友李某接到电商“客服”电话,称其购买的衣服有质量问题协商理赔。随后,李某按照该“客服”引导关注了指定公众号,并输入身份证信息、银行卡号及交易密码...
日期:11-12
北京超算“名”“利”双收,超算商业化已经来临
11月12日,在第三届“中国超级算力大会”上,2021年第二十届中国HPC TOP100排行榜和国际人工智能性能排行榜AIPerf500正式公布。从2020年开始,北京超级云计算中心(以下简称“北京超算”)...
日期:11-12
挚途科技完成首次融资 领衔商用车自动驾驶赛道落地变现
2021年,商用车智能驾驶进入商业化落地元年,摆在各路玩家面前的难题不仅有对技术成熟度和成本的考验,更需要自动驾驶企业与车企之间实现深度拥抱。
日期:11-12
逸尘杀菌洗地机2 Pro上架乐视商城 家庭地面清洁新体验
日前,逸尘洗地机品牌方零尘一刻(北京)科技有限公司与乐视商城(LeMall)达成战略合作,逸尘洗地机将在乐视商城上架销售,同时产品也将纳入乐视商城会员体系,进一步丰富乐视商城现有的产品品类,作为第三方品...
日期:11-12
市场表现超去年同期数倍 三星手机双11期间线上捷报连连
在刚刚过去的双11狂欢日中,智能手机依旧就是各大电商平台上销售最火热的产品之一。其中,特别是以Galaxy Z系列折叠屏新品,以及多款热门旗舰机型领衔的三星手机,更是在双11期间的各大电商平台上捷报连连,...
日期:11-12
当贝X3总是自动关机怎么处理,升级V2.5.0.3完美体验系统更流畅
要问2021年哪款产品最火爆,那肯定是当贝X3激光投影仪莫属。作为划时代的年度重磅之作,当贝X3可谓是一起绝尘,关注度是相当之高。最近发现个别小伙伴问“当贝X3自动关机重启怎么办”。那么今天,...
日期:11-12
有颜又有料!华硕猎鹰V4一体机影音娱乐实力担当
电视不香了?据《2021年中国年轻人居家生活调查报告》显示,年轻人搬家时最倾向优先丢弃的TOP10家电中,电视机排名第一。取而代之,手机、电脑等互联网设备成为现代人的“刚需”。要说未来最可能取...
日期:11-12
实至名归 | 天威诚信入选《中国网络安全企业100强》
2021年11月9日,安全牛正式发布第九版《中国网络安全企业100强》报告。天威诚信凭借突出的技术创新能力、行业贡献能力和长效的企业经营能力入选中国网络安全100强企业。
日期:11-12
海信电视怎么安装Emotn UI,不喜欢瀑布流UI的首选
很多国产电视使用的桌面都是瀑布流UI,海信电视也不例外。
日期:11-12
2021年家用监控摄像头品牌推荐榜,乐橙位列第二!
盖得发布最新“家用监控摄像头”品牌推荐榜,乐橙位列榜单第二名。
日期:11-12
360 智慧生活双11战报速看:行车记录仪、可视门铃品牌销量蝉联双平台销冠
又一年的双十一购物狂欢落下帷幕,各大品牌都在这场“大考”的最后时刻交上答卷。11月12日,360智慧生活集团发布了双十一终极战报。战报显示,截至11月11日23时59分59秒,360行车记录仪、可视门铃...
日期:11-12
  专栏介绍
数码圈 的专栏
数码圈发表的文章