信息无障碍通道
您的位置:首页>>业界动态

性能强劲,成本降低30%:华为云鲲鹏Redis最全技术解读

发布时间:2019-06-24  来源:互联网    背景: 无障碍通道

  2019年5月,华为云发布全球首个自研ARM的分布式缓存鲲鹏Redis,搭载华为LibOS+华为编译器+安全容器引擎三项黑科技,在保证Redis强劲高性能外,还降低客户30%的使用成本,真正实现了好用不贵的普惠型分布式缓存Redis产品。

  本文从技术视角解读华为云鲲鹏Redis是如何通过数据中心基础设施、芯片、硬件、软件等全栈创新优化,达成以上效果。

  一、为什么ARM架构适合Redis?

  众所周知,Redis是一款风靡全球的高性能、高灵活性、数据结构类型丰富的key-value内存数据库,拥有毫秒级的响应时延。因此Redis对服务器内存、网络带宽时延要求极高,即:Redis的高性能能否发挥出来取决于服务器内存、网络性能。

  2019年3月, Redis之父Salvatore Sanfilippo(网名:antirez)就Redis ARM架构发展趋势发表观点,他表示把ARM作为Redis运行架构,并且通过了所有测试与验证、性能稳定性非常好,Antirez列举了很多测试数据,得到了广大网友的支持。

  由于Redis在设计上就采用单线程架构,所有IO和数据处理都是在同一个线程中完成的,所以单节点的Redis最多只能使用一颗CPU核心,单节点Redis的性能基本达到10万QPS的量级后就没法再向上扩展了。

  在现实的业务系统中,对Redis性能往往都要求达到100万QPS以上,甚至1000万以上,这种场景下需要通过Redis集群的方式来扩展Redis性能,而集群性能的瓶颈成为了Redis架构性能优化关键的因素。

  1.RedisProxy集群架构性能关键点

  Proxy集群作为业界广为流行的Redis集群,其架构如下:

  在这个架构中,Redis集群由负载均衡器、Redis Proxy和Redis Server这三类节点组成。在此Redis集群架构中,Proxy节点和Redis Server都可以水平扩展,通过增加节点数量就可不断提升Redis集群的整体性能。根据不同的业务诉求,集群性能可弹性扩展到100万至1000万QPS。也正是由于可通过增加节点数来提升集群整体性能,所以Redis单节点虽只用一颗CPU核心,CPU最高主频限制Redis单节点性能,但在集群水平扩展模式下cpu主频限制已经不太重要了。

  在整个集群架构中,业务系统发出的Redis请求需要经过负载均衡器和Redis Proxy的两次转发后,才能到达Redis Server被真正处理,端到端的链路性能才是整个集群的最大性能瓶颈。实测结果也表明,Redis集群的端到端链路时延每减少1毫秒,集群整体性能可提升10%+。

  2.RedisCluster集群架构性能关键点

  Cluster集群作为Redis官方标准的集群,逐步成为客户的集群首选架构,并实际应用到线上业务中。其架构如下:

  Cluster集群相比Proxy集群减少了网络跳数,性能更高、灵活性很强。该架构和Proxy集群一样,突破了Redis集群对于CPU单核性能的依赖性,而端到端的链路性能才是整个集群的最大性能瓶颈。

  从上述架构剖析可以了解到,Redis单核性能的关键在于CPU的处理能力,但Redis真实在CPU中操作的时间在纳秒级别,不超过端到端时延的10%,因此Redis横向扩展核心靠链路性能优化。

  二、华为云鲲鹏Redis:三项黑科技助力Redis性能

  1.华为自研LibOS构建高性能云服务基础设施,助力Redis性能2倍提升

  LibOS兼顾资源利用率和隔离性,同时满足公有云资源利用率和多租户隔离的诉求,成为公有云runtime的重要发展方向。创新的LibOS技术将Redis的软件栈由10层压缩到4层,实现了超低延时。

  1) SOCKET标准接口,实现从内核态网络栈平滑切换到用户态。2) 轻量级协议栈,支持每个Redis实例有独立的协议栈,避免协议栈共享导致的锁竞争问题。3) 业务线程和用户态协议栈共线程,零调度开销。4) 发挥网卡极限性能,避免了中断和调度导致时延增加。

  2.华为编译器通过智能动态编译优化,提升热点代码性能15+%

  华为自研编译器针对公有云业务应用场景特征,通过智能动态编译优化,提升热点代码性能15+%:

  1) 由部署在云服务环境内的轻量级性能特征采集Agent,保存程序动态运行时的关键性能特征信息;

  2) 通过智能编译调优工具,以动态性能特征作为输入,结合静态代码分析,产生更优的编译策略;

  3) 自研ARM64编译器使用新的编译策略重新编译生成优化后的应用程序,热点代码性能提升明显。

   3.华为iSula自研安全容器引擎技术,以更少的系统资源占用,实现秒级实例分发与迁移

  iSulad是华为自主研发的高性能、低开销的容器引擎,通过镜像下载加速技术和最小化启动调用链条,实现容器的秒级启动和迁移。配合LibOS,可实现可媲美虚拟机级别的安全隔离性,确保租户只能使用它们可用的资源。

  三、强悍性能支撑客户业务成功

  在某电商大客户中,客户业务数据量大、读写请求量大、峰值明显且扩容频繁、需求变化快等特点,对Redis依赖很重、性能要求很高,现网同时维护200+个Redis实例,疲于应付容量扩容、性能下降、链接无响应、持久化失败等各种现网问题,给研发团队带来巨大挑战。

  为了应对业务增长带来的大数据并发,解决系统瓶颈问题,客户决定考察华为云鲲鹏Redis。在多次的技术场景交流、PoC验证后,客户果断决策将自建的Redis实例全部迁移到鲲鹏Redis上,主要收益:

  1) 性能收益。华为云基于全栈整合之后单实例性能达到10万QPS以上,Cluster集群支持性能的线性扩展至千万级别,足够应付2019年的业务增长目标。

  2) 价格收益。鲲鹏Redis降低客户30%使用成本后,在做到同等规格实例比自建Redis更省钱的同时,资源使用率提升了20%。用花更少的钱,享受更大的容量。

  3) 技术收益。鲲鹏Redis提供专业的技术支持,具备从硬件链路到软件优化的能力,可以提供更优的系统级优化方案。

  迁移是有开销的,包括割接的稳定性测试与保障等,都需要人力投入。但客户CTO表示,华为云提供了很好的迁移保障,大大提升迁移的效率减少了对现网业务的影响。相比长期合作所带来的收益,这个开销基本忽略不计。

  华为云鲲鹏Redis,业界首个基于自研ARM-Based全栈整合的Redis云服务,支持双机热备的HA架构,提供单机、主备、Proxy集群、Cluster集群实例类型,满足高读写性能场景及弹性变配的业务需求。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
BCS 2020“安全运营中心建设与发展高峰论坛”成功召开
8月12日,BCS 2020安全运营中心建设与发展高峰论坛成功召开。论坛邀请到中国电子信息产业发展研究院...
日期:08-12
BCS 2020举办区块链安全论坛 多方专家共议区块链在垂直行业的应用
8月11日下午,有着网络安全行业“达沃斯”之称的北京网络安全大会(以下简称BCS 2020),正...
日期:08-12
腾讯Q2财报:小程序交易额环比回升 公众号内容消费重焕活力
8月12日,腾讯发布二季报,数据显示,2020年上半年实现收入1148.83亿元,同比增长29%;Non-IFRS净利润301...
日期:08-12
应对联发科强劲需求,芯片测试商京元电子与矽格准备提高产能
8 月 12 日消息,据国外媒体报道,在此前的报道中,外媒曾提到在 5G 智能手机处理器方面有很大进展...
日期:08-12
摩托罗拉新机XT2081-2获FCC认证:配5000mAh电池
据外媒报道,一款型号为XT2081-2的摩托罗拉手机出现在FCC认证网站上。虽然该网站没有透露手机的营销...
日期:08-12
苏宁易购引领未来零售5G发展趋势,终端裂变重塑零售形态
近日,全场景智慧零售服务商苏宁易购与全球化监测和数据分析公司尼尔森联合发布首份零售行业5G应用发...
日期:08-12
台积电 3 家晶圆厂设备供应商 7 月营收同比大增,最高接近 80%
8 月 12 日消息,据国外媒体报道,为苹果等公司代工芯片的台积电,近几年在芯片制程工艺方面走在行...
日期:08-12
京东全资控股五星电器,成立新公司 “京东五星电器集团”
8 月 12 日消息,京东宣布全资控股五星电器,成立新公司拟定名为京东五星电器集团有限公司。
日期:08-12
BCS2020技术峰会:内生安全框架推动网络安全技术体系升级
8月12日,2020北京网络安全大会(BCS 2020)技术峰会正式召开。来自中、美、以等全球顶级的网络安全技...
日期:08-12
消息称三星与 ARM 和 AMD 合作,目标成为第一大 Android 应用处理器制造商
8 月 12 日消息 据 Business Korea 的最新报道,三星的目标是通过与 ARM 和 AMD 合作,成为第一大 A...
日期:08-12
近80% CEO预测远程办公是趋势 BCS2020举行远程办公与智能终端安全论坛
今年年初,突如其来的新冠“黑天鹅”,加速了远程办公的落地,远程办公系统与智能终端安...
日期:08-12
卢伟冰:Redmi K30 Pro因高刷缺席被喷 这次投入2亿重做K30至尊纪念版
作为Redmi的旗舰产品,Redmi K30 Pro因60Hz AMOLED屏成为不少米粉心中的小遗憾。
日期:08-12
Facebook 面临新指控:Instagram 被诉非法收集用户生物识别数据牟利
Facebook 最近又面临一项新的指控,称该公司非法收集用户的生物识别数据。这次诉讼的对象是 Faceboo...
日期:08-12
一加Nord新配色将于10月初推出 还有更便宜版本出售
据外媒消息,一加将于10月初推出一加Nord新配色——尘灰色(Gray Ash)。
日期:08-12
Realme证实C12/C15入门新机即将登陆印度市场 售价或低于10000卢比
在曝光了各种认证信息后不久,Realme 已证实将向印度市场投放 C12 和 C15 入门新机。早些时候,售价...
日期:08-12
TCL 发布 Mini LED 屏电视:最高支持 120Hz 可变刷新率
TCL 发布了最新一代 5 系列和 6 系列 Roku 电视,其中 6 系列电视最大特点是有 Mini LED 显示背光技...
日期:08-12
Nutanix混合云基础架构现已支持亚马逊云服务(AWS)
携手AWS,Nutanix Clusters支持应用云间无缝迁移及统一操作,助力企业加速云上旅程
日期:08-12
消息称可折叠苹果 iPad 2023 年发布:无铰链 + 屏下摄像头 + 3nm 芯片
关于可折叠 iPad 的讨论已经在进行中,有传言称该平板电脑的显示尺寸与 MacBook 相当。今天,推特爆...
日期:08-12
XSKY星辰天合发布全新下一代分布式文件系统XGFS
非结构化数据正以前所未有的速度增长。IDC的预测表明,到2025年,全球将有80%的数据是非结构化的。...
日期:08-12
买iPhone最值的时候来了!京东热8购物季iPhone 11低至4599元
暑假过半,考研复习进入关键时期。考研是一项全靠主观能动性的学习,调整好复习状态固然重要,但学...
日期:08-12
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :