您的位置:首页>>业界动态

鲲鹏和Pro:华为云BigData Pro大数据解决方案的两大“关键词”

发布时间:2019-09-04 16:16:50  来源:互联网    背景:

  文/大数网 于泽

      关于华为,每个人都有自己的观察角度,聚焦企业级IT市场,本文讲讲最近一段时间我看到的华为实力。我的切入点是鲲鹏,更进一步说是华为云最新发布的业界首个鲲鹏大数据解决方案——BigData Pro。

  先说说鲲鹏,这个最近一段时间华为最频繁提及的词汇之一。明白了鲲鹏,对于鲲鹏大数据解决方案也就理解了一大半。

  “鲲鹏”是什么?

  可能你已经看到了,华为近期密集地发布了各种带着鲲鹏字样的产品、解决方案,包括鲲鹏处理器、鲲鹏云服务,其中就包括本文将重点展开的华为云鲲鹏大数据解决方案——BigData Pro。

  鲲鹏究竟是什么?

  简单理解,鲲鹏是一套基础架构体系,不仅仅局限于鲲鹏系列服务器芯片,还包含了兼容的服务器软件,以及建立在新计算架构上的完整软硬件生态和云计算生态。最初, 鲲鹏指华为在今年1月初发布的一款基于ARM指令集的通用计算芯片鲲鹏920。

  为什么华为在大力发展鲲鹏?原因有很多,最直接的因素就是必须拥有自己的核心技术。

  本质原因则是摩尔定律正在失效,计算体系进入百花齐放的时代,鲲鹏的发布,给客户带来了更多元的选择。

  华为云鲲鹏大数据解决方案(BigData Pro)第一个值得关注的点,正如华为云云存储服务总经理林超所说,不管是存储还是计算,都是基于鲲鹏架构实现的。这在业内目前也是独一份。

  了解过鲲鹏后,接下来认识一下鲲鹏大数据解决方案的第二个关键词Pro。在消费级产品领域,Pro被用的很多了,字面意思专业版,更直观的认识,Pro的功能会更强大。

  那么,华为云鲲鹏大数据的Pro体现在哪些方面?我觉得可以总结为三个维度:

  “存算分离”——提升资源利用率

  华为云对传统的大数据架构进行了升级,推出了基于云服务的存算分离架构。存储和计算资源可以根据业务需要各自独立进行弹性扩展,灵活配置,从而使资源匹配更精准、更合理,让大数据集群资源利用率大幅提升。据介绍,经此创新,综合分析成本最高可降低50%。

  至于为什么要这样做?还得从大数据架构的限制说起。目前,业界使用最多的大数据架构是Hadoop,而当初设计的时候,它基于计算和数据就近处理的原则,采用计算和存储融合的架构,通俗的理解就是“一体机”。按照一体机的设计,计算和存储的比例是固定的,这显然不符合实际业务需求,无形中造成很多浪费。

  有一组数据供参考,在原有存算一体方案中,计算资源的利用率一般不到50%,存储空间的利用率一般不到33%。换句话说,大量的计算、存储资源都被浪费了。

  而华为云BigData Pro鲲鹏大数据方案能将大数据集群的资源利用率提升75%,成本最高可降低50%。

  多协议互通数据分析效率大增

  在鲲鹏大数据解决方案中,华为云使用OBS对象存储来管理企业海量数据。OBS具备业界领先的性能,支持千万TPS超高并发,单流2.4Gb/s单流带宽,超业界3倍,小对象10ms稳定低时延。在此基础之上,华为云还做了很多创新。

  比如,OBS对象存储服务的多协议互通。什么意思?没有这个能力之前,企业不同格式的数据是存储在不同存储系统中的,在进行数据分析时,需要进行协议转换,影响效率不说,转换完成后还要另存一份,又造成存储空间浪费。有了多协议互通,数据可以通过计算、存储的接口,或者HDFS的接口写进来,然后再通过另外的协议,包括POSIX等读出去,相当于一个数据可以用多种语义解读,省去了转换过程,效率大增。据测算,单此一项创新就能帮助数据访问效率提升25%。这是华为云对象存储服务的一个独特优势。

  再比如,基于对象存储华为云创新了修改写和追加写。原来的修改写和追加写,按照传统厂商们的做法,修改写相当于先新增一个数据,然后把老数据删掉,需要两个步骤。现在华为云可以做到直接修改,对于处理大文件,这项能力尤其有用。

  其三,华为云在OBS对象存储上实现了HDFS原生接口。

  量变产生质变,一点点小的创新积累,使存储不再是大数据分析过程中的性能瓶颈。所以,同样是存算分离,可以说华为云比友商多走了半步,能带给用户更高的效率,更优的成本。

  这还不够,别忘了鲲鹏大数据解决方案还有一个Pro,它与鲲鹏的特性紧密相关,这也是为什么开篇会说,明白了鲲鹏也就了解了鲲鹏大数据解决方案的一大半。究竟是什么?

  鲲鹏多核从容应对数据高并发

  首先,就鲲鹏本身而言,多核优势再加上华为云在任务调度上的算法优化,使得CPU的并发能力很强。另外,CPU内存通道更多,从6个提升到8个,支持的内存速度更高,从2666MHz提升到2933MHz,内存带宽提升46%,而众所周知,内存带宽的提升对于大数据的场景优势非常明显。

  其次,华为云鲲鹏大数据解决方案率先采用鲲鹏云容器技术,并做了很多独有的创新。比如:

  华为云对开源k8s进行了深度优化,能够达到1秒1000个容器发放的弹性能力,特别有利于实时大数据分析对业务浪涌的弹性响应,并且引入Volcano队列批量调度技术,支持容器的智能拉起等,让企业大数据分析业务编排更加灵活。

  更多细节不再一一展开。据悉,华为云鲲鹏容器服务在大数据应用场景下,端到端的性能提升达到40%。也就是说,在存算分离的大框架下,华为云不仅是面向存储,针对计算同样也做了很多技术创新。

  截至当前,BigData Pro大数据解决方案已经在部分顶级互联网客户的业务场景得以应用,包括用户画像、实时数据分析等,能有效降低35%的大数据分析用时,反馈良好。

  大数据体系升级,满足企业多样化场景需求

  有了鲲鹏大数据解决方案,华为云也成为业界能提供大数据解决方案最丰富的服务商,从x86到鲲鹏,从容器、云主机到裸金属,从云计算到云存储,往上再到EI大数据服务,各种各样的大数据应用场景需求,华为云都能满足。

  事实上,这也正是当前大数据领域的发展趋势。业界都看到了海量数据带来的挑战,特别是随着5G、IoT、VR/AR、自动驾驶等技术的发展,数据的爆发速度会越来越快。华为曾在GIV 2025报告中指出:“预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。”如此大的压力之下,现有大数据分析系统已经难以满足其增长需求,数据增长和现有IT架构处理能力之间的不平衡只会越来越明显。业界知名分析机构IDC在最新的报告中就明确指出:企业上云已成必然趋势。因此,在公有云上部署更灵活高效的大数据分析平台,将成为企业应对大数据时代的必然选择。

  于是,我们也看到所有云服务商都在朝这个方向努力,正在推出更多的产品与解决方案。华为云也是其中的一份子。但有所不同的是,华为云基于华为过去的积累有很多独有的优势,包括存储、计算领域的,而这也将成为其未来重要的竞争力。

  总结全文,透过华为云鲲鹏大数据解决方案BigData Pro观察华为云。他们要做的不仅仅是给用户多一种选择(鲲鹏),更是给出一种匹配企业业务需求的最佳方案,这也符合华为以客户为中心的企业文化。相信华为云未来会有更多基于鲲鹏算力的解决方案问世,为企业客户的数字化智能转型带来切实的效益。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
头号玩咖参展2019世界VR产业大会 国务院副总理刘鹤莅临指导
2019年10月19日-21日, 2019世界VR产业大会在江西南昌举行。在同期举办的2019 VR/AR产品和应用展览...
日期:10-19
世界VR产业大会开幕 玖的揽获「中国VR50强企业」「VR/AR年度创新奖」两大奖项
10月19日,以“VR让世界更精彩——VR+5G开启感知新时代”为主题的第二届世界VR...
日期:10-19
开发者服务起风了:2019极光开发者大会,聚焦开发价值!
2019年10月19日,“2019极光开发者大会”在深圳召开,数千位互联网公司技术领袖、合作伙...
日期:10-19
华为:希望把VR/AR打造成下个智能手机产业
10月19日消息,2019世界VR产业大会在江西省南昌市举行。华为轮值董事长郭平发表了《打造VR/AR信息高...
日期:10-19
华为云受邀参加2019IDC中国数字化转型年度盛典,“5G+云+AI”助力企业数字转型
2019年10月18日,由IDC中国主办的“2019 IDC数字化转型年度盛典暨第四届中国数字化转型领军用...
日期:10-19
语音识别大拿Daniel Povey正式加入小米,将组团队开发下一代Kaldi
10月19日消息 据小米集团副总裁、小米技术委员会主席@崔宝秋-小米 消息,语音识别大拿Daniel Povey...
日期:10-19
蚂蚁金服共享智能平台打破数据孤岛,荣获“2019CCF 科技进步优秀奖”
10月18日,在2019中国计算机大会上,“蚂蚁金服隐私保护共享智能平台”荣获“CCF科...
日期:10-19
我国研发5款自主产权3D显卡:支持国产处理器及操作系统
   继国产处理器获得突破之后,国产GPU/显卡也取得了重大进展。
日期:10-19
华为开发者大会2020将于明年2月11日在深圳召开
10月19日消息 今日上午,据华为中国官方消息,华为开发者大会2020将于2020年2月11日-12日在深圳召开...
日期:10-19
Digitimes:英特尔将在2020年中发布Xe独显,采用10nm工艺
10月19日消息 根据TPU的报道,接近Digitimes的消息人士透露,英特尔将很快推出其首个10纳米独立显卡...
日期:10-19
AMD有望在11月5日发布新款线程撕裂者和TRX40芯片组
10月19日消息 根据VideoCardz的独家爆料,AMD计划发布三款Threadripper 3000处理器,分别是 3960X,...
日期:10-19
英特尔将于月底推出新款超低压处理器:10nm工艺,3D封装
10月19日消息 根据Notebookcheck的报道,英特尔将于2019年10月23日和24日在加州圣克拉拉的凯悦酒店...
日期:10-19
政企智能转型升级正当时 华为云打造西安智慧产业新高地
10月17日,由华为公司主办的“西安·选择不凡 华为云城市峰会2019”在西安如期举行...
日期:10-19
华为云依托5G+云+AI技术 加速政企转型升级
10月17日,“西安·选择不凡 华为云城市峰会2019”如期在西安举行。西安市市长李明...
日期:10-19
西安航天基地华为云人工智能创新中心正式发布
10月17日,西安·选择不凡 华为云城市峰会2019在西安举行,针对Cloud 2.0时代下的政企上云需...
日期:10-19
人才培养正当时,华为云联合7大高校发布西北鲲鹏人才培养计划
  10月17日,西安·选择不凡 华为云城市峰会2019在西安拉开帷幕,着眼西北地区科技创新发展,华...
日期:10-19
爱奇艺创新CDN系统奇速播荣获中国计算机学会 “CCF科学技术奖科技进步杰出奖”
10月17日-19日,由中国计算机学会(CCF)创办的2019中国计算机大会在苏州举办,爱奇艺融合边缘云的新...
日期:10-19
世界互联网大会开幕,UCloud优刻得展示企业上云新科技
10月18日上午,第六届世界互联网大会“互联网之光”博览会在浙江乌镇拉开帷幕。国家互联...
日期:10-19
Breeno语音“万物互融”丰富覆盖渠道,为开发者提供更多品牌精准客群
10月15日「OnePlus 7T 系列新品发布会」在北京举办。此次发布会除了发布了硬件端旗舰级一加手机,也...
日期:10-18
哈弗H6斩获第76个月销冠,不断刷新SUV市场销量记录
进入2019年下半年后,中国汽车市场发生了微妙的变化,轿车相较2018年依旧呈现下跌态势,而SUV异军突起,...
日期:10-18
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :