信息无障碍通道
您的位置:首页>>互联网

海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进

发布时间:2021-04-19 14:17  来源:互联网    背景: 无障碍阅读通道

  据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,占25%。如此庞大的数据有多少被存储下来了呢?西部数据认为只有不到1.5%的数据被存储下来了。业界更是有人认为这个估计过于乐观,被存储下来的数据其实是低于这个比例的。

  企业级存储架构面临挑战

  为什么会出现这种情况呢?几年前业界就在宣传数据是当代石油,是发展的动力。那这么多宝贵的石油就这样流失掉了,没有进行挖掘和分析处理,不是很浪费吗?

  西部数据公司副总裁兼中国区业务总经理刘钢认为,这么多数据没有被存储下来的主要原因是因为存储的架构和存储的技术没有及时跟上,因此大部分的数据都没有办法被存储下来并及时使用。

  图:西部数据公司副总裁兼中国区业务总经理刘钢

  这也就是说,目前企业级的存储架构正面临着一些不可避免的挑战,包括数据增长迅速、存储性能需求倍增、TCO成本负担增加,及更绿色能耗体系标准的挑战。

  人们需要大容量、能快速访问、并且成本更低,能耗更低的存储。那么,有没有一个存储设备,或者一种存储介质能够同时满足这四个方面的要求呢?

  刘钢在不久前的2021深圳国际大数据与存储峰会上表示,能满足这四个要求的单一存储介质或者存储设备的确是非常难找到。但幸运的是,人们可以通过创新的架构,用系统来满足用户各方面、各种存储场景的需求。“因为用户的数据是要进行分层的,用户的数据有不同的类型,不同类型的数据对存储的要求也是不一样的。”

  创新存储架构应对海量数据需求

  在刘钢看来,数据是有分层的,因此他把数据分成了极热数据、热数据、温数据、冷数据和极冷数据五层。并且还划分了每层对应的应用场景。

  而对于不同层的数据,需要采用的存储介质和存储设备是不一样的。比如对于冷数据和极冷数据而言,业界目前常用的方案是高密度的大容量企业级硬盘。

  刘钢对媒体表示,目前高密度企业级硬盘已经进化到了18T。针对极冷存储,西部数据利用软件和技术优化,采用了SMR叠瓦式的硬盘能做到20T的高密度企业应用。

  谈到具体产品,刘钢介绍说,20TB Ultrastar DC HC650主机管理SMR HDD和16TB与18TB Ultrastar DC HC550 CMR HDD已经于2019年9月发布,是优先进入商业化实施阶段的EAMR技术。凭借西部数据HelioSeal技术提供的出色功耗以及机械创新(例如提高磁头定位精度并提供更大容量功能的TSA),这些HDD可提供领先的面密度,九磁碟硬盘还使客户能够更有效地配置和扩展数据中心环境,同时提供更低的总体拥有成本。

  单位TB价格( $/TB) 是存储服务器购置成本的关键组成部分,也是构建现代云数据中心的一个考量核心。相比较于$/TB这一维度,TCO则更能体现准确的数据中心运营成本:TCO 的降低并不限于降低 $/TB。每个硬盘的容量越大,意味着更少的服务器拥有更大的储存容量,从而节省资本支出和运营成本。例如从14TB迁移到18TB呈现出显著的TCO收益:服务器减少了22%;TCO降低了11%。鉴于数据中心占用空间有限,通过更高的HDD容量进行更密集的存储部署,还可以产生更多的收入。

  存储服务器的成本通常要求控制在数据中心总体运营成本的60%以内。而实际上,更高容量的HDD可以更有效地平衡这一需求。西部数据持续进行多项技术的创新,例如能量辅助、机械设计、材料和记录技术,帮助所有数据中心客户,无论是超大规模云客户,大型企业还是中小企业来有效应对他们的数据基础架构挑战。

  图:从左到右依次为:西部数据Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

  刘钢还透露了一个消息,那就头部的云服务商硬盘在过去4年当中,从8T进化到了18T。而的IPFS的服务商则在以更快的速度进化,他们几乎在过去四个季度就走完了云服务商过去4年的演进过程,也从8T进化到了18T。

  图:云服务商与IPFS服务商使用硬盘的演进过程。

  为什么数据中心能迅速从8T进化到18T呢?其实是当数据中心只是从14T升级到18T,为了达到同样存储的容量,服务器数量会减少约22%,而且不仅是服务器数量减少了,存储密度也提高了,而且单位功耗还降低了约21%,因此部署成本降低了,运维成本也降低了。

  除了大数据之外,还有一部分的数据用户需要能够快速访问,比如像热存储、温存储等,这些数据指的就是快速据。西部数据把SSD划分成了两类,一类是主流的SSD,还有一类是针对写密集、计算密集的高性能SSD。

  据刘钢介绍,西部数据推出了新的Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD。应用到IPFS里面,尤其是针对封装计算机、封装服务器的时候用SSD,对于IPFS的封装机器来讲,4个7.68T的SSD能提供非常好的加速。

  谈到SSD,目前其主要容量点是3.84T和7.68T。“SSD的主要成本在闪存(Flash),Flash决定了SSD硬盘的成本和性能。所以一家SSD的供应商需要有大规模的产能,能够保证供应,同时能够降低成本,还要有领先的Flash技术能够提供高性能Flash、有自主可控的控制器和部件来纵向地优化SSD的产品,提供一致稳定的高性能,而不只是某个时间的高性能或者峰值的高性能。”他指出。

  刘钢还提到了他们刚刚发布的第6代3D闪存技术,162层的3D闪存技术,该技术会进一步地缩小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高两倍以上,输入/输出的IOPS提高约66%。

  在刘钢看来,西部数据最大的优势是纵向集成的优势。他们不仅有控制器及其固件,再将它们与Flash纵向集成后,可以达到非常稳定的一致性。

  与合作伙伴的成功案例

  截止目前,西部数据已经与诸多行业领先的公司开展了合作,致力于依靠行业领先的技术和整体解决方案来支持客户与合作伙伴。

  1.Dropbox超大容量企业级HDD全球应用

  Dropbox与西部数据携手,为确保流畅无缝地实现向SMR的迁移,Dropbox针对其特定机箱配置进行内部测试,采用SMR技术替换原有CMR技术后存储密度增加了10%-20%,节约了20%的TCO。

  作为率先认证Ultrastar 20TB SMR HDD的企业之一,Dropbox利用数据中心的大容量、高效率和扩展能力,应对满足全球企业、团队和个人对云存储和服务不断增长的前沿需求。Dropbox日前成为首批认证西部数据主机管理叠瓦式磁记录 SMR HDD — Ultrastar DC HC650 20TB — 的企业之一。通过将西部数据SMR HDD用作定制的EB级存储平台的存储基石,Dropbox遵循其战略路线,以更好总体拥有成本(TCO)实现更高的存储密度。

  2浪潮、星辰天合的IPFS解决方案

  西部数据、浪潮、星辰天合多方携手,联合推出IPFS 解决方案,在软件层面,该解决方案搭载了专为 IPFS 场景而生的 XSFS(XSKY Scalable File System)系统,通过全新的存储技术手段,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,在保证数据高安全性的同时,打破存储规模壁垒,降低 IPFS 建设的投入,满足 IPFS 业务存储需求。

  在硬件层面,该解决方案包括浪潮英信服务器 NF5466M5、西部数据 Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盘以及 Ultrastar Data60 JBOD 存储平台。通过搭载 44 块/36 块大容量的 Ultrastar DC HC550,NF5466M5 为 IPFS 存储提供了海量的存储空间,并借助硬盘的高稳定性,显著降低复制证明和时空证明提交过程中出现错误的几率。

  3联手杉岩数据打造IPFS解决方案

  杉岩数据联合西部数据,共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台,并针对 IPFS 进行了优化的解决方案。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能,并对时空证明请求进行了优化,使其可以获取多个文件的多段内容。同时,杉岩数据还在该方案中部署了 EC(22+2)冗余技术,实现了高达 91.6% 的存储空间利用率。

  该解决方案搭载了西部数据 Ultrastar DC SN840 NVMe SSD和Ultrastar DC SN640 NVMe SSD,Ultrastar DC HC550 18TB大容量HDD,以及 Ultrastar Data102 JBOD 存储平台,可以全面满足 IPFS 存储集群需求。得益于西部数据在存储硬件方面的优势以及杉岩数据卓越的存储系统设计,该解决方案能够帮助 IPFS 服务提供商显著提升性能、稳定性并提升投资回报率。其中 Ultrastar DC HC550 HDD 18TB的超大容量以及 Ultrastar Data102 的组合有利于实现集约性的空间设计,使得组建 IPFS集群所需要的机柜空间、电源功耗、硬件成本大大降低。

  4联手长城超云打造IPFS新范式

  长城超云与西部数据联手打造出多款完美贴合IPFS场景的产品级解决方案,在IPFS行业种得到广泛的应用。方案主要以西部数据高性能大容量企业级硬盘Ultrastar DC HC550系列的18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。通过优越的产品配置与算法调优使得整体效率提升50%以上,同时单T有效算力硬件成本大幅降低。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
SSD固态硬盘怎么选?SSD缓外速度减半使用有什么影响?
如何选择适合自己的SSD对于不同类型的用户都会产生一些困扰,尤其是对于市面上鱼龙混杂的产品,什么原厂颗粒、PCIE4.0、缓存外速度、4K性能、质保等等关键词都是需要考虑的因素,这对于很对不了解电脑配件的消费者就产生了选择困难症,尤其是近期接连有大厂被爆旗下产品跟换颗粒,缓存速度减半,这就更让普通消费者...
日期:08-28
看索尼电视魅力有多大?让球王奥斯卡和宝宝其乐无穷
近日,上海海港的明星球员——奥斯卡,在社交平台晒出了自己休息时与自家萌娃的温馨日常。“奶爸”奥斯卡不仅监督孩子学习,还带着孩子一起玩耍娱乐。奥斯卡显然游刃有余,还晒出了自己新入手的“带娃神器”——索尼电视A90J!上海海港队组最好的球员之一也用索尼电视,这让不少...
日期:08-28
BCS2021:奇安信推出零信任身份安全解决方案3.0
8月27日,在2021北京网络安全大会(BCS2021)期间,奇安信身份安全事业部总经理张泽洲正式发布奇安信零信任身份安全解决方案3.0。据介绍,奇安信零信任身份安全解决方案3.0核心内容可概括为“零信任123&rd...
日期:08-27
腾讯公益平台年捐赠人次首破亿,重庆、长沙、郑州表现亮眼"
2020年腾讯公益平台年捐赠人次首度突破1亿,累积超过4亿;爱心网友捐款总额达38.49亿元,其中约九成用于脱贫攻坚和乡村振兴。2021年“99公益日”到来前夕,腾讯公益公布了上述数据,充分体现了互联...
日期:08-27
苹果iPhone13/Pro系列手机到底涨不涨价?业内人士回答了!
ITBEAR科技资讯8月27日消息,有知名人士Jon Prosser带来最新消息:iPhone13系列手机会在9月14日亮相,而全球范围开售时间在9月24日,其可信度很高。如果抛开外界因素(COVID-19疫情等)的话,小编还真就是100%...
日期:08-27
云之家亮相2021届重庆智博会
云之家报表秀秀亮相2021届重庆智博会,本次会议将沿用“智能化:为经济赋能,为生活添彩”的主题,于8月23日—25日采用“线上+线下”方式举办。
日期:08-27
中国信通院:我国 IPv6 分配地址用户数 16.1 亿,活跃用户数 5.35 亿
8 月 27 日消息 8 月 25 日,工业和信息化部召开 IPv6 流量提升三年专项行动全国部署宣贯会。据中国信通院消息,中国信息通信研究院副院长王志勤在会上发布了国家 IPv6 发展监测平台最新监测数据。
日期:08-27
再下一城,鸿雁最大智能家居体验馆落地中山星光联盟
体验消费时代的到来,线下沉浸式、场景化的体验消费空间已成众多品牌营销新阵地,随着智能家居市场竞争加速,越来越多的知名品牌开始着力布局线下体验店。近日,智能家居头部企业鸿雁迈出门店拓展新步伐,集...
日期:08-27
开学有什么数码好物值得买,可以选择当贝激光投影X3
马上就开学了,作为大学生,其实是需要一些提升生活质量和学习效率的东西,今天给大家分享一下开学必备的数码电子产品,大家可以根据自己的需求去选择。
日期:08-27
重新定义边界安全新模式 奇安信推出边界安全栈新能力
8月27日下午,在2021北京网络安全大会发布系列活动上,奇安信集团副总裁吴亚东为大家带来了边界安全栈新能力的发布,聚焦安全运营,重新定义边界安全新模式。
日期:08-27
tcl电视安装U盘app方法,安装U盘里的软件真的非常简单
TCL电视作为老牌电视软件,一直备受消费者喜爱,在昨天TCL电视也发布了新品mini LED电视,不管是从外观还是硬件来说都是无可挑剔的。
日期:08-27
三星 Galaxy S21 Ultra 被曝运行 Android 12 系统跑分
8 月 27 日消息 据外媒 SamMobile 消息,三星 Galaxy S21 Ultra 5G 手机的一条跑分信息出现在 Geekbench 5 网站,值得注意的是,手机运行的是 Android 12 系统。目前三星最新的 One UI 4.0 系统基于 Android ...
日期:08-27
在“抖音新潮好物夜”,看见比娱乐更重要的事情
(本文转自微信号:镜像娱乐ID:jingxiangyule,文丨栗子酒、顾贞观,编辑丨李芊雪)
日期:08-27
Comper×脱口秀大会,用全新沟通方式圈粉年轻人
在年轻化营销主导消费趋势的2021年,对于品牌而言,找到自身与年轻人心智的市场结合点,通过符合圈层与潮流文化的营销手段来占领和打通年轻人的生活场景,已经成为品牌面向Z世代的重要选择。
日期:08-27
百度智能云 ×美欣达|实现“双碳”目标,看下纺织业的智慧样本
中国经济正处于由高速增长到高质量发展的转型过程中,伴随着产业升级,中国制造业也将逐步从“中国制造”转向“中国智造”。这就要求制造企业向“绿色”、“高效”...
日期:08-27
吸尘器什么牌子好 三款知名吸尘器黑科技大比拼
后疫情时代,居家健康成为了人们关注的重点。相对扫地机器人而言,无线手持式吸尘器可以适应多场景的清洁,成为现代家庭最受欢迎的清洁家电之一。最新数据显示,2021年1-4月吸尘器市场规模达72亿元,同比增长...
日期:08-27
跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验
跨越速运集团有限公司创建于2007年,目前服务网点超过3000家,覆盖城市500余个,是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护,支撑20余条核心业务线,面向集团...
日期:08-27
腾讯阿里打通生态,针锋相对的时代或将结束
  前些日子,阿里张勇表态将会和腾讯打通生态。目前双方生态最核心的断点在淘宝支付和微信外部链接。因此可以判断,未来打通生态是指淘宝可以使用微信支付,同时微信内也可以使用淘宝平...
日期:08-27
欧盟将正式对英伟达 540 亿美元收购 ARM 交易展开调查
8 月 27 日消息 今日外媒《金融时报》发布消息,称欧盟已经正式对英伟达 540 亿美元收购 ARM 交易展开调查。此前监管机构已经与英伟达进行了为期数月的非正式讨论,正式的调查将于 2021 年 9 月开启。
日期:08-27
首批通过TAG反欺诈认证,国双AD成功的秘诀原来于此
近日,国双广告监测分析优化平台Ad Dissector(以下简称AD)成功通过TAG数字广告流量反欺诈国际认证,国双成为国内首批获得该认证的第三方广告监测服务商。为什么国双能够首批通过TAG反欺诈认证,获得行业权威资质...
日期:08-27
  专栏介绍
半斤 的专栏
半斤发表的文章