信息无障碍通道
您的位置:首页>>业界动态

XSKY星辰天合发布全新下一代分布式文件系统XGFS

发布时间:2020-08-12  来源:互联网    背景: 无障碍通道

  非结构化数据正以前所未有的速度增长。IDC的预测表明,到2025年,全球将有80%的数据是非结构化的。文件协议是存取非结构化数据最普遍的使用方式,根据IDC统计,2019年度,中国的软件定义存储市场约60%是文件存储。

  尽管非结构化数据并不是什么新鲜事,但IT团队承受着巨大压力,他们希望以简单和易于使用的方式快速、一致地存储和管理非结构化数据,但传统文件系统有很多的限制:

  1、元数据和数据使用本地存储,无法横向扩展,不具备节点级高可用;

  2、受限于元数据的存储空间和性能,实际可保存的文件数有限,一般小于1亿,存储空间为TB级别;

  3、非统一命名空间,多个挂载目录之间无法互通,使用复杂;

  4、文件存储网关不可扩展,无法提升带宽,造成访问瓶颈;

  5、不支持大数据和容器等新业务。

  01分布式文件架构,如何和硬件与时俱进?

  数字化转型下的软件定义存储架构,可以很好的满足用户各种需求,如在标准服务器上的敏捷部署,可灵活扩展,性能和容量随服务器节点数增长而线性增长,硬件升级与更换无需跨存储系统迁移数据,硬件升级换代红利即时享用,业务层无感知、无影响等。

  但是软件定义,也需要充分利用最新的硬件技术,与时俱进。

  分布式文件存储,最复杂的就是元数据的保存和处理。根据统计,大部分的AI/ML分析应用,90%的I/O都是请求元数据操作。

  上一代的分布式文件系统,由于当时的硬件限制,为了解决元数据的容量瓶颈,部分产品(如CephFS)将元数据保存在后端的RADOS集群里,I/O路径长,并且由于复杂的同步和互锁机制,性能损耗较高,性价比并不理想;

  部分产品(如HDFS)采用内存来保存所有的元数据,虽然元数据性能较好,但由于内存的容量有限,系统支持的文件数比较少,扩展能力有限。

  有没有一种架构,能够以较低的成本,极简的架构,满足现代文件系统元数据处理的性能和容量要求?

  现在,大容量高速SSD的普及,使得鱼和熊掌兼得变成现实。NVMe协议的出现,大大降低接口协议的开销,SCM(存储级内存)的出现,大大提升介质的性能,加上颗粒成本的下降,使得5TB以上的大容量NVMe SSD较为普遍。

  这些SSD新技术的发展,加上CPU的核数越来越多,使得全闪存元数据节点完全可以应对大规模文件系统的需求,比如,只需要5TB的NVMe SSD的元数据空间,就可以轻松保存和处理百亿规模文件。

  02XGFS重新定义下一代分布式文件系统

  XGFS(XSKY Global File System)是XSKY提供的新一代分布式文件存储系统,具有单一全局的命名空间。

  XGFS基于灵活的SDS架构,支持NFS、SMB、FTP、POSIX、HDFS、Kubernetes CSI(容器存储接口)等丰富的协议,不仅可以用于企业的文件共享,备份归档通用场景,也可以应用于视频监控、媒资管理、高性能计算等高性能、大带宽、大容量的场景, 还支持最新的大数据和容器场景。

XGFS企业级分布式存储系统架构图

  XGFS创新利用最新的多核CPU、大容量和高性能NVMe SSD,只需要3个全闪存元数据高可用节点(可以共用数据节点),就可以高效保存和处理100亿数量文件规模的数据,同时提供每秒上百万元数据读写请求处理能力,具有极高的性价比。

  而XGFS的数据节点,则充分利用XSKY久经市场考验的可靠自主分布式存储集群,成熟稳定,可以轻松扩展到上千个节点。

XGFS企业级分布式存储系统用户界面

  XGFS元数据服务的架构具有如下优势:

  基于最新一代NVMe/SCM存储介质设计,充分发挥出新兴介质近百万级IOPS和数GB带宽的性能优势,轻松满足对于文件系统的高频率元数据访问需求;

  利用高性能LSM存储引擎,结合XSKY独有专利技术的键值设计,构建出完全自主的元数据服务;既兼容POSIX文件语义和S3对象语义,又支持用户/用户组、权限/ACL、扩展属性等;

  元数据在本节点的日志保护和节点间的强一致性复制,使得元数据集群轻松应对慢盘、网络异常、节点重启/掉电等故障场景,提供RPO=0的元数据通路;

  使用XSKY自研的高速网络传输模块,原生为RoCE/RDMA高性能网络量身打造,大大降低节点间元数据复制包的传输时延,使得整个元数据集群拥有更高的IOPS性能。

  XGFS分布式文件存储系统由元数据服务集群和混合盘数据服务共同组成,使得该产品继承了XSKY多年在分布式混合盘上的深厚积累以及大规模存储运维能力:

  多级缓存技术、支持副本与EC纠删码、支持延展集群双活、硬盘和网络亚健康处理等,成熟稳定,特性丰富且运维简单。

  03产品特点

  1、全局命名空间

  单一命名空间:提供统一持续高性能的文件单一全局命名空间,使用简单;

  丰富的协议支持:支持NFS, SMB, POSIX, FTP, HDFS,Kubernetes CSI等协议, 简化业务IT架构的同时解除对业务的锁定;

  新兴业务场景支持:支持HPC、大数据和容器等新兴负载。


  2、灵活扩展

  软件定义,可自定义节点属性,并支持各种品牌的通用x86服务器和国产服务器;

  灵活部署,可从3个节点扩展到4096个节点,满足不同业务需求;

  按需扩展,性能和容量随节点数增加而增长,满足不断增长的业务对性能和容量的需求。


  3、丰富的企业级功能

  数据冗余:支持多副本和EC不同冗余策略,提供基于服务器、机架、数据中心的三个级别故障域管理。支持快照保护;

  支持文件网关负载均衡和HA保护,支持AD域、LDAP域对接,本地认证等多种认证方式。支持配额管理;

  通过内嵌X3DS可以实现文件和对象间的复制、迁移、备份、归档等丰富的数据管理功能,并且支持阿里云和百度云等公有云平台。

  04典型应用场景

  XGFS可以作为企业级分布式文件系统,支持丰富的大容量非结构化数据保存和分析场景:

  1、文件共享、企业办公存储

  单一全局命名空间,使用简单。支持文件共享、网盘、FTP等办公场景。

  2、视频监控、流媒体、CDN存储

  横向扩展,滚动升级,数据永久保存。

  3、大数据、HPC后端存储

  兼容HDFS, 高效文件元数据处理机制,灵活应对AI/ML数据分析要求。

  4、容器共享存储

  支持Kubernetes CSI接口,支持多个PODs共享数据。

  5、集中灾备资源池

  利用X3DS(XSKY立体数据管理系统)和ODPF(开放数据保护框架),可以作为大容量的共享灾备资源池。

  6、企业数据湖底座

  支持Hadoop存算分离部署,接口协议丰富,可以扩展到上千节点。

  XSKY XGFS充分利用SDS优势,适配最新的NVMe SSD新技术,支持最新的HDFS和Kubernetes CSI协议,性价比高,无需在性能和容量之间做出妥协,是企业的数据湖建设的理想底座。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
百度智慧医疗合作伙伴计划发布,共同构建AI+医疗繁荣生态
百度正在加速采用领先的AI技术帮助医疗行业实现智能化升级。8月15日,百度智慧医疗合作伙伴沙龙在青...
日期:08-17
CITE 2020,TCL智慧柔风空调打破传统固有认知,展现智慧科技魅力
8月14日,国内首屈一指的电子信息产业展会——第八届中国电子信息博览会(即CITE2020)在深...
日期:08-17
亚信科技喜获2020年国际智能运维(AIOps)挑战赛全国亚军
2020年8月15日,由中国计算机学会主办,清华大学、中国移动、中山大学承办的第三届国际智能运维(AIO...
日期:08-17
最快的AI遇上婉约的江南会擦出什么火花?华为2020全球智博会全回顾!
8月14日-16日,第三届全球人工智能产品应用博览会(AIExpo2020)在苏州国际博览中心举行。本届智博会...
日期:08-17
面对美国制裁,中国企业要敢于斗争
从中兴到华为,从Tiktok到微信,美国特朗普政府对中国企业采取的是一种赶尽杀绝的手段。这种极端敌...
日期:08-17
有线耳机?realme Buds 经典版将于 8 月 18 日在印度发布
8月17日消息 上个月,realme 印度公司 CEO 透露,该公司计划 8 月份在市场上推出新的耳机。据外媒 G...
日期:08-17
PS5绝配!索尼自曝:新一代PS VR正在开发中
尽管索尼已经公布两款PS5主机(数字和光驱版)以及一大波配件(DualSense手柄、摄像头、头戴耳机等),...
日期:08-17
三星计划将部分智能手机生产线转移到印度,五年创造价值超 400 亿美元
8月17日消息 据外媒 ET Telecom 今日报道,知情人士透露称,三星计划将其智能手机生产线的关键部分...
日期:08-17
无人配送机器人市场规模可替代人工成本 即将迎来普及时代
近日,36氪创投研究院发布《2020年无人配送领域研究报告》,其中称,疫情之下,无人配送承载着众人...
日期:08-17
Mate 50有戏 华为确认:正打造同时支持全屏指纹和屏下摄像头技术的手机
  据外媒报道,华为技术人员在于AA的交流中确认,...
日期:08-17
性能暴涨3倍!IBM Power10处理器宣布:首次7nm、至少30核心
上代产品诞生了长达三年之后,蓝色巨人IBM今天正式宣布了新一代的Power10,专为满足企业级混合云计...
日期:08-17
传闻华为Mate 40系列将使用全新液体相机技术
华为 Mate 40 系列将是今年值得期待的旗舰机型,近日一位爆料者透露,即将推出的 Mate 40 将采用华...
日期:08-17
联想拯救者 R7000P 高配版来了,8 月 25 日开售
8 月 17 日消息 刚刚,联想拯救者发布预告,新品 “115W”游戏本将于 8 月 25 日开售。很...
日期:08-17
一加手机图库新增支持编辑 4K/60FPS 视频
8月17日消息 OnePlus一加图库App已经进行了更新,版本号升级到了3.12.28版本,本次更新引入了两个重...
日期:08-17
【旅游企业必看】360旅游行业助力计划来了!
内容提要:
  旅游行业复苏进行时,360智慧商业祭出助力双响炮,发起360奇游计划与原产地计...
日期:08-17
热烈庆祝炬芯科技股份有限公司成立
炬芯科技官方消息宣布,于2020 年 8 月,炬芯(珠海)科技有限公司正式更名为:炬芯科技股份有限公司...
日期:08-17
骁龙730G迎来升级版:将于9月推出 不支持5G
近年来,高通在中高端手机芯片中一直处于主导地位。但随着联发科推出的几款畅销5G芯片,其市场份额...
日期:08-17
融合互联 数智建造——用友建筑助力建企数智化成功
8月15日,由用友举办的2020商业创新大会·东部峰会在苏州太湖国际会议中心隆重召开。来自建筑...
日期:08-17
云知声-上海师范大学自然人机交互联合实验室获 Blizzard Challenge 2020 国际语音合成大赛第一名
Blizzard Challenge 2020 国际语音合成大赛刚刚落下帷幕。由云知声-上海师范大学自然人机交互联合实...
日期:08-17
中国广电与高通成功完成全球首次 700MHz 频段 5G 数据呼叫
今天,中国广播电视网络有限公司(简称中国广电)与高通宣布,双方成功完成全球首次 700MHz(n28 频段)...
日期:08-17
  专栏介绍
爱萌妮儿 的专栏
爱萌妮儿发表的文章
积分:
自我介绍 :