您的位置:首页>>电子商务

阿里数据猿:双十一每秒计算量将超千万条

发布时间:2014-11-06 17:02:09  来源:ITBEAR    背景:

  又到了收货的季节。深秋与初冬交接,刚刚酝酿完一年情绪的女人们,带着满脸的期待,血液的温度开始上扬,微微张开的毛孔,配上快递员呼啸而过留下的微风,这滋味,刚刚好。对于辛勤劳作的人们来说,这也正是一年中享受这个时代宝贵馈赠的时刻——双十一!

  对于双十一,关注它火爆的人太多。且听阿里数据猿来谈谈,双十一背后的大数据,是如何快速运转和保证数据质量不出错的。

  一笔交易数据检查70余次

  相信有不少人认为,自己能产生数据,却不明白数据是如何为自己服务的。其实,你的每一步操作,都需要靠数据来保障。假如你是一个美国用户,刚刚看上一件库存只剩一件的衣服,你赶忙下单并付好款。如果此时,正好国际间网络突然出现了闪断,你“已付款”这个状态的数据并没有从支付宝传输到淘宝的系统中来。那么,在网页上,就有可能依然是“等待付款”状态。

  为了让大家避免遇到类似状况,保障购物体验“如丝般顺滑”,阿里特别推出了一项秘密武器,对线上每笔交易进行实时检测。一旦发现数据出现问题,就会立即报警并且提交给相关技术人员处理。每笔交易,都要对其中的相关数据检查超过70次。

  秒至毫秒级别实时计算

  去年双十一,几百媒体围着一块4500公斤的大屏欢呼。那里面实时展示的数据,正是基于我们的实时计算而来。Galaxy,是阿里自研的通用增量计算平台,能提供秒级别甚至毫秒级别延迟的实时数据计算能力。

  Galaxy解决了计算通用性、开发成本、数据质量等诸多难题,并提供可扩展、规模化的集群服务能力。相对于传统的批量计算模型MapReduce,Galaxy提出了通用增量计算框架,在此之上提供算子层和SQL语法,大大降低了用户门槛和开发运维成本。

  而实时计算的运用场景,可不只是为了做个大屏让大家热闹一下。它的服务对象已经覆盖内部包括淘宝、天猫、聚划算、无线、搜索、广告、数据产品、菜鸟、安全、阿里云等多个BU或业务线,为广告、内容投放、数据魔方等产品或应用提供实时计算服务。你刚刚看完口罩,马上就能看到广告位上出现的空气净化器,正是实时计算的一项应用。

  宕机也不怕丢数据

  正如上述案例中,如果出现数据丢失,对于用户来说将会是一次非常糟糕的体验。在阿里内部,保障数据质量,也是所有产品和系统应用的前提条件。实时计算系统,也是如此。

  在数据准确性和有状态计算方面,Galaxy提供了高可靠的容错机制,确保任意场景下的“不多不少”的精确语义;在内存快照与容错机制配合下有效解决了有状态计算依赖全局存储带来的吞吐下降的问题。

  在这套机制下,哪怕出现了计算的服务器宕机,galaxy还是能从之前的数据流中找回丢失的数据,“妈妈再也不用担心宕机会丢数据了!”

  千万条数据计算仅需1

  大数据需要在应用中发挥出价值,考验的是海量数据的处理能力。需要指出的是,随着时间的推移,大部分数据的价值越来越低。实时计算的出现,正是极速加快了数据闭环的周期,让数据更值钱。

  目前, galaxy每秒可计算数据已达500万条,每日处理的记录数超过2500亿,日处理数据量近2PB。预计今年双十一,Galaxy的计算量每秒将超过1000万,日处理消息数将超过1万亿条

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:ITBEAR

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
苏宁双十一启动在即,携手格力打造爆款空调
双十一启动在即,家电历来是“兵家必争之地”。早在9月17日,苏宁家电就启动了合作伙伴大...
日期:10-15
销量国内领先,天猫精灵走向时尚前沿
日前,知名市场研究机构Analysys发布报告,首次公布了2019年中国智能音箱厂商实力矩阵图,从现有资...
日期:10-11
七成用户的选择!京东11.11打响5G爆发头阵
伴随着各大品牌的5G手机不断问世,与5G相关的套餐相应地成为用户关注的焦点。截至目前,中国移动、...
日期:10-11
聚划算发布全网最低价65寸电视电视产业联盟一年卖300万台
一台具备AI智能、4K超高清的65英寸智能电视最低可以售价多少?阿里巴巴旗下聚划算给出了终极答案。聚...
日期:10-10
SamMobile:Galaxy S10 Android 10 beta将于今日在德国推出
10月10日消息 据SamMobile消息,三星客服部门昨日透露称,基于Android 10 的OneUI 2测试版将于今日...
日期:10-10
直播带货日销售3000单!苏宁“双十”拼购节自热火锅9.9元起
要说现在的直播电商有多火爆,看看李佳琦就知道了。
日期:10-10
1元买一整个红心柚?苏宁双十拼购节倒计时!
九月、十月是柚子成熟的季节,作为应季水果,柚子不仅清新可口,而且营养丰富,尤其是红心柚,很多...
日期:10-10
全渠道优势明显,国产主流品牌5G手机京东扎堆首发
国庆黄金周假期已经过去,相信很多朋友都过了一个充实的小长假。而如今人们无论游玩度假,还是宅在...
日期:10-09
京东iPhone系列国庆战报:销售额同比增长110%
伴随着十一假期的结束,2019年最后一个法定节假日也告于尾声。在国庆期间,有人选择出行看世界,也...
日期:10-09
十荟团红人说 宝妈创业路从十荟团启航
这期的团长来自惠州,大家都叫她阿元 ,别看她戴着一副眼镜,说起话来很温柔,但是天知道她有多能干...
日期:10-04
美团门票“一年三连跳”十一期间单日入园人次破360万,“闪入园”功能提升旅游消费便利度
每年的十一黄金周都是旅游消费需求集中爆发的时间。随着经济增长和消费升级,旅游越来越成为人们的...
日期:10-04
快递小哥亮相长安街接受检阅 刷屏还得看这家企业
2019年10月1日上午,为了庆祝新中国成立70周年,在天安门广场举行了盛大的阅兵式和人民群众游行。和...
日期:10-04
快递小哥现身国庆70周年庆典 这家企业的表现可圈可点
在刚刚过去的庆祝新中国成立70周年群众游行活动,有一个游行方阵尤其引人注目,它就是由快递小哥、...
日期:10-04
国人网上订酒店首选美团!国庆黄金周美团预订“必住榜”酒店上涨37%
对于国人来说,旅游消费日益成为日常生活“刚需”。这个十一小长假,大家都去了哪里、都...
日期:10-03
助力甘泉蜜橘走进千万家庭 十荟团精准助农在行动
近日,由巴州区人民政府、巴州区商务局主办,巴州赶街网电子商务有限公司承办的“电商精准扶贫...
日期:10-02
2019中国•库伦首届梦想机车盛会启幕 京东汽车大营诠释“男人浪漫”
精彩的飞跃,炫酷的漂移,摇滚金属的碰撞,烟火灯光的夜空….. 在举国欢庆新中国成立70周年之...
日期:10-02
以淘集集为代表的社交电商,带来农村扶贫新模式
在国家“乡村振兴”战略一系列扶持政策出台后,农村也因此成为电商的重要阵地,电商企业...
日期:09-29
苏宁红孩子、合生元重磅发售益生菌滴剂新品
9月28日,继年初苏宁红孩子与健合达成战略合作协议后,双方于南京徐庄苏宁易购广场举办合生元(健合)...
日期:09-29
联想电脑、华为P30免费拿? “百度国潮季”免费国货抢疯了
国庆假期即将到来,不论你有人陪伴、走遍大好河山看人山人海;还是孤身宅家、平板游戏为伴,在这个有...
日期:09-27
国美干衣机销量同比提升80% 推免费清洗服务
​2019年中国洗衣市场增长稳定。中怡康推总数据显示,2019年1-8月,中国洗衣机市场整体规模为销量2305...
日期:09-27
  专栏介绍
默言 的专栏
默言发表的文章
积分:
自我介绍 :