信息无障碍通道
您的位置:首页>>互联网

提速14400倍!百度推荐引擎及背后大数据架构揭秘

发布时间:2012-12-28  来源:互联网    背景: 无障碍通道

  百度爱好者(Baiduer.com.cn)消息 在互联网世界中,什么技术代表着人工智能被广泛应用的未来?2012年12月22日,在以“推荐系统实战”为主题的百度技术沙龙上,百度推荐与个性化部高级工程师们与来自亚马逊、豆瓣网、清华大学等单位的技术专家们齐聚一堂,热烈探讨了个性化推荐领域的技术创新和实战案例。

2012-12-28-11-58

 

  图:百度技术沙龙现场

  内容推荐系统:互联网人工智能的潮流代表

  目前主流的搜索引擎技术已经能够较好地满足用户的主动表达的精确需求,而在挖掘并满足用户的潜在需求方面,则需要通过构建“推荐系统”来实现。实际上,随着亚马逊商品推荐、last.fm、Netflix、Pandora、百度推荐产品家族(百度视频随心看、百度音乐随心听、百度新闻新版客户端等)、豆瓣电台、优酷视频猜你喜欢等内容推荐系统的兴起,在全球互联网市场,推荐系统已经成为炙手可热的潮流新应用,代表着互联网智能化的发展方向。

  然而,建立大型内容推荐系统并不是一件轻松的事情。在系统的服务能力、算法的更新周期、交互和反馈的实时性方面,大型推荐系统都遭遇到一些独特而有趣的挑战。

  当“大数据”遭遇“实时性”

  鉴于推荐系统对提高用户体验的显著作用,各家主要互联网公司都投入巨资进行研究开发。伴随着推荐系统的“军备竞赛”,一些几年之前难以想象的怪兽级大型推荐系统被开发出来。这些系统具有庞大的规模,通常需要服务上千万的活跃用户、积累了PB级别海量用户数据。如何将海量的用户数据应用到实时的用户交互中去以提高用户体验,成为了一个技术难题。

  百度的工程师们分享了自身在Vortex流式计算系统和LISA实时索引架构上进行推荐系统开发的经验。通过工程上的努力,推荐系统的更新周期从20小时缩短到5秒钟,提速14400倍,由此用户的转化率提高了3倍。

  思路创新: 从推荐“系统”到可复用的推荐“引擎”

  许多主流互联网公司的推荐算法的更新周期从1个月到3个月不等,相对于搜索技术稳定的算法框架,推荐系统具有明显的算法寿命缩短的迹象。其根本的原因在于推荐系统并不是基于相对静态的内容数据,而是依赖动态的用户内容互动来进行算法预测。不断变化的用户状态和统计分布,导致不存在一种一统天下的推荐算法“银弹”。这种动态的特性将对推荐系统的灵活性和成本控制的要求提高到了前所未有的高度。

  针对这个问题,百度给出了自己的答案:那就是建立跨领域多媒体推荐引擎,同时支持多种内容推荐系统和推荐产品应用的构建,以大幅度节约成本、提升推荐效果。不同的推荐产品和子系统能够复用同一套推荐引擎平台,在用户模型和内容模型上也可以泛化复用。每个推荐的产品都站在“巨人的肩膀”上,最大限度复用数据、算法、系统资源,避免重复发明轮子,同时也一定程度上解决了系统冷启动问题。

  由推荐系统向推荐引擎的变革,不仅可以摊低推荐系统工程成本,还可保障算法快速更新。此外,不同推荐应用共享数据,克服数据稀疏问题;推荐产品功能横向打通,多领域立体满足用户需求。百度基于自身的推荐引擎平台,在很短的时间内实现了电影推荐、资讯推荐、音乐推荐、视频推荐、应用推荐、好友推荐等众多功能,并在运营过程中不断协同升级。

  百度自身应用的典型案例如百度视频随心看(http://suixinkan.baidu.com)。它通过推荐引擎实现了个性化电影推荐,采用了Item项目关联和Ontology本体关联复合技术,点击率高于传统列表页数倍。

2012-12-28-11-59

 

  另外是百度新闻(http://app.news.baidu.com/)。它通过机器学习用户建模和本体关联复合技术,实现了个性化资讯推荐和差异化竞争优势。

  

2012-12-28-11-60

 

  体系创新:构建互联网内容推荐体系生态链

  百度高级架构师现场透露,未来将在百度域内和百度域外同时推进推荐引擎的发展,形成有助于行业发展的良性生态链。

  业内专家表示,百度推荐系统和推荐引擎相关的技术实力是处于世界领先水平的,而百度同时保持了一个开放的心态,向中国互联网业界合作伙伴开放推荐引擎能力,支持国内推荐技术社区发展,是为行业之幸。互联网内容推荐体系生态链的建立将极大推动中国互联网的繁荣发展。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
不一样的智能语音产品,讯飞会议宝S8展现超强转写能力
生活是处处惊喜,这句话一点也不假。初入职场的我一度觉得自己很难适应职场,殊不知,上帝在给我关...
日期:08-13
德意强排,清凉一夏,德意电器暑期放“价”
转眼之间,不平淡的2020年悄然过去了一大半。经历过漫长的梅雨季,今夏的炎热比往常来得更晚一些,进入...
日期:08-13
TWS耳机芯片市场再添竞争力产品炬芯ATS3015
当前的TWS耳机市场非常火爆,不仅传统的音频行业厂商在推TWS耳机,一些知名的消费电子龙头厂商也在...
日期:08-13
解码“三星式创新”:坚守长期主义 打造趋势之王
  “预测未来的最好办法就是将它创造出来!”尼葛洛庞帝在其有“互联网圣...
日期:08-13
数智启航•云起未来——2020百胜软件渠道峰会举行
今年以来,受疫情影响,黑天鹅事件层出不穷,市场瞬息万变,直播、社交电商等新鲜事物不断涌现,面...
日期:08-13
第五代扩音器得胜DA5迷你扩音器集麦克风、功放、扩音器于一体
6月11日,第五代扩音器“得胜DA5迷你扩音器”在国内正式亮相。
日期:08-12
齐向东:内生安全框架要立足解决未来20年网络安全
8月12日,以“并肩应对威胁挑战”为主题的2020中国网络安全年会在网上成功召开。奇安信集...
日期:08-12
速读腾讯财报 Q2收入1148亿元 微信生态促进“内循环”
8月12日晚,腾讯控股(HK,00700)发布2020年二季报,实现营业收入1148.83亿元,同比增长29%,Non-IFRS净利...
日期:08-12
MAXHUB会议平板荣获德国iF设计大奖背后,真正好用的会议平板实力何在?
智能办公时代,企业对于办公设备的要求不再停留在提升办公效率层面,而是延伸出包括产品外观、功能人...
日期:08-12
苏宁818活动什么时候开始?这份购物宝典快快get!
2014年张近东动员京东全体员工,宣布将每年的8月-11月定为公司的“百日大战”,由于天猫双...
日期:08-12
宁畅线下“首秀”携五大机型亮相  诚邀各界伙伴莅临CITE2020展区
8月14日-16日,第八届中国电子信息博览会(CITE2020)将在深圳会展中心举行。宁畅信息产业(北京)有限...
日期:08-12
腾讯教育联合智谷星图、FISCO BCOS开源社区推出全国线上区块链(工科)师资培训课程!
根据拉勾大数据研究院发布的《2020年新基建人才报告》的报告显示,随着更多新基建人才需求被释放,...
日期:08-12
全网剪辑师“拯救喵大大”:投稿原视频赢万兴喵影超级大奖
一场关于“拯救喵大大”的原生视频素材征集行动,正在B站、微博持续发酵。
日期:08-12
京东数科完成转型 助力城市服务
前段时间,京东金融APP悄然上线了一项新功能,那就是京东交通卡。 据了解,此功能是京东金融与华为携手...
日期:08-12
当贝和泰捷盒子对比,配置、系统全方位真实介绍!
随着小米在十周年之际推出OLED大师系列的高端电视,国产电视的上限被提升到了透明电视的级别。科技发...
日期:08-12
专业电视盒子排行榜:高性价比电视盒子推荐
作为一个电视盒子从业者,看到很多人购买电视盒子都会踩坑,买了配置低的体验差的盒子回去用,因此给各...
日期:08-12
解码世纪互联蓝云:从微软背后的“隐形人”到“新基建的云伙伴”
小王是某企业的IT管理员,自从公司使用微软Azure云服务之后,在享受到成本降低、效率提升等诸多优势...
日期:08-12
不玩科技玩情怀!京东热8购物季独家首发尼康Z5
尼康Z5全画幅微单可谓是相机行业今年最受关注的产品之一了。还没开售,就有大批发烧友们放在愿望清...
日期:08-12
引领八月消费热潮 京东“热8购物季”撬动线上电器消费市场
经过多日的爆品秒杀“热身”,8月12日,京东“热8购物季”正式开启,以爱之名...
日期:08-12
黑鲨3S 2020年下半年最值得入手的游戏手机
流火八月,游戏手机市场和这个夏天一样火热,各大游戏手机品牌集中发力,展开了2020年下半年的终极...
日期:08-12
  专栏介绍
即时新闻 的专栏
即时新闻发表的文章
积分:
自我介绍 :