您的位置:首页>>业界动态

赋能行业数智升级,联通大数据科技优势凸显

发布时间:2019-07-02 15:09:02  来源:互联网    背景:

  随着互联网+、人工智能、云计算等新技术不断涌现与成熟,大数据与各行业深度融合,引发了各种变革。搜索引擎服务、电子商务、社交网络、在线音视频、地理信息服务等互联网应用产生了海量数据,企业如何从海量数据中发掘有价值的数据,将数据标准化、平台化、智能化、产品化,最终帮助企业进行正确决策,成为企业大数据落地的重点和难点。

  “在合法合规的前提下,从海量数据中高效的提取数据的应用价值,是大数据落地的关键所在。如果数据量很大,但是无法提取出价值,反而是一种负担。”联通大数据有限公司数据科学总监陈博表示。“从落地的角度看,我觉得大数据需要与各行业深度融合。同样的数据可以用于不同的行业,而如何从数据中形成适合某个行业的应用价值,需要对数据的价值维度与行业的应用场景都有非常深入的认知。”陈博补充说。

  集中运维管理,保障应用基础

  作为通信运营商,中国联通早在2010年,就提出了数据大集中策略;2012年,开始组建全国数据中心,涵盖全国所有省份实现了全网数据的统一集中汇聚与管理。目前,联通大数据公司每天的新增数据量达到150TB以上。

  为了能高效的处理如此海量的数据,联通大数据目前拥有数千节点的集群,每天要运行10万个以上的处理任务。运维如此大规模数据集群,在业界也是不多见的,对于联通大数据来说,并没有太多可以直接借鉴的外部经验,靠的就是自身建立的一支高效的集群运维管理团队,进行长期24小时不间断的监护、优化。在过去一年中,在日增数据量翻倍、集群资源几乎没有扩容的情况下,通过从集群文件碎片、冗余数据库表、RPC任务管理等多方面的持续优化,使集群的整体资源负载反而下降了近30%,从而为上层大数据应用提供了坚实的基础算力保障。

  同时,联通大数据对所有数据业务的开展都是以完全合法、合规为首要前提,内部有着非常严格的安全管理和监控机制,坚持“敏感数据不出门”的原则;对外数据产品与服务更多是基于区域性、群体性的统计分析以及模型加工产生的标签数据,并且任何数据结果的输出都需要经过内部安全网关的层层严格审核,从而为上层大数据应用提供了可靠的安全合规保障。

  在此过程中,联通大数据在大规模数据集群运维、海量数据资产管理方面积累了大量的实践经验,逐步总结形成了一整套完善的运维管理机制,在6月初的大数据产业峰会上获得了“2019年星河奖——最佳数据资产管理实践奖”。

  构建数智能力,释放应用价值

  面对日增上百TB、总量近百PB的海量数据,如何实现大数据的应用价值,陈博认为“大数据企业首先需要对于自身数据的核心价值维度有明确的认识,进而才能清楚如何建立自身的数据能力体系去释放数据的应用价值“。围绕自身的运营商大数据,联通大数据则定义了行为兴趣、位置时序、关系图谱3大数据价值维度,并相应的构建了3大类数智平台能力体系,这背后则用到了诸多NLP、搜索引擎、时空序列、图计算等关键技术。

  而在数智平台的每一项能力的构建与应用中,联通大数据的各种数据架构、数据模型、数据算法需要面对的都是PB级的海量数据,既需要考虑算法模型的准确度、有效性,更需要保证在大规模数据上的可用性、稳定性以及运行效率。典型的例如,从万亿级的信令大数据中通过快速排序、迭代进行基站位置工参纠偏;从万亿级位置时序数据中准实时的进行区域、时段关联检索,进而实现线上线下融合洞察推荐;从几亿号卡对应的万亿级信令中发现群体聚合,进而进行黑灰产风险号卡识别;从十亿级顶点、数百亿关系边的图谱中,进行N度关联群体发掘,进而辅助用于企业经营位置识别等等。这些能力的构建、应用的实现,凭借的则是自身组建的一支涵盖数据分析、数据建模、AI应用等多方面能力的高素质、高效能的数据科学团队。

  通过这3大类数智平台能力的组合,支撑了上层的广告、风控、洞察、舆情等标准产品,以及金融、政务、文旅、公安等各类行业应用,已经形成了丰富的大数据智能应用案例与落地成果,实现了“大数据”到“大价值”的转化。

  汇聚能力资源,赋能行业升级

  联通大数据已经构建了强大的数据连接、运维、治理、分析、应用、服务能力,构成了作为一家大数据科技企业快速发展的动力引擎。而在此之上,我们更希望通过开放合作,与各行业伙伴共同成长。

  一方面,我们将自身在集群运维、数据治理、模型构建方面多年的运营实践经验,梳理为模式化、流程化、产品化的大数据平台建设方案进行能力输出,已经帮助政府、电力、银行、教育、旅游、邮政等多个行业的合作伙伴搭建了自有的大数据平台、应用系统,赋能行业合作伙伴快速构建大数据应用基础。

  另一方面,联通大数据基于自有资源,推出了面向外部合作伙伴的能力开放平台,以多租户的形式为每个合作方提供“算力+数据+服务”的脱敏、安全、个性化的开发训练环境;合作方开发完的模型、应用,经过安全测试后即可封装部署在联通数智平台上,通过安全网关形成能力输出,赋能行业合作伙伴构建丰富的大数据应用能力。

  面向5G未来,数智赋能生长

  谈到未来的发展方向,陈博表示,5G时代将至,未来连接的增长将不再主要是个人通信领域,而更多是物与物之间的连接,连接数量将会达到数百亿、上千亿的量级,涉及的领域也将覆盖智能穿戴、智能家居、工业监控、自动驾驶等各个行业、领域。未来5G时代的大数据,无论在数据量级、时间/空间密度,还是价值维度上都将会有从量到质的增长变化,但这将是一个逐渐发展的过程。因此,联通大数据将紧密跟随5G发展步伐,关注各个行业发展态势,秉持“开放生态,合作共赢”的理念,携手行业合作伙伴,挖掘行业的应用价值,继续以“大数据+AI”的数智能力赋能未来行业生长。

  嘉宾介绍:

  陈博,博士后,联通大数据有限公司数据科学团队负责人,主要负责大数据分析挖掘、机器学习建模、人工智能应用方向的研发工作。陈博于2008年毕业于北京邮电大学,获得工学博士学位,主要研究方向为机器学习、自然语言处理、信息检索;毕业后曾先后就职于NEC中国研究院、中国联通集团总部技术部。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的认知。
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙坎火锅店正式接入付呗
如果是人生中有什么坎过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携手尖端科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今日宣布将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019北京网络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先的云计算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线守护》深度解读
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在北京举办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系列配置曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,露脸居然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷纷从幕后走到前台露脸,用真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :