您的位置:首页>>业界动态

36氪深度文:陌陌、Soul、Uki……用户内容风控测评

发布时间:2019-09-27 17:02:42  来源:36氪 吴怼怼   背景:

  早年,Facebook曾联合部分知名高校的学者做过一项研究:以689003名用户的好友动态信息流作为研究样本,通过修改信息分发的算法,人为区分出消极情绪偏向或积极情绪偏向的内容,强方向性地给研究样本中的用户进行曝光。

  研究结果表明,获取更多消极倾诉偏向的用户,在发布动态等行为上也更偏向消极情绪,反之亦然。有的研究者把这种现象称之为“情绪蔓延”,简而言之,在社交媒体上你给人们曝光什么,人们的心智也会随之发生改变。

  由此可见,社交媒体的影响力早已超出普罗大众的普遍认识,这些基于社会化网络的内容生产与交换平台早已在经意或不经意间给我们带来了深远的影响。

  著名的《连线》杂志创始主编凯文·凯利在其成名作《失控》中曾表明一个犀利的观点,他认为人类历史曾经发生四次认知颠覆,其中就包含了来自弗洛伊德的研究理论:我们的意志不是一个独立的个体,它其实是多股意见和不同意识的综合体,实际上我们连自己的意识都不能完全主宰。

  所以也不难理解,为什么全球范围内的社交媒体在内容管控上都在走向强干预。在信息爆炸的今天,如果社交媒体的内容走向过度倾向负面,那么集体意识走向失控的风险就会无比放大。

  不同媒介的机器辅助审核

  随着市场与行业的升级,社交媒体中信息传播的媒介与形式呈现了多样化、创新性的发展趋势。视频、音频媒介的广泛流行给内容审核工作带来了新的挑战,直播、去中心化的UGC内容相对以热门推荐算法主导的资讯流又有更高的即时性要求。

  不过,得益于人工智能及算法技术近年来的迅猛发展,利用机器,互联网行业已经发展出基于不同媒介维度的辅助解决方案。

  文本内容:最基础的处理工作是匹配词库进行分类处理,现有的词库按风险严重程度可以划分为涉政词与敏感词两大分类。尤其可能涉及政治违规的关键词需要严格进行处理,而敏感词中除了明确公众普遍不可接受的词汇外还有大量在不同场景下有不同语义的敏感词,如果完全统一处理就很容易给用户带来体验损害。

  举个例子,“约”一词就需要根据其实际的词汇组合以及语境来进行判断,“明天去看电影,约吗?”就不是需要处罚的语句。在此基础上就衍生出利于上下文内容判定语义的语义分析,以及根据聚类分析判断与垃圾文本的相似性的结果判定。

  图片内容:机器对图片类型的内容审核,其底层是图片识别的技术应用。所有的物品图像都有它的图形特征,图片识别则可以以其基础特征为基础进行判断。以足球为例,其球状圆形球形以及遍布五边形的图案就构成了其基础特征,图片识别通过算法提取图像的特征值,计算特征值的相似度匹配物品图像原型。

  以此为基础逻辑,图片内容的各个场景得以被辨识并应用到内容审核中,比如下图以网易易盾的图片检测的产品介绍为例示意其应用场景。

  (网易易盾的图片识别应用场景)

  音频内容:音频内容审查包括音频与视频两个类型媒介的内容提取。音频识别的技术基础建立在以声学模型建立的发音模版,通过匹配发音模版判断出语种和对应表义,输出可被计算机理解的语言结果。

  在内容审核应用上,一种通用方法是将语音识别为文本信息后复用文本内容的判断模型。在语音识别中,面临音频背景音嘈杂的场景还需要进行降噪,而多音轨发音场景下要实现准确识别也是一大难题。

  视频内容:视频动画的实现终究是基于画面帧的连续播放,故对于视频画面内容的处理,目前通用的解决方案是截取画面帧进行识别,最终复用的是图片识别模型判断涉黄、暴力、血腥等违禁内容。一个仅仅几分钟视频所拥有的图片帧数量极多,其中截帧的频次越高,数量越多,该视频出现违禁内容的风险越小。

  可见,以上几种不同媒介的机器审核目前于业界已经有基础方案。但实际应用可是复杂多样,机器审核无法完全解决诸如多音轨语音、完整图案干扰、文本植入变异敏感词、视频“闪现”违禁内容等场景的问题,其终究起到的是辅助审核的作用。根本逻辑即是通过机器审核剔除明确违规的内容,剩下的内容最终交由人工审核判定分发。

  UGC内容风控设计

  与热门推荐算法导向的“资讯”、“内容”向产品不同,微信、QQ及一众新兴社交软件的UGC动态内容生产高并发,用户体验有更高的时效性需求,如何把握用户体验和内容审查就成为其风控的一大要点。以下选取QQ、陌陌、Soul、Uki四款社交软件,以色情维度的信息为例,测评其在内容风控上的产品设计。

  发布动态

  在动态社区中,“聊骚”这样一个敏感词的判定标准上,4款软件有不同的定义。除了Soul已然将其判定为不可发布与传播的内容外,其他三者均能进行发布分发。而在非文本媒介上,行业标杆QQ与Soul已实现较为完善的内容风控,尤其Soul在发布明显可判定为“色情”的图片、音频、视频内容后,其发布账号会在内容审核后直接被采取封号处罚。

  而Uki与陌陌在动态社区的内容风控上显然有所不足,两者的图片内容发布也会先经过机器审核,在图片识别为违规内容会阻断发布直接删除内容。但实测中在Uki发布一段娇喘音频会先分发到社区,在获得8分钟时间的分发经人工审核后方被通知内容违规进行删除,其审查逻辑是审查即时性的“先发后审”。

  而实测中的陌陌对音频、视频的审查最为宽松,自期违规音频、视频内容发布后的数个小时后,其违规音频、视频内容都未进行删除处理,甚至可通过其小程序进行分享。

  (陌陌通过其K歌功能发布音频内容)

  (陌陌的违规视频动态自发布后数小时内无任何处理)

  经以上实测,目前正进行整改的Soul在内容审查上的判定标准与惩处力度最为严厉,4款社交软件中在动态社区中达到了4种媒介的完善审查机制的仅为QQ与Soul。UGC内容行业要升级审查机制,绕不过真正“先审后发”的实现途径,尤其陌陌与Uki因为审查不严所带来的内容审查风险就极易失控。

  价值观仍然是一根金线

  上文之所以一直强调机器审核的辅助定位和“先审后发”的重要性,究其根本是因为如果在缺乏强有力的人工审核主导作用下,就无法实现内容全面风控,陌陌与Uki的实测案例就应该印证了这一点。

  不同的敏感内容基于表达主旨有不同的表义,以“聊骚”这一敏感词内容为例,所涉及内容在社区网站是否视为违禁,取决于网站运营者基于自身价值观导向所制定网站规准。又例如当用户在社区中发表对美丽向往又不裸露的“性感”内容时,如果单凭机器思维统一以违禁方式进行处理,那么对用户体验而已无异为一场灾难。

  在这种场景下,唯有运营者依据制定出合理且大众公认的性暗示程度标尺进行判定,才能达到用户体验和内容安全的和谐平衡。

  人工强干预除了保障内容全面风控,其另一重要工作就是引导内容社区的价值观走向。在新时代环境下,网站开发者思考如何遵循政策倡导迭代产品尤为关键。以部分网站中推行的青少年模式为例,就是近年来创新地将产品功能设计与内容运营相结合的成功案例。

  经过近年来网信办领导下的一系列整顿后,尤其短视频领域内众多社交媒体内部已建立坚实的内容审核编辑责任制,组织架构上突出“人”在内容风控上的主导地位,如“快手”、“抖音”等社区的内容调性和审核标尺的进步最为直观。

  但仍有部分已建立内容审核编辑责任制却落地不到位,拥有较多资源却又在新媒介内容审核上技术投入不足,以致内容审查机制松懈的网站就需要继续努力,肩负起更多的社会责任。仁以为己任,不亦重乎?

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:36氪

本文评论
二手市场哪款国产手机最受宠?转转Q2畅销榜:小米8登顶
2020年后,手机厂商迅速发力5G市场,华米OV全面进入存量市场之争。
日期:07-09
Zoom 要小心了:微软开始发力视频会议市场
每家科技巨头都有自己的核心竞争力。谷歌是 2C 全套互联网服务,Facebook 是社交矩阵,苹果是软硬件...
日期:07-09
开会员赢好礼,葫芦视频上线年中活动,当贝投影免费领!
要说智能电视上什么软件看影视剧好用,除了热门的bat软件外,葫芦视频的下载量也非常高。葫芦视频涵盖...
日期:07-09
台积电 ADR 大涨创历史新高,市值逾 3000 亿美元
7 月 9 日消息,据台湾媒体报道,受投资者看好,台积电 ADR(美国存托凭证)大涨,创下历史新高。
日期:07-09
2020世界人工智能大会线上开幕,苏宁“AI+零售”再成热议焦点
自动驾驶、未来医疗、人机对话、AIoT生态建设等30+主题论坛,7位图灵奖得主、37位院士、150+参展企...
日期:07-09
2020 年上半年我国发明专利授权榜出炉:华为、OPPO、京东方排名前三
7 月 9 日消息 国家知识产权局发布的知识产权数据显示,2020 年上半年,国内 (不含港澳台)发明专利...
日期:07-09
引领地铁客户服务全面升级 科大讯飞智能云站务员获得乘客肯定
近日,由科大讯飞和中软万维联手打造的新型虚拟智能云站务员,在山东青岛地铁2号线台东站正式上岗,...
日期:07-09
十代酷睿高性能熱機參見!Acer暗影騎士·擎上手評測
就在上個月英特爾發布了全新的第十代酷睿高性能版處理器,此次推出的使用英特爾Thermal Velocity Bo...
日期:07-09
苹果 iOS 14 新增实时耳机音频音量监测功能
7月9日消息 苹果去年在 iOS 13 上增加了音频音量监控功能,以防止用户长时间佩戴耳机接触高音量的声...
日期:07-09
创通联达发布TurboX C610/C410 SOM和Open Kit 助力智能视觉场景化应用
2020年7月7日, Qualcomm Technologies, Inc.发布Qualcomm®视觉智能平台的全新系统级芯片(SoC)&m...
日期:07-09
Android 11 将允许用户设置特定的 Wi-Fi 不自动连接
7月9日消息 据外媒 Androidpolice 报道,Android 11 在 Wi-Fi 网络的设置面板中新增了一个名为 &ldq...
日期:07-09
联想发布两款 ThinkStation 微型主机:十代酷睿、容积仅 1L
7月9日消息 联想昨日推出了两款微型主机:ThinkStation P340 Tiny 和 ThinkStation P340 SFF,相比...
日期:07-09
英伟达 CEO 黄仁勋身价接近 100 亿美元
7 月 9 日消息,据国外媒体报道,英伟达的市值在周三超过了英特尔,成为了美国市值最高的芯片公司,...
日期:07-09
PLANAR顶级98吋电视国美全球首销 大屏风暴席卷中国
​7月9日,美国顶级品牌PLANAR在国美零售全渠道开启全球首销,国美南京新街口店、国美北京大中家电生...
日期:07-09
科创板又迎优质企业 中科星图成功上市
科创板又迎一家硬核高科技企业。7月8日,中科曙光参股子公司中科星图股份有限公司(下称“中科...
日期:07-09
不送充电器的iPhone12:可能更好卖了
距离iPhone12系列发布还有不到3个月的时间(如果苹果不鸽的话),关于新机的爆料似乎已经被各大媒体、...
日期:07-09
腾讯宣布进军 AI 新药研发:助力攻克无药可治的疾病
7月9日消息 据有关统计:传统药物研发耗时耗力,一般需要超过 15 年,耗资 30 多亿美元,但每年上市...
日期:07-09
全球 Q1 智能手机应用处理器收益排名:高通、华为海思、苹果、三星、联发科
7月9日消息 Strategy Analytics 最新发布的研究报告显示,尽管在疫情期间,2020 年 Q1 全球智能手机...
日期:07-09
干货!支付宝金融级IT架构及分布式架构的应用实践
导语:​过去几年是云原生理念高速普及的黄金时期。微服务、容器、无服务器架构、服务网格等新技术...
日期:07-09
权威报告发布:29%机构面临倒闭!6月还有机会逆袭吗?
近期,中国民办教育协会发布的《疫情期间培训教育行业状况的调研报告》显示,调查的1459家教育机构...
日期:07-09
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :