信息无障碍通道
您的位置:首页>>业界动态

深圳晚报:搜索引擎大战聚焦“ROBOTS协议”

发布时间:2012-09-06  来源:互联网    背景: 无障碍通道

  搜索战争不断升级。在这场大站背后,搜索引擎到底是否可以自动抓取用户的资料,让“Robots协议”成为焦点。

  自动抓取用户内容之争

  自某网站推出搜索之日起,一直被业界指责无视在全世界范围内具有极强约束力的“Robots协议”。它不仅未经授权大量抓取百度、google内容……

  简单而言,“robots协议”就是搜索引擎在抓取网站内容时,双方约定的一个规则。其中包括网站是否希望被搜索引擎抓取,希望或不希望被哪些搜索引擎抓取,以及哪些内容不允许被抓取。它有些类似于人类社会的“日内瓦公约”,但在法律上却不具备那样的约束效力。

  “robots.txt”并不是某一个公司制定的。早在上世纪90年代中期就已出现,当时还没有Google。其实,“Robots协议”的起源,是在互联网从业人员的公开邮件组里讨论而诞生的。即便是今天,互联网领域的相关问题也仍在一些专门的邮件组中讨论,并随之产生(主要是在美国)。

  自有搜索引擎之日起,“Robots协议”已是一种目前为止比较有效的方式,用自律维持着网站与搜索引擎之间的平衡,让两者之间的利益不致过度倾斜。

  1994年6月30日,在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后,正式发布了一份行业规范,即“robots协议”。此前,相关人员一直在起草这份文档,并在世界互联网技术邮件组(www-talk@info.cern.ch)中公开讨论。其发布后,这一协议被几乎所有的搜索引擎采用,包括最早的altavista,infoseek,后来的google,bing;而中国的百度,搜搜,搜狗等公司也相继采用并严格遵循。

  协议的约束与垄断无关

  记者翻阅涉及“robots协议”的一些案例,发现它在这些年全世界范围内具有极强的约束力,甚至可以说是网站隐私与安全的一张王牌。事实证明,“robots协议”作为内容站和搜索引擎双方权利对等的一项约定,极大维护了整个互联网生态的平衡和秩序的安定。国内的网站和搜索引擎,即使利益受损也未越雷池一步,表现出了极强的自律和令人尊敬的人文关怀。

  2008年9月8日,淘宝网宣布封杀百度爬虫,百度忍痛遵守爬虫协议。因为一旦破坏协议,用户的隐私和利益就无法得到保障,搜索网站就谈不到人性关怀。

  面对“robots协议”,不仅百度受制,Google也是有苦难言。此前,facebook、NAVER(韩国著名门户和搜索引擎)都对google设置了“robots协议”内容,禁止其抓取。由于google还不像百度有自有内容,所以一直处于被动,令其在韩国始终无法获取大量市场份额。

  在这些事实面前,称“Robots协议”帮助Google和百度这样的垄断搜索引擎“遏制后起的竞争者”的说法不攻自破。人们甚至可以看到,“robots协议”所扮演的,更多是一个有力的反垄断工具。

  北京市汉卓律师事务所首席律师赵虎对媒体表示,“Robots协议”是维护互联网世界隐私安全的重要规则。如果这种规则被破坏,对整个行业就是灭顶之灾。这次3B大战中暴露出综合搜索侵犯用户隐私权的问题,就不应该小视。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
亚洲诚信 CertCloud全球首发,硬核解决SSL/TLS证书管理困局
每一次创新,只为突破前沿技术难题
  每一次迭代优化,只为带来更好的用户体验
  每...
日期:08-13
9700元价格高!外媒调研70%以上人不考虑Surface Duo
8月12日,微软发布Surface Duo,128GB版售价1399.99美元(约合人民币9700元),256GB版售价1499.99...
日期:08-13
三星 Note 20 国行版今日发布:唯一悬念只剩价格
上周,三星正式推出了全新的 GalaxyNote20 系列旗舰等多款硬件产品,而作为安卓阵营的标杆,Note20 ...
日期:08-13
BCS 2020“安全运营中心建设与发展高峰论坛”成功召开
8月12日,BCS 2020安全运营中心建设与发展高峰论坛成功召开。论坛邀请到中国电子信息产业发展研究院...
日期:08-12
BCS 2020举办区块链安全论坛 多方专家共议区块链在垂直行业的应用
8月11日下午,有着网络安全行业“达沃斯”之称的北京网络安全大会(以下简称BCS 2020),正...
日期:08-12
腾讯Q2财报:小程序交易额环比回升 公众号内容消费重焕活力
8月12日,腾讯发布二季报,数据显示,2020年上半年实现收入1148.83亿元,同比增长29%;Non-IFRS净利润301...
日期:08-12
应对联发科强劲需求,芯片测试商京元电子与矽格准备提高产能
8 月 12 日消息,据国外媒体报道,在此前的报道中,外媒曾提到在 5G 智能手机处理器方面有很大进展...
日期:08-12
摩托罗拉新机XT2081-2获FCC认证:配5000mAh电池
据外媒报道,一款型号为XT2081-2的摩托罗拉手机出现在FCC认证网站上。虽然该网站没有透露手机的营销...
日期:08-12
苏宁易购引领未来零售5G发展趋势,终端裂变重塑零售形态
近日,全场景智慧零售服务商苏宁易购与全球化监测和数据分析公司尼尔森联合发布首份零售行业5G应用发...
日期:08-12
台积电 3 家晶圆厂设备供应商 7 月营收同比大增,最高接近 80%
8 月 12 日消息,据国外媒体报道,为苹果等公司代工芯片的台积电,近几年在芯片制程工艺方面走在行...
日期:08-12
京东全资控股五星电器,成立新公司 “京东五星电器集团”
8 月 12 日消息,京东宣布全资控股五星电器,成立新公司拟定名为京东五星电器集团有限公司。
日期:08-12
BCS2020技术峰会:内生安全框架推动网络安全技术体系升级
8月12日,2020北京网络安全大会(BCS 2020)技术峰会正式召开。来自中、美、以等全球顶级的网络安全技...
日期:08-12
消息称三星与 ARM 和 AMD 合作,目标成为第一大 Android 应用处理器制造商
8 月 12 日消息 据 Business Korea 的最新报道,三星的目标是通过与 ARM 和 AMD 合作,成为第一大 A...
日期:08-12
近80% CEO预测远程办公是趋势 BCS2020举行远程办公与智能终端安全论坛
今年年初,突如其来的新冠“黑天鹅”,加速了远程办公的落地,远程办公系统与智能终端安...
日期:08-12
卢伟冰:Redmi K30 Pro因高刷缺席被喷 这次投入2亿重做K30至尊纪念版
作为Redmi的旗舰产品,Redmi K30 Pro因60Hz AMOLED屏成为不少米粉心中的小遗憾。
日期:08-12
Facebook 面临新指控:Instagram 被诉非法收集用户生物识别数据牟利
Facebook 最近又面临一项新的指控,称该公司非法收集用户的生物识别数据。这次诉讼的对象是 Faceboo...
日期:08-12
一加Nord新配色将于10月初推出 还有更便宜版本出售
据外媒消息,一加将于10月初推出一加Nord新配色——尘灰色(Gray Ash)。
日期:08-12
Realme证实C12/C15入门新机即将登陆印度市场 售价或低于10000卢比
在曝光了各种认证信息后不久,Realme 已证实将向印度市场投放 C12 和 C15 入门新机。早些时候,售价...
日期:08-12
TCL 发布 Mini LED 屏电视:最高支持 120Hz 可变刷新率
TCL 发布了最新一代 5 系列和 6 系列 Roku 电视,其中 6 系列电视最大特点是有 Mini LED 显示背光技...
日期:08-12
Nutanix混合云基础架构现已支持亚马逊云服务(AWS)
携手AWS,Nutanix Clusters支持应用云间无缝迁移及统一操作,助力企业加速云上旅程
日期:08-12
  专栏介绍
新闻值班 的专栏
新闻值班发表的文章
积分:
自我介绍 :