一、從Spider程序到Robots協(xié)議
即使不是工程獅,關注互聯(lián)網(wǎng)的人也很少不知道Robots協(xié)議。百度和360從2012年起展開的一場屏蔽與反屏蔽戰(zhàn)把原本程序猿才知道的Robots協(xié)議變成媒體熱詞。北京一中院8月7日對3B搜索不正當競爭糾紛案(3B案)剛剛作出的一審判決讓Robots協(xié)議在新聞里又火了一把。Robots協(xié)議的法律地位或法律效力問題是3B案一系列法律問題中最大的爭點,分析這個問題就必須先了解Robots協(xié)議的內容和意義。
Robots協(xié)議和搜索引擎的爬蟲程序(Spider)其實是一對同胞兄弟。
1994年之前,AltaVista、Infoseek等代表的搜索引擎在互聯(lián)網(wǎng)可以通過Spider直入網(wǎng)站管理后臺,把所有網(wǎng)頁信息系數(shù)收錄。除了涉及隱私外,爬蟲程序的反復收錄在20年前對網(wǎng)站帶寬也是不小的負載。荷蘭工程師Martin Koster深感互聯(lián)網(wǎng)叢林之亂,提出通過設立名為Robots規(guī)范的網(wǎng)站訪問限制政策(Access Policy)方式在整個互聯(lián)網(wǎng)統(tǒng)一解決Spider無所不在所帶來的威脅。Robots協(xié)議在技術實現(xiàn)上并不復雜,網(wǎng)站管理員只要按規(guī)則在網(wǎng)站根目錄下創(chuàng)建Robots.txt的文本文件就可以禁止搜索爬蟲收錄指定網(wǎng)頁內容。從早期的AltaVista、Infoseek到后來居上的Google 、Yahoo和美國以外的Baidu等各大搜索引擎都群體接受了Robots協(xié)議,避免和內容網(wǎng)站為Spider陷入一場危機。
二、Robots規(guī)則可以受法律保護
反對3B案一審判決的理由集中對Robots協(xié)議法律效力的否定上。Robots協(xié)議并不是法律,也沒有被IETF、ITU和W3C等國際標準組織接納。但國際標準也不是法律,邏輯上成為國際標準不等于自動享有法律保護。法律和規(guī)則并不是同一個概念,法律屬于規(guī)則,而規(guī)則遠遠大于法律。百度是以不正當競爭為案由起訴360,反不正當競爭法本身就是通過列舉加兜底的方式,在少數(shù)明確規(guī)定的違法行為外以原則性規(guī)定了根據(jù)不正當競爭行為的判斷標準。司法者的權限并不局限于尋找包含Robots協(xié)議內容的具體法條,而是可以根據(jù)實際案情裁量違反Robots協(xié)議是否就違反了反不正當競爭法第二條對經(jīng)營者應當遵循自愿、平等、公平、誠實信用和公認商業(yè)道德的強制性規(guī)定。認定違法并不需要將Robots協(xié)議上升為法律作為前提,違反規(guī)則就可能導致違反法律的結果。況且3B案發(fā)生背景之一,是被告奇虎360本身就通過簽署《互聯(lián)網(wǎng)搜索引擎服務自律公約》承諾“遵守機器人協(xié)議(Robots協(xié)議)”和“限制搜索引擎抓取應有行業(yè)公認合理的正當理由,不利用機器人協(xié)議進行不正當競爭行為”。360在明確承認Robots協(xié)議約束力后又規(guī)避了協(xié)議,既是違法又構成違約。
法律之外的規(guī)則受法律承認和保護是普遍現(xiàn)象。
合同不是法律而是當事人自由達成的一致意思表示,但依法成立的合同當然受法律保護?!逗贤ā返诎藯l即規(guī)定:“依法成立的合同,對當事人具有法律約束力?!婪ǔ闪⒌暮贤?,受法律保護?!北换ヂ?lián)網(wǎng)廣泛采用的Robots協(xié)議屬于行業(yè)慣例,僅《合同法》就在第二十二條、第二十六條、第六十條、第六十一條、第九十二條等九個條款承認交易習慣的效力,如第九十二條就規(guī)定:“合同的權利義務終止后,當事人應當遵循誠實信用原則,根據(jù)交易習慣履行通知、協(xié)助、保密等義務”。《物權法》第八十五條也規(guī)定:“法律、法規(guī)對處理相鄰關系有規(guī)定的,依照其規(guī)定;法律、法規(guī)沒有規(guī)定的,可以按照當?shù)亓晳T”。根據(jù)法理及以上法條的規(guī)定,慣例完全有可能獲得法定效力及執(zhí)行力。3B案判決認可Robots協(xié)議的效力是法官依職權對Robots協(xié)議合法性進行認知的過程,并不存在法官造法或逾越職權創(chuàng)造新權利。
百度在360推出網(wǎng)絡搜索后迅速啟用Robots協(xié)議,在百度旗下的知道、貼吧、文庫、百科等產品屏蔽了360爬蟲。百度屏蔽360的產品基本屬于用戶創(chuàng)造內容(UGC)類型的上傳平臺。百度對平臺內容并不直接享有著作權,360因此質疑百度無權拒絕收錄。但UGC平臺身份也無礙百度根據(jù)《著作權法》第十四條對相關內容享有作為匯編者的權利。在百度主張反不正當競爭保護情況下,舉證責任更簡化到證明原告合法投入因被告競爭行為受到實際損害及被告競爭行為違反誠實信用或商業(yè)道德,而360強行利用百度網(wǎng)站內容已構成搭便車的不正當競爭行為。
三、互聯(lián)網(wǎng)拒絕叢林法則
360在3B案中以百度濫用Robots協(xié)議作為抗辯,但換個角度看真正容易被濫用的倒是Spider程序?;ヂ?lián)與分享是網(wǎng)絡的基本性格,而信息的多元化也決定了很多情況下網(wǎng)絡傳播必須受到控制。不受Robots協(xié)議限制的Spider程序必然使互聯(lián)網(wǎng)陷入嚴重混亂,網(wǎng)站后臺隱私無法保護,網(wǎng)頁更新的舊信息必須完全刪除而不能僅僅屏蔽,音樂、視頻等內容的收費盈利模式遭到毀滅打擊?;ヂ?lián)網(wǎng)經(jīng)過長期博弈逐步擺脫無序狀態(tài),難道只因搜索爬蟲失控又將回到比拼技術暴力的暗黑叢林?這種情景絕非法治下的互聯(lián)網(wǎng)可以接受的。
Robots協(xié)議自成立以來在全球受到嚴格遵守,利用Robots協(xié)議屏蔽搜索的案例舉不勝舉。Facebook和Twitter長期屏蔽谷歌,后者除了發(fā)牢騷不敢采取任何規(guī)避手段;默多克的新聞集團一度全面屏蔽谷歌,谷歌一直忍到……忍到默多克自己忍不住投降;搜索屏蔽360的除了百度各網(wǎng)站還有騰訊的QQ空間,更有意思的是QQ空間屏蔽360爬蟲卻在2012年后對百度和Google開放,360甚至都沒有為此指責騰訊歧視;騰訊盡管向百度開放QQ空間卻將騰訊微博的內容屏蔽至今,新浪微博也一度加入屏蔽百度的隊列;電商領域可能是互相屏蔽的高地,淘寶從2008年起一直屏蔽百度搜索,京東、蘇寧、當當網(wǎng)等也屏蔽了阿里旗下一淘搜索的爬蟲。
各國法院承認Robots協(xié)議效力的判決同樣不勝枚舉。美國聯(lián)邦法院早在2000年就在eBay訴BE(Bedder’s Edge)案 中就通過禁令支持了eBay屏蔽BE爬蟲的主張。內華達法院2006年審理的Field v. Google 案 也明確認可Robots協(xié)議是有效保護網(wǎng)站權利的通行標準。北京一中院同樣于2006年在審理著名的浙江泛亞訴百度著作權侵權案 判決書中認定原告有權利用設置Robots.txt文件拒絕百度收錄。上述通過Robots協(xié)議屏蔽搜索爬蟲的互聯(lián)網(wǎng)實例和認可Robots協(xié)議法律效力的中外法院判決,都證明Robots協(xié)議的效力并不是在3B案中才成為爭點,也證明Robots協(xié)議在產業(yè)實踐和司法實踐中都一直得到認可和尊重。
河南億恩科技股份有限公司(xuefeilisp.com)始創(chuàng)于2000年,專注服務器托管租用,是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網(wǎng)站建設、網(wǎng)站托管等網(wǎng)絡基礎服務,另有網(wǎng)總管、名片俠網(wǎng)絡推廣服務,使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話:
0371-60135900
虛擬主機/智能建站 24小時售后服務電話:
0371-55621053
網(wǎng)絡版權侵權舉報電話:
0371-60135995
服務熱線:
0371-60135900