一、從Spider程序到Robots協(xié)議

即使不是工程獅，關(guān)注互聯(lián)網(wǎng)的人也很少不知道Robots協(xié)議。百度和360從2012年起展開的一場(chǎng)屏蔽與反屏蔽戰(zhàn)把原本程序猿才知道的Robots協(xié)議變成媒體熱詞。北京一中院8月7日對(duì)3B搜索不正當(dāng)競(jìng)爭(zhēng)糾紛案（3B案）剛剛作出的一審判決讓Robots協(xié)議在新聞里又火了一把。Robots協(xié)議的法律地位或法律效力問題是3B案一系列法律問題中最大的爭(zhēng)點(diǎn)，分析這個(gè)問題就必須先了解Robots協(xié)議的內(nèi)容和意義。

Robots協(xié)議和搜索引擎的爬蟲程序（Spider）其實(shí)是一對(duì)同胞兄弟。

1994年之前，AltaVista、Infoseek等代表的搜索引擎在互聯(lián)網(wǎng)可以通過Spider直入網(wǎng)站管理后臺(tái)，把所有網(wǎng)頁信息系數(shù)收錄。除了涉及隱私外，爬蟲程序的反復(fù)收錄在20年前對(duì)網(wǎng)站帶寬也是不小的負(fù)載。荷蘭工程師Martin Koster深感互聯(lián)網(wǎng)叢林之亂，提出通過設(shè)立名為Robots規(guī)范的網(wǎng)站訪問限制政策（Access Policy）方式在整個(gè)互聯(lián)網(wǎng)統(tǒng)一解決Spider無所不在所帶來的威脅。Robots協(xié)議在技術(shù)實(shí)現(xiàn)上并不復(fù)雜，網(wǎng)站管理員只要按規(guī)則在網(wǎng)站根目錄下創(chuàng)建Robots.txt的文本文件就可以禁止搜索爬蟲收錄指定網(wǎng)頁內(nèi)容。從早期的AltaVista、Infoseek到后來居上的Google 、Yahoo和美國(guó)以外的Baidu等各大搜索引擎都群體接受了Robots協(xié)議，避免和內(nèi)容網(wǎng)站為Spider陷入一場(chǎng)危機(jī)。

二、Robots規(guī)則可以受法律保護(hù)

反對(duì)3B案一審判決的理由集中對(duì)Robots協(xié)議法律效力的否定上。Robots協(xié)議并不是法律，也沒有被IETF、ITU和W3C等國(guó)際標(biāo)準(zhǔn)組織接納。但國(guó)際標(biāo)準(zhǔn)也不是法律，邏輯上成為國(guó)際標(biāo)準(zhǔn)不等于自動(dòng)享有法律保護(hù)。法律和規(guī)則并不是同一個(gè)概念，法律屬于規(guī)則，而規(guī)則遠(yuǎn)遠(yuǎn)大于法律。百度是以不正當(dāng)競(jìng)爭(zhēng)為案由起訴360，反不正當(dāng)競(jìng)爭(zhēng)法本身就是通過列舉加兜底的方式，在少數(shù)明確規(guī)定的違法行為外以原則性規(guī)定了根據(jù)不正當(dāng)競(jìng)爭(zhēng)行為的判斷標(biāo)準(zhǔn)。司法者的權(quán)限并不局限于尋找包含Robots協(xié)議內(nèi)容的具體法條，而是可以根據(jù)實(shí)際案情裁量違反Robots協(xié)議是否就違反了反不正當(dāng)競(jìng)爭(zhēng)法第二條對(duì)經(jīng)營(yíng)者應(yīng)當(dāng)遵循自愿、平等、公平、誠(chéng)實(shí)信用和公認(rèn)商業(yè)道德的強(qiáng)制性規(guī)定。認(rèn)定違法并不需要將Robots協(xié)議上升為法律作為前提，違反規(guī)則就可能導(dǎo)致違反法律的結(jié)果。況且3B案發(fā)生背景之一，是被告奇虎360本身就通過簽署《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》承諾“遵守機(jī)器人協(xié)議(Robots協(xié)議)”和“限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用機(jī)器人協(xié)議進(jìn)行不正當(dāng)競(jìng)爭(zhēng)行為”。360在明確承認(rèn)Robots協(xié)議約束力后又規(guī)避了協(xié)議，既是違法又構(gòu)成違約。

法律之外的規(guī)則受法律承認(rèn)和保護(hù)是普遍現(xiàn)象。

合同不是法律而是當(dāng)事人自由達(dá)成的一致意思表示，但依法成立的合同當(dāng)然受法律保護(hù)。《合同法》第八條即規(guī)定：“依法成立的合同，對(duì)當(dāng)事人具有法律約束力。…依法成立的合同，受法律保護(hù)。”被互聯(lián)網(wǎng)廣泛采用的Robots協(xié)議屬于行業(yè)慣例，僅《合同法》就在第二十二條、第二十六條、第六十條、第六十一條、第九十二條等九個(gè)條款承認(rèn)交易習(xí)慣的效力，如第九十二條就規(guī)定：“合同的權(quán)利義務(wù)終止后，當(dāng)事人應(yīng)當(dāng)遵循誠(chéng)實(shí)信用原則，根據(jù)交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。《物權(quán)法》第八十五條也規(guī)定：“法律、法規(guī)對(duì)處理相鄰關(guān)系有規(guī)定的，依照其規(guī)定；法律、法規(guī)沒有規(guī)定的，可以按照當(dāng)?shù)亓?xí)慣”。根據(jù)法理及以上法條的規(guī)定，慣例完全有可能獲得法定效力及執(zhí)行力。3B案判決認(rèn)可Robots協(xié)議的效力是法官依職權(quán)對(duì)Robots協(xié)議合法性進(jìn)行認(rèn)知的過程，并不存在法官造法或逾越職權(quán)創(chuàng)造新權(quán)利。

百度在360推出網(wǎng)絡(luò)搜索后迅速啟用Robots協(xié)議，在百度旗下的知道、貼吧、文庫、百科等產(chǎn)品屏蔽了360爬蟲。百度屏蔽360的產(chǎn)品基本屬于用戶創(chuàng)造內(nèi)容（UGC）類型的上傳平臺(tái)。百度對(duì)平臺(tái)內(nèi)容并不直接享有著作權(quán)，360因此質(zhì)疑百度無權(quán)拒絕收錄。但UGC平臺(tái)身份也無礙百度根據(jù)《著作權(quán)法》第十四條對(duì)相關(guān)內(nèi)容享有作為匯編者的權(quán)利。在百度主張反不正當(dāng)競(jìng)爭(zhēng)保護(hù)情況下，舉證責(zé)任更簡(jiǎn)化到證明原告合法投入因被告競(jìng)爭(zhēng)行為受到實(shí)際損害及被告競(jìng)爭(zhēng)行為違反誠(chéng)實(shí)信用或商業(yè)道德，而360強(qiáng)行利用百度網(wǎng)站內(nèi)容已構(gòu)成搭便車的不正當(dāng)競(jìng)爭(zhēng)行為。

三、互聯(lián)網(wǎng)拒絕叢林法則

360在3B案中以百度濫用Robots協(xié)議作為抗辯，但換個(gè)角度看真正容易被濫用的倒是Spider程序。互聯(lián)與分享是網(wǎng)絡(luò)的基本性格，而信息的多元化也決定了很多情況下網(wǎng)絡(luò)傳播必須受到控制。不受Robots協(xié)議限制的Spider程序必然使互聯(lián)網(wǎng)陷入嚴(yán)重混亂，網(wǎng)站后臺(tái)隱私無法保護(hù)，網(wǎng)頁更新的舊信息必須完全刪除而不能僅僅屏蔽，音樂、視頻等內(nèi)容的收費(fèi)盈利模式遭到毀滅打擊。互聯(lián)網(wǎng)經(jīng)過長(zhǎng)期博弈逐步擺脫無序狀態(tài)，難道只因搜索爬蟲失控又將回到比拼技術(shù)暴力的暗黑叢林？這種情景絕非法治下的互聯(lián)網(wǎng)可以接受的。

Robots協(xié)議自成立以來在全球受到嚴(yán)格遵守，利用Robots協(xié)議屏蔽搜索的案例舉不勝舉。Facebook和Twitter長(zhǎng)期屏蔽谷歌，后者除了發(fā)牢騷不敢采取任何規(guī)避手段；默多克的新聞集團(tuán)一度全面屏蔽谷歌，谷歌一直忍到……忍到默多克自己忍不住投降；搜索屏蔽360的除了百度各網(wǎng)站還有騰訊的QQ空間，更有意思的是QQ空間屏蔽360爬蟲卻在2012年后對(duì)百度和Google開放，360甚至都沒有為此指責(zé)騰訊歧視；騰訊盡管向百度開放QQ空間卻將騰訊微博的內(nèi)容屏蔽至今，新浪微博也一度加入屏蔽百度的隊(duì)列；電商領(lǐng)域可能是互相屏蔽的高地，淘寶從2008年起一直屏蔽百度搜索，京東、蘇寧、當(dāng)當(dāng)網(wǎng)等也屏蔽了阿里旗下一淘搜索的爬蟲。

各國(guó)法院承認(rèn)Robots協(xié)議效力的判決同樣不勝枚舉。美國(guó)聯(lián)邦法院早在2000年就在eBay訴BE（Bedder’s Edge）案 中就通過禁令支持了eBay屏蔽BE爬蟲的主張。內(nèi)華達(dá)法院2006年審理的Field v. Google 案 也明確認(rèn)可Robots協(xié)議是有效保護(hù)網(wǎng)站權(quán)利的通行標(biāo)準(zhǔn)。北京一中院同樣于2006年在審理著名的浙江泛亞訴百度著作權(quán)侵權(quán)案 判決書中認(rèn)定原告有權(quán)利用設(shè)置Robots.txt文件拒絕百度收錄。上述通過Robots協(xié)議屏蔽搜索爬蟲的互聯(lián)網(wǎng)實(shí)例和認(rèn)可Robots協(xié)議法律效力的中外法院判決，都證明Robots協(xié)議的效力并不是在3B案中才成為爭(zhēng)點(diǎn)，也證明Robots協(xié)議在產(chǎn)業(yè)實(shí)踐和司法實(shí)踐中都一直得到認(rèn)可和尊重。

河南億恩科技股份有限公司(www.beingsafe.com.cn)始創(chuàng)于2000年，專注服務(wù)器托管租用，是國(guó)家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營(yíng)商。億恩為近五十萬的用戶提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶不斷的獲得更大的收益。
服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話：0371-60135900
虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話：0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話：0371-60135995
服務(wù)熱線：0371-60135900