3B大戰牽出Robots疑云 360搜索用戶量大跌

  一個是搜索引擎市場具有壟斷地位的巨頭，一個是頗具爭議的闖入者，這場圍繞搜索引擎的“3B大戰”進入了第二個回合：釣魚。

    《每日經濟新聞》報道，幾天前百度工程師放出“鬼節捉鬼”的釣魚策略，將爭論引向一直以隱私安全為底牌的360。問題出在一個叫做Robots的協議上。360被指不遵守協議，直接用瀏覽器抓取用戶瀏覽信息，可能致使用戶信息泄露。“3B大戰”的對手百度等互聯網公司發出了要求員工卸載360瀏覽器的號召，搜狗CEO王小川也表示應遵守Robot協議，擔心360在安全上做裁判又做球員。

    CNNIC最新的統計數據顯示，360搜索覆蓋中國網民比例已由上周的13.04%降為11.61%，覆蓋人數由3420萬降為3052萬，近一周時間，損失用戶達368萬。

    3B大戰第二回合，落在了瀏覽器端直接搜集網頁信息的爭議上。《每日經濟新聞》在調查中發現，Robots協議被瀏覽器開發人員視為“Google自己制定的協議規范”，“連行業規范都算不上”，搜索引擎對用戶隱私權的定義，目前還是空白。

    百度非原創式捉“鬼”

    8月31日，一則由百度工程師發布的微博引發了業內的廣泛討論。

    這位名叫趙明華的百度互聯網數據研發部經理稱，百度的工程師制作的幾個特殊頁面沒有任何外鏈，由于搜索引擎爬蟲只能通過鏈接爬行網頁，因此這個網頁是完全封閉的 “孤島”，不可能被搜索引擎抓取到。但令人意外的是，百度工程師試著在360搜索中輸入以上關鍵詞，結果這個網頁赫然出現在搜索結果第一行，并可以直接點擊訪問瀏覽網頁內容。但再換百度、谷歌、搜狗、搜搜等其他瀏覽器搜索相同內容，卻無法返回相應網頁。

    為什么一個完全封閉的網頁竟然能被360搜索引擎抓取到？趙明華的解釋是，他曾用360瀏覽器打開過這個網頁。在360瀏覽器的隱私策略中，注明了360安全瀏覽器會在用戶的計算機上記錄有關瀏覽歷史記錄的實用信息。

    百度認為，百度釣魚流程揭示了360搜索存在安全隱患：只要用戶通過360瀏覽器訪問過一個網頁，無論是私人賬號信息，還是公司內網機密數據，都會被360瀏覽器記錄下來，并被360搜索爬蟲抓取、上傳到360服務器。

    不過，360卻有著自己的說法。360在官方微博上指出，百度以所謂的“孤島”數據污蔑360泄露用戶隱私。其實百度的做法很簡單，只要通過外部鏈接引導360爬蟲抓取頁面，同時屏蔽其他搜索引擎，然后切斷外鏈，就可以造成只有360搜索收錄所謂“孤島”的假象。

    9月2號，360董事長周鴻祎對此回應，“這是百度在濫用Robots協議，阻礙360進入搜索市場。”

    百度“鬼節抓鬼”的行為，在互聯網界并非首例。2011年初，谷歌由于懷疑必應借鑒其搜索結果，也采取過這種做法。

    2010年10月份，谷歌注意到Bing的搜索結果越來越多地和谷歌重合，頭條結果相同的趨勢也越來越高，由此必應抄襲了他們的搜索結果。

    為了驗證猜想，谷歌在去年12月進行了一場釣魚行動。他們選擇了100個異常釣餌進行手動搜索排名，將這些關鍵詞的搜索結果指向毫無關聯的頁面。當時約20位谷歌工程師在電腦上使用IE瀏覽器來搜索這些關鍵詞，然后通過IE在谷歌上搜索這些釣餌，誘使必應上鉤。兩周后，谷歌工程師再通過必應搜索當時的釣餌，預先埋下的結果就開始陸續出現在必應結果中，由此發現必應通過IE收集用戶上網的隱私數據，直接記錄上傳了用戶訪問網址并隨后放入搜索結果中。

    搜索引擎與商業網站博弈

    趙明華稱，360繞過了Robots協議，利用瀏覽器記錄并上傳用戶數據和上網行為，并形成自己的網址庫，再用偽裝和隱藏過的爬蟲來抓取快照，生成搜索結果。

    那么，從瀏覽器端直接搜集網頁信息是否正當？

    實際上，Robots協議并非強制性法規，而是搜索引擎誕生后，互聯網業界經過長期博弈，最終在搜索引擎與商業站點、公眾知情權和用戶隱私權之間達成的一種妥協。

    早期的互聯網主要是“用戶-網站”模式。用戶通過網站獲取信息，網站通過吸引用戶點擊來實現廣告收入。不過，當谷歌把搜索引擎變成一種成功的商業模式之后，很多網站原有的商業模式遭到了嚴重破壞。

    為了維護自身的利益，一些歐美大型網站聯合起來與谷歌談判，要求谷歌“有所為有所不為”，于是就有了Robots協議。該協議的核心思想就是要求Robots程序不要去檢索那些站長不希望被直接搜索到的內容，并將約束Robots程序的具體方法規范成格式代碼，就成了Robots協議。一般來說，網站是通過Robots.txt文件來實現Robots協議。

    國內使用Robots協議最典型的案例就是淘寶網拒絕百度搜索。此外還有大量的用戶注冊、郵件等信息，都利用Robots協議來防止這些內容在互聯網上被搜索到。

    不過，絕大多數中小網站需要依靠搜索引擎來增加流量，因此通常并不排斥搜索引擎，也很少使用Robots協議。去年京東商城屏蔽一淘網抓取數據時，曾指責一淘網破壞了Robots協議。

    技術工程師Joey在接受《每日經濟新聞》采訪時表示，谷歌、百度是通過都是自己的服務器不停地在網上抓內容進行索引，而360的模式是讓每個使用360瀏覽器的電腦成為360的蜘蛛爬蟲，把瀏覽的內容上傳到360服務器上做索引。

    Robots協議約束力幾何？

    此前，在多次“互聯網大戰”中，360的隱私問題均被競爭對手列為質疑的焦點。

    兩年前，奇虎360公司兩名網絡工程師利用360公司系統收集的用戶信息，通過360服務器云計算后臺破解了市政一卡通系統的后臺密碼，并遠程為自己和3位同事的一卡通惡意充值2600元。2011年1月，360收集隱私數據被谷歌爬蟲抓取，結果包括網民在百度搜索的關鍵字、淘寶購物記錄、金蝶等企業內部財務網絡數據等鏈接數據“裸奔”于互聯網上。

    對于此次業界的質疑，360認為純系百度 “污蔑”。360方面表示，其網站后臺、訂單等敏感數據在每個搜索引擎中都是存在的。百度通過人為設置釣魚陷阱網頁來污蔑360上傳用戶數據，目的是為了阻止360進入搜索領域，維護其市場地位。

    不過，很多的中立行業觀察人士認為，該事件的重心并不在口水仗，而是作為“行業自律”的Robots協議是否需要更強有力的法律約束？

    資深互聯網觀察家洪波指出，搜索引擎無視Robots協議，直接抓取未經授權的信息數據，這樣的行為如果不能從法律和監管上及時制止，將引發行業大亂。”

    鑒于國內像360和搜狗這樣既做瀏覽器又做搜索的公司比較少，可以對比同樣既做搜索引擎又做瀏覽器的巨頭：谷歌。

    一位瀏覽器技術人員對《每日經濟新聞》表示，谷歌的Chrome瀏覽器也會根據用戶訪問的歷史記錄在首頁給出“最常訪問的網站”，但不會優先出現在搜索結果中。

    實際上，在“3B大戰”進入第二輪時，國內互聯網大佬的態度已經發生了轉變。

    搜狗CEO王小川表示，歡迎360做搜索，行業更加開放，給網民更多選擇。而在此之前，王小川對“3B大戰”的態度是“進攻百度防范360”。

    目前尷尬的是，Robots協議并沒有上升到一定的高度。此前有消息稱，政府相關部門已找百度、360、搜狗各方了解事態進展，希望能夠從中調停，并防范整個事件升級。從目前情況看，相關部門正在對360違反Robots協議的事件進行研究。

    “所謂Robots協議，其實就是谷歌自己制定的一個協議規范，并不是各大搜索廠商的共識或統一的協議，也從來沒有任何一家國內搜索引擎服務商公開承諾遵守Robots協議或簽署類似的協議或聲明。”所以說，Robots協議連個行業規范都算不上，更別說什么國際標準了，即便在美國，也只有Google把它當回事。“上述不愿意透露姓名的瀏覽器技術人員表示。

    “云”與“端”的較量

    主打云概念的搜索巨頭百度，與以客戶端為武器的360交戰，頗具深意。

    事實上，百度之所以取得目前的搜索市場地位，一個很重要的原因就是其一直在布局中文內容平臺，包括知道、百科、貼吧等。百度的“護城河”在“云”，本質上是一家媒體，其戰略思路不是僅提供單純的搜索，而是從具備分類、整理的搜索引擎轉化為提供、組織內容的平臺。

    “在單純的搜索技術提高前景有限的前提下，提供大量的內容使百度具有了巨大的用戶黏性和流量來源。即使用谷歌搜索，首頁結果里也有大量的百度知道，百度百科與百度貼吧的內容。”曹悅平表示。

    事實上，早在2009年李彥宏就曾說過，百度不是搜索引擎，而是第一中文媒體平臺。而在剛剛結束的百度一年一度的世界大會上，李彥宏首次將云存儲、大數據智能、云計算三大核心云能力開放出來。

    在曹悅平看來，在云端發力的好處在于，直接獲取的大量內容和用戶數據對后來者筑起了“護城河”。但百度多年來在客戶端領域一直缺乏具有影響力的產品，這恰好是360此次進攻百度的機會。

    相比之下，360的競爭優勢完全在 “端”——靠瀏覽器和安全衛士來占領市場。

    “360的端模式，相對于百度的云模式，在產業鏈上處于下游。”曹悅平指出，360的風險在于，一旦再出來一個黏性比它更大的客戶端，比如Windows8如果內置了安全軟件，那么360就危險了。

    在新進入的搜索領域，360的份額正在迅速下滑。CNNIC最新的統計數據顯示，8月27日～9月2日一周，360搜索覆蓋中國網民比例已由上周13.04%降為11.61%，覆蓋人數由3420萬降為3052萬，用戶減少368萬。無論用戶覆蓋率、搜索次數和PV占比，360搜索都遠低于搜狗、搜搜等。同時數據顯示，360搜索用戶搜索次數和PV值比例僅為2.22%和1.47%，明顯低于其他搜索引擎，表明使用360搜索的用戶的使用頻率和深度都很低。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]