通過設(shè)置白名單排除特定搜索引擎違法

#本文僅代表作者觀點(diǎn)，不代表IPRdaily立場(chǎng)，未經(jīng)作者許可，禁止轉(zhuǎn)載#

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：何方

原標(biāo)題：360訴百度限制搜索引擎案歷時(shí)8年，二審勝訴——通過設(shè)置白名單排除特定搜索引擎違法

360與百度之間關(guān)于搜索引擎的一場(chǎng)訴訟，歷時(shí)8年，日前迎來了終審判決。北京市高院認(rèn)為，二審的爭(zhēng)議焦點(diǎn)在于：百度公司通過設(shè)置robots協(xié)議白名單的方式限制360搜索引擎抓取其相關(guān)網(wǎng)頁內(nèi)容，是否構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為。

360與百度之間關(guān)于搜索引擎的一場(chǎng)訴訟，歷時(shí)8年，日前迎來了終審判決。

7月23日，“中國裁判文書網(wǎng)”公布了北京奇虎科技有限公司訴北京百度網(wǎng)訊科技有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司不正當(dāng)競(jìng)爭(zhēng)糾紛案的二審判決書。北京市高級(jí)人民法院認(rèn)定，百度公司通過設(shè)置robots協(xié)議白名單的方式限制360搜索引擎抓取其網(wǎng)頁信息的行為，構(gòu)成不正當(dāng)競(jìng)爭(zhēng)。

法院判決駁回百度公司的上訴，維持一審原判，即：判令百度公司立即停止涉案不正當(dāng)競(jìng)爭(zhēng)行為，賠償奇虎公司經(jīng)濟(jì)損失20萬元，并在360、新浪、搜狐三家網(wǎng)站首頁顯著位置連續(xù)十日刊登聲明，就其涉案不正當(dāng)競(jìng)爭(zhēng)行為為奇虎公司消除影響。

奇虎公司于2013年起訴，稱百度公司限制360搜索引擎抓取其網(wǎng)站信息

據(jù)判決書披露，2013年，奇虎公司向北京市第一中級(jí)人民法院起訴，請(qǐng)求：百度網(wǎng)訊公司、百度在線公司立即停止通過robots.txt對(duì)奇虎公司的不正當(dāng)競(jìng)爭(zhēng)行為，在三家公開發(fā)行的報(bào)紙（《法制日?qǐng)?bào)》、《北京晚報(bào)》、《中國知識(shí)產(chǎn)權(quán)報(bào)》）及三個(gè)門戶網(wǎng)站消除實(shí)施不正當(dāng)競(jìng)爭(zhēng)行為對(duì)奇虎公司造成的不利影響，連帶賠償奇虎公司經(jīng)濟(jì)損失1000萬元及為制止侵權(quán)的合理支出50萬元，并承擔(dān)本案訴訟費(fèi)用。

北京市一中院查明，奇虎公司成立于2007年8月13日，主要從事互聯(lián)網(wǎng)安全及搜索等服務(wù)，經(jīng)營的互聯(lián)網(wǎng)產(chǎn)品有360安全衛(wèi)士、360搜索引擎及360瀏覽器等。該公司的360搜索引擎于2012年8月16日上線。百度網(wǎng)訊公司成立于2001年6月5日，百度在線公司成立于2000年1月18日，兩公司共同經(jīng)營的百度搜索引擎是國內(nèi)知名的搜索引擎網(wǎng)站，同時(shí)還提供互聯(lián)網(wǎng)內(nèi)容服務(wù)，包括百度文庫、百度知道、百度百科等。

奇虎公司提交的多份公證書顯示，自2012年8月以來，百度網(wǎng)訊公司、百度在線公司一直在其相關(guān)網(wǎng)站的robots協(xié)議中排除360搜索引擎抓取其信息。

百度網(wǎng)訊公司、百度在線公司認(rèn)可上述事實(shí)，但認(rèn)為：robots協(xié)議是國際通行的行業(yè)慣例和商業(yè)道德，允許和/或限制全部和/或特定搜索引擎抓取是robots協(xié)議的應(yīng)有之義，百度robots協(xié)議的“白名單”制度僅允許特定的幾家搜索引擎抓取，對(duì)除此之外的所有其他搜索引擎均不允許抓取，不存在不正當(dāng)競(jìng)爭(zhēng)行為。

一審法院認(rèn)為，通過設(shè)置白名單限制特定搜索引擎，與robots協(xié)議的初衷背道而馳

在一審判決書中，北京市一中院闡明了robots協(xié)議與搜索引擎各自的起源及兩者之間的關(guān)系。

法院認(rèn)為，robots協(xié)議的英文全稱為Robots Exclusion Protocol，直譯為機(jī)器人排除協(xié)議，又可成為爬蟲協(xié)議、機(jī)器人協(xié)議，是指網(wǎng)站所有者通過一個(gè)置于網(wǎng)站根目錄下的文本文件，即robots.txt，告知搜索引擎的網(wǎng)絡(luò)機(jī)器人（或稱網(wǎng)絡(luò)爬蟲、網(wǎng)絡(luò)蜘蛛）哪些網(wǎng)頁不應(yīng)被抓取，哪些網(wǎng)頁可以被抓取，其本質(zhì)是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，搜索引擎應(yīng)運(yùn)而生。通過搜索引擎，網(wǎng)絡(luò)用戶能在較短時(shí)間內(nèi)從互聯(lián)網(wǎng)的海量信息中檢索到所需信息，而搜索引擎的工作原理就是使用網(wǎng)絡(luò)機(jī)器人程序自動(dòng)抓取相關(guān)網(wǎng)站內(nèi)容并建立索引。搜索引擎可分為兩大類，即通用搜索引擎和垂直搜索引擎。百度、谷歌及360搜索等均屬于通用搜索引擎。

搜索引擎的出現(xiàn)極大地提高了網(wǎng)絡(luò)用戶獲取信息的效率，但同時(shí)也產(chǎn)生了新問題：一是網(wǎng)絡(luò)機(jī)器人過快抓取或重復(fù)抓取相同的網(wǎng)頁內(nèi)容導(dǎo)致受訪網(wǎng)站的服務(wù)器過載，影響網(wǎng)站正常運(yùn)行，降低了抓取的效率；二是一些網(wǎng)絡(luò)機(jī)器人抓取網(wǎng)站管理后臺(tái)的內(nèi)部信息、臨時(shí)性文件、cgi腳本等對(duì)網(wǎng)絡(luò)用戶沒有使用價(jià)值的信息。這些問題表明，需要建立一種受訪網(wǎng)站與搜索引擎的網(wǎng)絡(luò)機(jī)器人之間的交互方式，通過這種方式，網(wǎng)站所有者能夠提示網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁內(nèi)容沒有必要抓取，從而引導(dǎo)其抓取對(duì)網(wǎng)絡(luò)用戶有用的信息。

為解決上述問題，荷蘭網(wǎng)絡(luò)工程師MartijnKoster于1994年初首先提出通過在網(wǎng)站的根目錄下設(shè)置robots.txt文件的方式來提示搜索引擎的網(wǎng)絡(luò)機(jī)器人抓取的范圍。1994年6月30日，一些網(wǎng)絡(luò)機(jī)器人設(shè)計(jì)者及愛好者在網(wǎng)絡(luò)機(jī)器人郵件組論壇上就MartijnKoster的提議達(dá)成一致意見，并形成了一個(gè)書面文檔《機(jī)器人排除標(biāo)準(zhǔn)》（《A Standard for Robot Exclusion》）。

2012年11月1日，在中國互聯(lián)網(wǎng)協(xié)會(huì)的牽頭組織下，12家互聯(lián)網(wǎng)企業(yè)簽署了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》（簡(jiǎn)稱“自律公約”）。該公約第七條第一款規(guī)定：遵循國際通行的行業(yè)慣例與商業(yè)規(guī)則，遵守機(jī)器人協(xié)議（robots協(xié)議）。第八條規(guī)定：互聯(lián)網(wǎng)站所有者設(shè)置機(jī)器人協(xié)議應(yīng)遵循公平、開放和促進(jìn)信息自由流動(dòng)的原則，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由，不利用機(jī)器人協(xié)議進(jìn)行不正當(dāng)競(jìng)爭(zhēng)行為，積極營造鼓勵(lì)創(chuàng)新、公平公正的良性競(jìng)爭(zhēng)環(huán)境。

法院認(rèn)為，robots協(xié)議的初衷，是為了提示搜索引擎的網(wǎng)絡(luò)機(jī)器人更有效地抓取對(duì)網(wǎng)絡(luò)用戶有用的信息，從而更好地促進(jìn)信息共享。作為一種互聯(lián)網(wǎng)行業(yè)慣例，robots協(xié)議一方面要求搜索引擎的網(wǎng)絡(luò)機(jī)器人遵守受訪網(wǎng)站的robots協(xié)議，另一方面也要求受訪網(wǎng)站設(shè)置的robots協(xié)議本身應(yīng)當(dāng)是合理的，不應(yīng)違背“促進(jìn)信息共享”的初衷。

百度公司通過設(shè)置robots協(xié)議的方式限制360搜索引擎，會(huì)造成網(wǎng)絡(luò)用戶通過360搜索引擎無法得到完整的搜索結(jié)果，人為設(shè)置了信息流動(dòng)的障礙；在百度搜索引擎在市場(chǎng)份額上占據(jù)絕對(duì)優(yōu)勢(shì)，而360搜索所占的市場(chǎng)份額較小的情況下，會(huì)導(dǎo)致網(wǎng)絡(luò)用戶因在使用360搜索引擎時(shí)無法及時(shí)獲取所需信息，轉(zhuǎn)而使用百度搜索引擎，不僅會(huì)降低360搜索的用戶滿意度，損害奇虎公司的合法權(quán)益，也會(huì)在客觀上增強(qiáng)百度搜索引擎的市場(chǎng)優(yōu)勢(shì)地位；限制通用搜索引擎抓取信息，會(huì)在一定程度上阻礙互聯(lián)網(wǎng)信息正常流動(dòng)，因此，應(yīng)當(dāng)具有合理、正當(dāng)?shù)睦碛?。百度公司限?60搜索引擎抓取的內(nèi)容，不屬于其內(nèi)部信息或敏感信息，也沒有證據(jù)顯示360搜索引擎的抓取會(huì)導(dǎo)致相關(guān)網(wǎng)站無法正常運(yùn)行或損害社會(huì)公共利益。因此，百度公司限制360搜索引擎缺乏合理、正當(dāng)?shù)睦碛伞?/p>

法院認(rèn)定，百度公司的涉案行為不僅損害了奇虎公司的合法權(quán)益，也擾亂了公平競(jìng)爭(zhēng)的市場(chǎng)秩序，并最終將會(huì)損害廣大網(wǎng)絡(luò)用戶的利益，其行為已構(gòu)成不正當(dāng)競(jìng)爭(zhēng)，并作出了相關(guān)判決。

百度公司上訴稱，robots協(xié)議體現(xiàn)了網(wǎng)站與搜索引擎之間的交易自由

一審判決后，百度公司不服，向北京市高級(jí)人民法院提起上訴，稱：一、robots協(xié)議體現(xiàn)了網(wǎng)站與搜索引擎之間的交易自由，網(wǎng)站允許哪些搜索引擎抓取，不允許哪些搜索引擎抓取，在網(wǎng)站與搜索引擎雙邊市場(chǎng)上，是交易自由的體現(xiàn)；二、一審判決對(duì)限制360搜索引擎抓取會(huì)導(dǎo)致用戶使用百度搜索引擎從而客觀上增強(qiáng)百度搜索引擎市場(chǎng)優(yōu)勢(shì)地位的認(rèn)定，缺乏任何事實(shí)依據(jù)；三、一審判決設(shè)定的設(shè)置Robots協(xié)議限制通用搜索引擎抓取應(yīng)當(dāng)具有的合理正當(dāng)理由，實(shí)質(zhì)上將廢止Robots協(xié)議。

百度公司還主張，360搜索引擎上線后，違規(guī)抓取百度百科等網(wǎng)頁內(nèi)容，經(jīng)通知不予糾正，故未將其列入robots協(xié)議白名單。

北京市高院認(rèn)定，設(shè)置robots協(xié)議白名單妨礙了信息自由流動(dòng)

北京市高院認(rèn)為，二審的爭(zhēng)議焦點(diǎn)在于：百度公司通過設(shè)置robots協(xié)議白名單的方式限制360搜索引擎抓取其相關(guān)網(wǎng)頁內(nèi)容，是否構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為。

法院認(rèn)為，百度公司未將360搜索引擎納入白名單，導(dǎo)致該引擎無法抓取其相關(guān)網(wǎng)頁內(nèi)容，同時(shí)，允許國內(nèi)外主流搜索引擎抓取其網(wǎng)頁內(nèi)容，構(gòu)成對(duì)360搜索引擎采取的有針對(duì)性的限制抓取行為。

該行為的損害后果，體現(xiàn)在以下幾方面：首先，影響了360搜索引擎的正常運(yùn)行，使得360搜索引擎的功能無法正常發(fā)揮，從而直接影響360搜索引擎用戶的上網(wǎng)體驗(yàn)，進(jìn)而可能導(dǎo)致360搜索引擎的網(wǎng)絡(luò)用戶流失；其次，損害了相關(guān)消費(fèi)者的利益。由于被訴行為影響了網(wǎng)絡(luò)用戶對(duì)其所選擇的360搜索引擎的正常使用，迫使存在相關(guān)信息檢索需求的用戶不得不更換其他搜索引擎，從而影響網(wǎng)絡(luò)用戶自主選擇的決定權(quán)，增加了選擇成本；第三，被訴行為將導(dǎo)致360搜索引擎與百度搜索引擎之間交易機(jī)會(huì)和競(jìng)爭(zhēng)優(yōu)勢(shì)的“此消彼長”；第四，被訴行為有違公平競(jìng)爭(zhēng)原則，擾亂了正常的互聯(lián)網(wǎng)競(jìng)爭(zhēng)秩序。

百度公司設(shè)置的robots協(xié)議白名單，實(shí)質(zhì)上是通過采取對(duì)搜索引擎經(jīng)營主體區(qū)別對(duì)待的方式，以限制特定搜索引擎抓取其網(wǎng)頁內(nèi)容，妨礙了信息自由流動(dòng)。此種方式不是以網(wǎng)絡(luò)信息本身是否適合被搜索引擎抓取作為區(qū)分標(biāo)準(zhǔn)，而是將搜索引擎的經(jīng)營主體作為區(qū)分標(biāo)準(zhǔn)。并且，此種區(qū)分并未采取相同的標(biāo)準(zhǔn)，對(duì)奇虎公司而言，具有針對(duì)性和歧視性，不僅損害了奇虎公司的利益，也損害了相關(guān)消費(fèi)者的利益。

根據(jù)《自律公約》第八條的約定，robots協(xié)議對(duì)于通用搜索引擎抓取限制的設(shè)置應(yīng)當(dāng)具有行業(yè)公認(rèn)合理的正當(dāng)理由。百度公司主張，其通過robots協(xié)議的設(shè)置限制360搜索引擎，是因360搜索引擎違規(guī)抓取百度百科等網(wǎng)頁內(nèi)容所采取的自力救濟(jì)，但抓取限制措施本身的正當(dāng)性與突破限制措施的抓取屬于同一問題的正、反方面，難以構(gòu)成直接的因果關(guān)系，尤其是在《自律公約》簽訂后，各方當(dāng)事人應(yīng)恪守相關(guān)約定，避免此類叢林法則下的自力救濟(jì)行為，否則將造成競(jìng)爭(zhēng)秩序的混亂，不僅有損行業(yè)經(jīng)營者的利益，也不利于網(wǎng)絡(luò)用戶的利益。如果網(wǎng)站經(jīng)營者認(rèn)為搜索引擎的抓取行為不當(dāng)，構(gòu)成對(duì)其合法權(quán)益的侵犯，可以通過相應(yīng)的法律途徑尋求救濟(jì)。事實(shí)上，根據(jù)相關(guān)判決的認(rèn)定，百度公司已經(jīng)針對(duì)奇虎公司的不當(dāng)抓取、鏈接行為提出了訴訟主張并獲得支持。因此，百度公司提出的上述理由，不構(gòu)成限制360搜索引擎抓取其網(wǎng)頁內(nèi)容的合理、正當(dāng)理由。

法院認(rèn)定，百度公司在缺乏合理、正當(dāng)理由的情況下，以對(duì)網(wǎng)絡(luò)搜索引擎經(jīng)營主體區(qū)別對(duì)待的方式，限制360搜索引擎抓取其相關(guān)網(wǎng)站網(wǎng)頁內(nèi)容，影響該通用搜索引擎的正常運(yùn)行，損害了奇虎公司的合法權(quán)益和相關(guān)消費(fèi)者的利益，妨礙了正常的互聯(lián)網(wǎng)競(jìng)爭(zhēng)秩序，違反公平競(jìng)爭(zhēng)原則，且違反了誠實(shí)信用原則和公認(rèn)的商業(yè)道德，構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為。

最終，法院判決駁回上訴，維持原判。

相關(guān)判決書網(wǎng)頁鏈接：

http://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=68905c28a9ab4c95a5beac01000df3e8

（百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司等與北京奇虎科技有限公司不正當(dāng)競(jìng)爭(zhēng)糾紛二審民事判決書，（2017）京民終487號(hào)）

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：何方

編輯：IPRdaily王穎校對(duì)：IPRdaily縱橫君

注：原文鏈接：通過設(shè)置白名單排除特定搜索引擎違法（點(diǎn)擊標(biāo)題查看原文）

如有想看文章主題內(nèi)容，歡迎留言評(píng)論~

點(diǎn)擊圖片，查看專題詳情！

通過設(shè)置白名單排除特定搜索引擎違法

「關(guān)于IPRdaily」

IPRdaily是具有全球影響力的知識(shí)產(chǎn)權(quán)媒體，致力于連接全球知識(shí)產(chǎn)權(quán)與科技創(chuàng)新人才。匯聚了來自于中國、美國、歐洲、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個(gè)國家和地區(qū)的高科技公司及成長型科技企業(yè)的管理者及科技研發(fā)或知識(shí)產(chǎn)權(quán)負(fù)責(zé)人，還有來自政府、律師及代理事務(wù)所、研發(fā)或服務(wù)機(jī)構(gòu)的全球近100萬用戶（國內(nèi)70余萬+海外近30萬），2019年全年全網(wǎng)頁面瀏覽量已經(jīng)突破過億次傳播。

（英文官網(wǎng)：iprdaily.com 中文官網(wǎng)：iprdaily.cn）

本文來自IPRdaily中文網(wǎng)（iprdaily.cn）并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權(quán)利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場(chǎng)，如若轉(zhuǎn)載，請(qǐng)注明出處：“http://m.globalwellnesspartner.com/”