陳軍標 上海市黃浦區人民檢察院副檢察長；
楊 蘭 上海市黃浦區人民檢察院檢察官助理。
內容摘要:“網絡爬蟲”技術在搜索引擎上的運用由來已久。隨著時代的進步，網絡信息技術的不斷發展，該項技術的運用范圍越來越廣泛。但隨之而來的，不僅僅是信息共享帶來的便利，也引發了諸多法律上的問題。然而，我國當前對于“網絡爬蟲”技術在法律上的規定尚不明確，司法實踐中，對于該技術使用的法律邊界的把控也各有不同。由于“網絡爬蟲”技術的應用不僅僅是技術運用本身可能違法，技術運用獲取信息后，對于數據的加工、改造等也可能涉及違法。因此，對于“網絡爬蟲”技術的運用及其后續相關行為進行分析，明晰不同的行為方式所侵害的不同法益，把握好罪與非罪、此罪與彼罪的界線，對于當前較為缺失的理論研究和司法實踐具有重要的意義。
關鍵詞：網絡爬蟲 法律規制 民刑邊界 網絡信息技術
一、“網絡爬蟲”技術使用的基本原理及其引發的聚訟
“網絡爬蟲”技術，實際上就是用設計的程序，在遵守一定的規則的情況下對網站、手機APP、小程序或搜索引擎等進行數據的瀏覽和抓取，由此獲得自己所需要的相關數據的過程。數據的獲取者，可以通過分析這些抓取到的數據，推測出互聯網用戶的喜好，順勢將有關信息推送給互聯網用戶，以提高平臺的吸引力或達到其他的盈利目的。例如，通過抓取外賣程序上的用戶點單信息數據，在美食推薦點評平臺上根據相關信息，優先推送某些類別的餐廳，從而達到提高用戶粘度并從商家方面獲利的目的等。在數據抓取上，行業內通用的規則是robots協議，也稱網絡爬蟲排除協議：通過爬蟲技術可以訪問和收集互聯網站點的諸多信息，為了維護互聯網秩序，尊重信息提供者的意志和隱私等，信息提供者可以在自己的站點設置robots協議，以告知爬蟲控制者哪些信息是提供者不希望被爬取的。一般只要遵守robots協議，就不涉及侵權問題。但是，在技術運用的范圍不斷擴大的情況下，對于狂熱追求利益的市場主體而言，該協議的約束力并不強，畢竟，robots協議的效力在法律上并沒有進行確認。因此，很多互聯網從業者也開始設置各式各樣的反爬技術來限制其他互聯網企業的爬蟲行為。當然，并非所有的robots協議都是合理有效的，如果此類協議針對的是特定的人群，此類協議可能會被認定為違反民法上的公序良俗原則而無效，或者也可能會被認定為違反公法上的反歧視原則而無效。
隨著互聯網技術的不斷進步，人們也越來越意識到數據的重要性，我們身處于“數據時代”，掌握了數據就等于占據了市場的優先地位。因此，數據資源的爭奪成為當前社會主義市場中重要的一部分。網絡爬蟲技術其實在互聯網上的適用非常普遍，其原本也是一種中立的技術。但近年來，有不少個人或企業濫用該項技術，造成諸多糾紛。不當利用“網絡爬蟲”技術可能會引發民法上的侵權糾紛、不正當競爭糾紛，甚至會觸犯刑法、構成犯罪。如果無法精準把握不同行為類型的邊界，出現混淆，將會造成不利后果。因此，對“網絡爬蟲”技術的使用過程進行分析，明確法律界限，對于網絡技術的長期健康發展有著重大的意義。筆者將會對“網絡爬蟲”技術的使用方式及其侵害法益等方面進行分析，區分“網絡爬蟲”技術的合法使用與違法使用及違法犯罪，以期能夠到達保障信息數據發展和法律規制的平衡。
二、“網絡爬蟲”技術的違法類型分析
網絡爬蟲技術的不當使用，不僅可能會引起民刑界限的把握困難，在部門法內部實際上也可能會存在不同行為侵害不同權利或觸犯不同罪名的情況。分析運用爬蟲技術抓取數據行為的法律風險需要把握以下兩個層面：第一層面是爬蟲技術使用行為本身涉及的法律風險，另一層面是對所獲取數據的提供、傳播等后續的數據使用行為。
（一）“網絡爬蟲”民事侵權類型
1.侵害公民個人信息數據權利
近年來，對于公民個人信息保護的呼聲日益高漲，反映出我國公民整體法律素養的提高和急迫的隱私保護需求，也引起了立法的重視，即將在2021年1月1日實施的民法典就強化了對公民隱私權和個人信息權的保護。但是，想要通過保護個人信息權這一途徑來對網絡爬蟲技術進行民法上的規制是比較困難的。雖然首部民法典對個人信息權的內涵和外延進行了規定，但是，個人信息權這一權利本身的性質還存在爭議。人格權屬性將個人信息權與隱私權進行了區分，然而，在以往的經驗中，多數情況下還是以隱私權的擴大來對個人信息進行保護，這樣的保護方式似乎在司法實踐中無法起到太大的效果。再者，如果賦予個人數據以人格權的性質，那么，數據作為人格權的一部分，就無法自由讓渡、交易，我們在網站上與互聯網運營者就個人信息數據使用簽訂的協議可能就自始無效。如果賦予個人信息權以財產性質，那么，對于其造成的財產損失的數額等也無法進行標準化的判定，當前的司法實踐中也未有類似的案例。通過對個人信息權的性質分析，不難發現，對于個人信息權在民法上的保護實際上存在一定的阻礙。往往發生的情況是對個人信息的侵害達到一定的數量或范圍，就會直接入刑，那么運用網絡爬蟲技術對于公民個人信息的保護在民事領域就可能流于形式，有待立法和司法進一步的發展。
2.侵害企業信息權利
信息時代，許多網絡運營商掌握了大量的公民個人信息，甚至在某些領域存在著壟斷相關數據的情況。不僅是公民個人信息，還有其他方面的海量數據，這些數據對于企業在某一領域的競爭力來說都是至關重要的。對于網絡爬蟲侵害的企業數據的權利屬性主要存在知識產權說和財產說的觀點，旨在保護企業數據的前期投入和后期收益。
企業不僅僅是通過一定的方式獲得了公民的個人信息或者其他信息，還會通過對數據的分析、加工等方式，來實現利用數據盈利的目的。通過分析、加工的這些信息就成為了企業獨有的數據，而對于這部分具有獨創性的企業數據如果利用網絡爬蟲技術非法獲取，就可能侵害企業的知識產權或商業秘密。然而，想要對企業信息通過知識產權的相關權利來進行保護，也并非容易。對于信息數據的獨創性、非機械編排性、新穎性、秘密性、實用性等特征的判斷是非常復雜和困難的。因此，更多情況下會將這些經過加工的數據作為企業的“數據財產”加以保護。但是，如果賦予這些信息數據以財產權利的屬性，又會在數據的控制和共享上存在認定的困難。
在當前的司法實踐中，在企業信息的民事權利的保護方面，較為常見的是通過著作權來對濫用“網絡爬蟲”技術行為進行民法上的規制。例如，中文在線數字出版集團有限公司訴深圳聚領威鋒科技股份有限公司案中，深圳聚領威鋒公司在其應用程序“石頭閱讀特別版”APP上顯示：“實時追蹤網絡小說更新，并第一時間提醒，我們使用最新的網絡爬蟲技術，智能幫你追蹤你喜歡的網絡小說，作者更新后，筆者及時搜索整個中文網絡，并整理好格式第一時間呈現給你……”，被告未經許可在該程序中向公眾提供了涉案作品的下載服務，侵害了原告享有的信息網絡傳播權及獲得報酬的權利，被法院認定為侵害原告作品網絡信息傳播權，必須停止侵害、賠償損失。本案的民事法律關系較為簡單，被告在未經原告許可的情況下，通過“網絡爬蟲”技術，抓取原告網站的相關數據進行傳播，并借由這些數據盈利，侵權行為的認定沒有異議。
再如樂視網信息技術公司訴北京播羅萬象公司案中，被告也是未經原告許可，在其網站“菠蘿視頻”中提供樂視公司享有授權的視頻資源，侵害了樂視網公司的信息網絡傳播權。被告辯稱其軟件中的視頻資源都是通過“網絡爬蟲”技術從互聯網中抓取的，該資源是用戶在互聯網上可以免費獲取的。該案中，被告認為“網絡爬蟲”技術是一種中立的技術，本身運用廣泛，不涉及侵權的問題。但是，該案的焦點并非“網絡爬蟲”技術使用行為本身，而在于其后續的行為，抓取相關視頻資源數據后，還進行廣泛的傳播，使得樂視公司的權利遭受侵害，應當對樂視公司進行賠償。
通過以上的分析，我們可以得知，在民事領域對“網絡爬蟲”技術進行規制，其實并不容易，尤其是對該技術的使用本身的規制更是困難，通常需要通過爬取方獲取數據的后續行為的認定來判斷其侵權與否。
（二）“網絡爬蟲”不正當競爭行為類型
在反不正當競爭法的視域下審視“網絡爬蟲”技術的運用，就不再聚焦于數據的權利類型，而是運用數據可能會造成擾亂市場競爭秩序，破壞市場公平機制等方面。對數據競爭秩序的維護包括對公平數據競爭秩序的維護和對自由數據競爭秩序的維護。所謂公平數據競爭，是指應當警惕市場主體利用“網絡爬蟲”技術，違反robots協議，惡意使用技術，盜取其他合法擁有數據資源的市場主體的數據，損害對方權益而使自己的市場份額輕易增加的情形。所謂自由數據競爭，是指應當數據的自由競爭，避免某些市場主體過度占有某些數據而造成自由競爭的某一領域或行業的市場壟斷的情形。近幾年來，也有一些較為典型的利用“網絡爬蟲”技術侵害市場競爭秩序的案例，例如，深圳谷米科技有限公司訴武漢元光科技有限公司案、百度公司訴奇虎科技不正當競爭案等。
在谷米公司訴元光公司案中，元光公司利用“網絡爬蟲”技術獲取了谷米公司開發的APP“酷米客”中實時公交信息數據，并且將收集來的這些數據運用于本公司的APP“車來了”中，向其用戶提供了和“酷米客”APP相同的公交信息的業務。法院認為，谷米公司通過收集公交實時數據，并進行分析、加工，提供給用戶，可以幫助谷米公司在相關的市場占據優勢地位，而元光公司的行為，坐享其成，削弱谷米公司APP“酷米客”的市場優勢，認定為元光公司構成不正當競爭。由于利用“網絡爬蟲”技術這一方式并沒有具體規定在反不正當競爭法中的不正當競爭類型中，因此，法院對該行為的判斷是通過反不正當競爭法第2條這一原則性的條款，來積極地彌補了這方面的漏洞。通過判斷元光公司的行為是否違背了誠實信用原則和商業道德，是否對谷米公司造成了實質性的損害，就可以對其是否構成不正當競爭做出判定。
在百度訴奇虎不正當競爭案中，一審法院認為本案的爭議焦點在于百度公司設置的robots協議的相關條例是否限制了360搜索引擎抓取相關網頁數據，是否構成了不正當競爭。本案與谷米公司訴元光公司案不同，谷米公司設置的robots協議是合理有效的，且其robots協議適用于所有對象。而本案中，百度公司設置的robots協議將不允許抓取相關數據作為常態，違背了“網絡爬蟲”技術的初衷，使得抓取行為成為一種例外，且該協議針對的主體也并不寬泛，對于360搜索引擎有明顯的限制。因而，法院認為百度公司的行為客觀上迫使360搜索引擎的客戶轉而去使用百度搜索引擎，增加了百度的市場競爭力。百度公司認為奇虎公司構成不正當競爭的理由無法成立，百度公司在這一案件中敗訴。
通過上述兩個案例，可以看出，在商業競爭中，市場主體更加傾向于通過市場規則、不正當競爭法等規定來保護公司的數據安全。但是，并非破壞一方設置的robots協議就構成不正當競爭，需要對robots協議進行分析，還要對另一方運用“網絡爬蟲”技術的具體行為加以分析來綜合判定。
（三）“網絡爬蟲”刑事犯罪類型
濫用“網絡爬蟲”技術，一旦達到一定的程度，就可能觸犯刑法，就傳統法益領域，可能侵害公民個人信息、知識產權等，就新型法益領域，網絡數據系統安全等就可能成為“網絡爬蟲”技術侵害的法益。
1.侵犯公民個人信息罪、侵犯著作權罪、侵犯商業秘密罪等
對于公民個人信息的侵害，從上文分析可以看出，如果只是針對個體，很難從民法層面對“網絡爬蟲”技術的使用進行規制，更多的情況是侵害的體量達到了一定的程度，直接入刑，以侵犯公民個人信息罪來予以認定。該條款是刑法修正案九新增的條款，具體規定為，“違反國家有關規定，向他人出售或者提供公民個人信息”，在司法實踐中，也確實存在以該罪名定罪量刑的情形。如魏江蒙案中，被告人魏江蒙利用“網絡爬蟲”技術，下載含有公民姓名和電話號碼的工商個體戶和單位的資料進行販賣獲利，情節特別嚴重，被判處有期徒刑四年。
除了侵犯公民個人信息罪這一罪名，出現頻率較高的還有侵犯著作權罪。如李金波等侵犯著作權案，被告人李金波注冊水滴在線公司，后來設立網站“快讀免費小說”、2014年起，被告人李金波、王強、徐文暉為了提高網站的知名度和點擊量，在未獲得玄霆公司許可的情況下，擅自通過“網絡爬蟲”技術復制、轉載玄霆公司發行于起點中文網等網站上的文字作品，提供給其用戶下載，獲得收益。本案不是簡單傳統的“網絡爬蟲”技術的使用，而是定向的抓取數據，并將內置搜索引擎轉碼升級，使得盜版技術變異升級，案件更為復雜。
2.非法入侵、破壞計算機信息系統罪
在黃后榮等非法獲取計算機信息系統數據案中，福建微數公司軟件工程師翁秀豪發現淘寶店漏洞，為增加派發優惠券的淘寶店數量，其向公司法定代表人黃后榮報告后，受到黃后榮的指示非法獲取cookie數據，獲取的淘寶用戶cookie數據達到2600萬組，利用獲取淘寶用戶的訂單數據達到1億條，情節特別嚴重，被定性為非法獲取計算機信息系統數據罪。
在新型的法益領域，“網絡爬蟲”技術的使用主要涉及的罪名有非法侵入、破壞、非法獲取計算機信息系統數據罪等，具體侵害的法益是什么，需要通過對“網絡爬蟲”技術的具體使用過程以及使用后獲得數據再進行利用的行為進行定性分析，方可得出結論。
三、“網絡爬蟲”技術使用的法律規制路徑
筆者認為，“網絡爬蟲”技術使用的違法與犯罪與否，主要取決于兩個方面：一是權利人是否允許其合法享有的數據被抓�。欢�，如若允許爬取，是否超越了允許的限度范圍。綜合這兩方面，筆者認為對于“網絡爬蟲”技術使用的法律規制如下：
（一）民事違法界限
一般來說，對于公開數據的抓取是不會構成違法與否的問題，如果有明示或默示的約定，那么只要遵循robots協議或者遵守與權利方的合同約定，也不會造成違法的情形。這里的違約情形有兩種：一種是沒有明確約定，即單方授權的情形；另一種是雙方經過合意，進行約定。
如果是單方授權允許爬取數據信息，那么其重點應當在于告知權利及權利邊界的方式。筆者認為，數據權利方應當采用積極的方式來向使用“爬蟲技術”的爬取方告知其是否能夠對數據進行爬取以及爬取的范圍為何。例如，數據權利方應當在去網頁或程序中，明確以聲明、警告等方式來對授權與否及授權內容予以告知。只要能夠證明，在一般情況下，數據權利方盡到相應的告知義務，而爬取方沒有遵守相應的義務，則視為違約，應當承擔相應的民事法律責任。
如果是雙方合意的方式，則重點就在于合同的內容本身是否有效以及對合同約定條款的遵守與否。筆者認為，該部分的內容，只要遵循民事法律的相關規定就能進行較為準確的判斷，例如，爬取的方式、內容、以及后續對于數據的運用等方面，按照合同的規則即可。但值得注意的是，如果雙方的約定造成數據權利方對數據的壟斷，那么就需要考慮該相關條款的有效與否。
實際上，在民事領域對于“網絡爬蟲”技術濫用的規制存在一定的阻力，在對實踐經驗的總結中也可以看出。因而，對于“網絡爬蟲”技術在民事領域的規制，需要在立法、司法和法理上進行更多的探索，形成較為統一的規則。
（二）不正當競爭違法界限
在商業領域，通過“網絡爬蟲”而認定不正當競爭的情形還是較為普遍的。筆者認為，在不正當競爭的認定中，需要注意的重點如下：
首先，應當對當事人的競爭關系進行確定。在傳統的商業領域中，對于競爭關系的認定需要對競爭方的行業、領域等等方面進行判斷，而大數據產業鏈分為資源、技術、應用三個部分。因此，處于上下游的商業主體即使從事的大數據大框架下的細分類別不同，也可能也存在對于數據的實質性競爭關系。筆者認為，可以結合行業的特征、商業模式、上下游商業行為等，綜合進行判斷。根據傳統商業模式能夠認定競爭關系的，自不必言，如谷米公司訴元光公司案中，一方爬取另一方數據直接用于相同模式的軟件，當然可以認定雙方存在競爭關系。但在信息數據領域，不能僅僅憑借傳統的判斷方式來認定。如果通過直接爬取商業主體的開源性數據，進而對于數據的使用或加工能夠幫助商業主體構建自己的商業模式，爭取市場份額，也可以認定為存在競爭關系。
再者，需要對“越界”行為進行判斷。并非簡單的數據系統的入侵，獲得信息數據的行為就構成不正當競爭，還要分析數據對于行為方的利用價值是否幫助爬取方增強了市場競爭力或擴大了其市場份額。當然，由于“網絡爬蟲”這種競爭方式沒有規定在反不正當競爭法第2章的具體行為模式中，因此，需要用該法第2條進行普適性的運用。一般情況下，爬取方出于主觀故意，突破爬蟲協議或破壞反爬裝置獲取數據加以利用，造成數據權利方利益受損的，應當認定為構成不正當競爭。在一般的協議中，以公平自愿為判斷基礎，還需要考慮數據取得的難易程度以及數據本身是否具有可替代性等。如果數據是完全公開，各方都可通過爬蟲技術獲取或者爬取的數據并非獨有資源，可以被輕易替代，那么就不能輕易認定不正當競爭。
最后，警惕商業主體對某一領域的完全壟斷。并非所有的“反爬協議”的規定或“反爬技術”的使用都是合理有效的，對于數據的過度保護而造成的壟斷是不被允許的。如筆者前文提到的“百度公司訴奇虎公司案”中，百度公司設定的協議針對360搜索引擎，導致360的用戶被迫使用百度搜索引擎，客觀上造成了競爭的不平等，并且進一步加強了百度公司的市場份額，違背“爬蟲技術”本身的使用目的，可能會造成數據的壟斷，非常不利于大數據的可持續發展，因此法院判決不支持百度公司的訴訟請求。隨著我們逐漸步入數據時代，反數據壟斷也成為反壟斷的重要一部分。我們需要警惕某些平臺單獨享有海量信息、憑借數據先發優勢操縱社會等風險。
（三）刑事犯罪界限
1.“網絡爬蟲”技術使用本身
當抓取者在明知沒有授權而故意避開或強行突破技術措施時，屬于“未經授權”訪問或獲取數據。與違反合約授權的數據抓取相比，其危害更為嚴重，行為人應承擔刑事責任。這一條件也成為區分民刑的界限，與設立民事條款進行數據爬取限制不同，當數據權利人設置了數據保護的技術屏障時，說明了其對于數據的“強保護力”，突破這種技術屏障突顯了行為人的主觀惡意并非一般的違約故意，客觀上導致的后果通常也是更為嚴重的。根據我國刑法規定，突破技術屏障入侵到他人計算機系統、獲取系統內的數據，可能涉及的罪名包括刑法第285條規定的非法侵入計算機信息系統罪、非法獲取計算機信息系統數據罪。有學者認為，還可能構成破壞計算機信息系統罪。筆者認為，這一觀點有待商榷。利用“網絡爬蟲”技術的目的并非破壞對方的計算機系統，而是得到相關的信息數據。當然，在獲取數據的過程中，可能會因為操作不當而導致破壞了計算機系統，但仍然應當其最終的目的作為考量，用牽連犯的理論來予以解釋則更為妥當。此外，如果針對的對象是公民個人信息，利用“網絡爬蟲”技術非法獲取，依照刑法第253條的規定，可能被定性為侵犯公民個人信息。行為人在權限許可范圍內使用爬蟲行為獲取公民個人信息，或采取爬蟲行為非法收集的公民個人信息無法識別特定自然人身份等行為，不構成犯罪。因此，對于本罪是適用需要謹慎，尤其是對本罪的適用前提“違反國家有關規定”這一客觀要件的理解，應當符合以下一些要求：首先，爬取的數據應當屬于可識別的公民個人信息；其次，該項技術的使用違反了robots協議的要求，突破協議對信息進行爬取；最后，爬取的行為還違反了其他有關的國家規定，例如網絡安全法等一系列與網絡安全及公民個人信息保護有關的法律法規。相信通過上述幾點綜合分析判斷，可以較為準確地進行定性。2.獲取數據后的使用行為在獲得信息數據后的行為，實際上不屬于嚴格的“網絡爬蟲”技術范圍內的規制行為。但是，為對“網絡爬蟲”技術使用的全過程予以較為全面的分析，筆者認為，還是需要對其后續行為予以重視。特別是在行為人的主要目的是獲取信息數據后實施違反犯罪行為的，就更加需要對后續行為進行定性分析。具體而言，對獲取的信息數據加以傳播、利用或改造，有可能涉及非法傳播淫穢物品罪、侵犯商業秘密罪、侵犯著作權罪等等。當然，由于后續的行為方式多種多樣，無法周延列舉，因此，還是需要根據具體的行為模式在具體的語境下進行判斷。結 語
“網絡爬蟲”技術本身是一種中立的技術，在數據網絡中也逐漸被常態化使用。但是，隨著數據資源對于社會主體的重要性日益增強，引發的問題也越來越多，對于立法、司法的挑戰也在不斷革新。立足于當前的中國國情，如何對“網絡爬蟲”技術進行規制，是許多部門法共同需要面對的難題。在法律層面予以重視的同時，也要切忌矯枉過正，阻礙信息技術的發展步伐，力求達到數據發展與法律規制之間的平衡。把握“網絡爬蟲”技術使用過程中法律規制的邊界，將有助于促進數據資源開放共享，共同助力中國數字經濟的高質量發展。