网站设置robots协议阻止竞争对手抓取数据，是否构成不正当竞争

网站设置robots协议阻止竞争对手抓取数据，是否构成不正当竞争

本文为法律科普，案例来源于《中国法院年度案例》，人物已做脱敏处理。

案情简介

科技公司（运营“今日x”产品）和技术公司（运营A社交媒体平台）都是互联网企业。技术公司在自己的网站中设置了一个名为robots.txt的文件，这个文件的作用是告诉网络爬虫（一种自动抓取网站信息的程序）哪些内容可以抓取，哪些不可以。技术公司在文件中明确禁止科技公司的网络机器人“xSpider”抓取其网站的任何内容，但允许其他网络机器人抓取（除了带有特定参数的内容）。科技公司认为，技术公司这种针对性的限制行为，导致其无法正常获取A平台的信息，降低了用户体验和竞争优势，属于不正当竞争，于是起诉要求技术公司停止行为、赔偿损失。

法院怎么判

本案经过两级法院审理，结果截然不同。

一审法院（北京知识产权法院）认为：技术公司的行为直接导致科技公司的网络机器人无法抓取信息，降低了科技公司平台的用户体验和竞争优势，损害了科技公司的合法权益，违反了公平竞争、诚实信用原则和互联网行业公认的商业道德。因此，判决技术公司停止不正当竞争行为、消除影响，并赔偿科技公司经济损失30万元及合理开支3.4万余元。

二审法院（北京市高级人民法院）认为：通过robots协议限制网络机器人抓取，是互联网行业的常见做法，并不当然违背商业道德。科技公司自己也在网站上允许其他网站通过robots协议禁止其抓取内容，说明科技公司对此是认可和接受的。事实上，科技公司并没有因为技术公司的限制而完全无法抓取A平台内容，它仍然抓取了，只是根据是否获得用户授权来决定是否使用。因此，技术公司的行为属于企业自主经营权的正当行使，不构成不正当竞争。二审法院撤销了一审判决，驳回了科技公司的全部诉讼请求。

律师解读

这个案例的核心问题是：网站经营者通过robots协议针对性限制某个竞争对手抓取其数据，是否违法？

robots协议是互联网行业早期形成的技术规范，最初是为了防止爬虫过度抓取导致网站服务器过载，以及让爬虫避开不希望被抓取的内容。中国互联网协会发布的《互联网搜索引擎服务自律公约》也要求，设置robots协议应遵循公平、开放的原则，限制抓取应有正当理由。

但本案的关键在于，这个规则主要适用于搜索引擎。搜索引擎的作用是促进信息流通和共享，具有一定的公益性质，所以不宜随意限制。而本案中，科技公司的“xSpider”并非搜索引擎，它抓取A平台的内容后，直接用于自己的“微x”产品，实现了对A平台内容的实质性替代。这种情况下，技术公司设置限制，是为了保护自己的经营资源，防止被竞争对手“不劳而获”地掠夺。这种行为属于企业自主经营权的体现，不构成不正当竞争。

简单来说，如果爬虫是搜索引擎，为了公共利益抓取信息，网站设置限制可能构成不正当竞争；但如果爬虫是竞争对手，为了直接替代原网站的内容和服务，网站设置限制则属于正当的自我保护。

王德林律师提示：

对于互联网企业来说，设置robots协议限制爬虫抓取数据，并不当然违法，但需要注意以下几点：一是要明确限制的理由，如果是出于保护自身核心数据、防止竞争对手直接替代性使用，通常属于正当经营行为；二是限制不能针对搜索引擎等具有公益性质的爬虫，否则可能违反行业自律公约；三是限制行为不能与其他技术手段（如技术封锁）结合，否则可能被认定为不正当竞争。文山地区的互联网企业如果遇到类似问题，建议先评估自身业务性质和数据价值，再决定是否设置限制，必要时咨询专业律师。

---

王德林 律师

云南八谦（文山）律师事务所 · 副主任

电话：15987555284

邮箱：418537189@qq.com

地址：云南省文山壮族苗族自治州文山市