警惕！你的数据快被AI爬虫爬完了！

来源：看点时报 2024-07-31 15:52:05

最近一两年，全世界科技圈最火的话题就是AI大模型了。各种文生文、文生图乃至文生视频大模型横空出世，顷刻间满足了人类对未来世界的畅想，诞生了无数商机与可能性。各家人工智能公司都摩拳擦掌，倾尽全力打造自己的大模型，希望能在这场全新的科技拉力赛中占据领先位置。

但，繁荣和进步的背后，也隐藏着巨大的数据安全危机。

众所周知，海量的数据是训练大模型的必备材料。就像想发动一辆车需要汽油一样，想把大模型训练好，就需要大量优质的数据来做“汽油”。比如，OpenAI在训练GPT-4时使用了大约13万亿个token，按照Epoch的研究员Pablo Villalobos预测，GPT-5大约需要60到100万亿个token才能实现预期中的效果增长。而这些token，正来自于海量的数据。

而规模如此庞大的数据又从何而来呢？当然是来自于互联网啦。

在过去一两年的时间内，网络上的爬虫数量成倍增长、数不胜数，疯狂地在互联网上“搜刮”各种数据。

与此同时，随之而来的数据侵权和泄漏等等问题也引起了各内容厂商的强烈反感。

去年秋天，BBC 国家总监戴维斯说：“我们认为，这种未经允许就‘搜刮’BBC数据以训练大模型的做法不符合公众利益”，随后，他宣布BBC将封锁OpenAI的爬虫。

今年年初，路透社研究所发布了一项名为《有多少新闻网站会屏蔽人工智能爬虫》的研究。研究结果显示，截至 2023 年底，在全球 10 个国家的热门新闻网站中，近一半网站在robot.txt中屏蔽了 OpenAI 的爬虫 (48%) ，近四分之一屏蔽了谷歌的 AI 爬虫 (24%)，这个数据能充分说明内容平台对AI爬虫的“深恶痛绝”。

但传统的用来防止BOT的Robots协议终究是一场“君子之约”，它只能防住表明自己身份的爬虫。在目光所不能及之处，还有许多黑灰产嗅到了数据变卖的利益，制造出更多爬虫在互联网的各个角落里阴暗爬行。他们用伪造UA、更换IP等等手段，就能够轻而易举地伪装自己，继续对数据“为所欲为”。

更有甚者，已经开始用AI和大模型来“加持”爬虫技术，让爬虫进化地更加灵活与智能。比如，传统的爬虫内容解析通常采用BS4等库，在面对复杂的页面结构时，编写XPath选择器就变得更加繁琐且容易出错；当页面结构变化时，也可能要重新编写选择器，让爬虫的使用变得非常复杂。但在大模型技术加持下，内容解析变得异常简单，大模型可以直接从网页源码中自动抽取标题和正文等信息，大大提升了内容解析的效率和准确性。

这样的爬虫，相当于从蜥蜴进化成了“哥斯拉”，从汽车变身成了变形金刚，让传统的BOT防御手段面临着更大的挑战。过去的一些策略已经不能抵挡来势汹汹的新生代爬虫大军，BOT防御措施急需一场有针对性的升级。