Perplexity被指绕过封锁抓取网站内容，引发AI爬虫合法性激辩

Cloudflare近日指控AI搜索引擎Perplexity绕过robots.txt封锁抓取内容，甚至模拟浏览器身份访问特定网站，引发广泛争议。虽然Perplexity回应称行为源自第三方服务，但业内对AI代理是否应被视作“用户行为”或“爬虫行为”仍争论不休。支持者认为AI代表用户访问内容无可厚非，反对者则强调内容创作者希望获得真实用户访问和广告收入。随着生成式AI迅速扩张，网络流量中超过一半来自AI，网站是否应阻挡AI代理，正成为下一阶段互联网生态的核心议题。