Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives

clouldflareは大嫌いだけど、このrobots.txtのためのイナゴAIとの戦いはめっちゃ応援してる

Cloudflare さん、AI 検索エンジンの Perplexity が秘密のクローラー（UA 偽装、IPアドレス、ASN のローテーションなどやりたい放題）を使って、robots.txt によるアクセス拒否設定をガン無視してくる件に激おこという話

中華AIはだいたいrobots.txtを無視していて、だから便利みたいな話がある