OpenAI・Google・Microsoft、robots.txtでAI学習の許可・拒否を一括指定する新たな仕組みに対応へ | gihyo.jp

でも Google 君、robots.txt で拒否してる下の階層まで定期的にクロールして URL 溜め込んでるの、GSC で自白してるよね?

robots.txtでAI学習制御を一括指定できる仕組みは助かるな　あとは勝手にクローリングする野良AI業者が守るかどうかだわ

十分データが集まったから、後続を潰す地ならしを始めないとね