はてなまとめ
トップ
注目
新着
世の中
暮らし
政治と経済
テクノロジー
アニメとゲーム
学び
エンタメ
おもしろ
テクノロジー
OpenAI・Google・Microsoft、robots.txtでAI学習の許可・拒否を一括指定する新たな仕組みに対応へ | gihyo.jp
2026/11/02 03:52
コメント 1件
1: yaminusi
2026/11/02 22:55
でも Google 君、robots.txt で拒否してる下の階層まで定期的にクロールして URL 溜め込んでるの、GSC で自白してるよね?
OpenAI・Google・Microsoft、robots.txtでAI学習の許可・拒否を一括指定する新たな仕組みに対応へ | gihyo.jp
でも Google 君、robots.txt で拒否してる下の階層まで定期的にクロールして URL 溜め込んでるの、GSC で自白してるよね?