よくまとまってる。シゴデキかなと思ったら高1とのことで横転。
万博のツール無しBANは割と疑わしいのでは?と思ってる
おもろい。ただcapchaもログインまで手動であとは自動化出来るし、レートリミットもそれに応じてアクセスも絞れるし、フィールド名変えても画面位置で入力させられるし。生成AIでよしなに出来そう。
スクレイピングがカジュアルになったので記事に列挙された対策は初手としてはそれなりに効果があるのかも。本気でやろうとするとすげぇしんどいんだよね。コストに跳ね返るからマジで迷惑
最近はお行儀の悪いAIクローラーが増えて余計な仕事が増えちゃうね
今は大抵ubuntu serverだと思うのでapt install fail2banで楽々です。え?クラウド?サーバレス?ははっ、頑張って😉
簡潔、わかりやすい!
ほえー色んな手法があるもんだなあ。
スクレイピング・自動化対策について
よくまとまってる。シゴデキかなと思ったら高1とのことで横転。
万博のツール無しBANは割と疑わしいのでは?と思ってる
おもろい。ただcapchaもログインまで手動であとは自動化出来るし、レートリミットもそれに応じてアクセスも絞れるし、フィールド名変えても画面位置で入力させられるし。生成AIでよしなに出来そう。
スクレイピングがカジュアルになったので記事に列挙された対策は初手としてはそれなりに効果があるのかも。本気でやろうとするとすげぇしんどいんだよね。コストに跳ね返るからマジで迷惑
最近はお行儀の悪いAIクローラーが増えて余計な仕事が増えちゃうね
今は大抵ubuntu serverだと思うのでapt install fail2banで楽々です。え?クラウド?サーバレス?ははっ、頑張って😉
簡潔、わかりやすい!
ほえー色んな手法があるもんだなあ。