昔はエンジニアといえば、つなぎ着てペンチ持って油でベタベタのイメージがありましたが。
試験は?
webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。
すごい
こういう活用は進んでいく。
AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも
Puppeteerのほうが簡単じゃないかな
ヘボプログラマはスクレイピングがお好き。
これスクレイピングスクリプト組ませるとかじゃなくて直接LLMにやらせてるってこと? たかがスクレイピングでトークン大量に食わせてGPUガンガン回すの普通に環境破壊では
coopetというサービスを使うという最終目標があるからこうなるんだろうが、スクレイピングするだけならoctoparseなり使えばプログラミングなんかせんだろ。
プログラミングを生業にしていなければもっと生成AIの世界を楽しめたのかもしれない。現実は一人当たりでやるべき量が増えただけ。
箇条書きの代わりにレベルが一つ下の見出し使っても、いい感じに解釈してくれるんだ。それはそれとしてLLMに直接やらせるとめっちゃ遅いよね。どんくらい時間使ってどんくらいトークン使ってるんだろ
RPAでAPI叩いて実行するのをプログラミングじゃないと言い張られてもサービスのターゲットになるような初心者ついてこないんじゃない?
LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな、ただ結果がはたして信用できるのかという問題はあるけど
エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います
「htmlファイル一つで作って」とか「powershell一つで作って」とかを伝えると色々捗る。「テトリスをhtmlファイル一つで作って」が通じるくらいなので、やりたいことが明確なら敷居は低い。
もっと大雑把に指示をしていれば正しく作ってくれた可能性があるが、マイクロマネジメントをすると、指示した人の能力に制限されたものしか出来上がってこないという好例になっている。
Excelもスクレイピング機能持ってたりするし、ハードルが下がるね
うちのサイトにもデータ取りにくるやつがいるけど、ちょいちょいウソのデータ渡してるw頻度がおかしいものはプロバイダ経由で警告
後で見る。15年位前、散々スクレイピングは悩みました。今はメンバーの方にお願いしてる笑
冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか?と聞くのだ。
プログラマはもっと意味を拡張してこの人もプログラマでいい良いと思う。コードを書くのはコーダーで良い。プログラマ全体の単価は下げつつ細かい実装に対応できるコーダーの単価を上げて……としていきたいわ
非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい
昔はエンジニアといえば、つなぎ着てペンチ持って油でベタベタのイメージがありましたが。
試験は?
webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。
すごい
こういう活用は進んでいく。
AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも
Puppeteerのほうが簡単じゃないかな
ヘボプログラマはスクレイピングがお好き。
これスクレイピングスクリプト組ませるとかじゃなくて直接LLMにやらせてるってこと? たかがスクレイピングでトークン大量に食わせてGPUガンガン回すの普通に環境破壊では
coopetというサービスを使うという最終目標があるからこうなるんだろうが、スクレイピングするだけならoctoparseなり使えばプログラミングなんかせんだろ。
プログラミングを生業にしていなければもっと生成AIの世界を楽しめたのかもしれない。現実は一人当たりでやるべき量が増えただけ。
箇条書きの代わりにレベルが一つ下の見出し使っても、いい感じに解釈してくれるんだ。それはそれとしてLLMに直接やらせるとめっちゃ遅いよね。どんくらい時間使ってどんくらいトークン使ってるんだろ
RPAでAPI叩いて実行するのをプログラミングじゃないと言い張られてもサービスのターゲットになるような初心者ついてこないんじゃない?
LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな、ただ結果がはたして信用できるのかという問題はあるけど
エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います
「htmlファイル一つで作って」とか「powershell一つで作って」とかを伝えると色々捗る。「テトリスをhtmlファイル一つで作って」が通じるくらいなので、やりたいことが明確なら敷居は低い。
もっと大雑把に指示をしていれば正しく作ってくれた可能性があるが、マイクロマネジメントをすると、指示した人の能力に制限されたものしか出来上がってこないという好例になっている。
Excelもスクレイピング機能持ってたりするし、ハードルが下がるね
うちのサイトにもデータ取りにくるやつがいるけど、ちょいちょいウソのデータ渡してるw頻度がおかしいものはプロバイダ経由で警告
後で見る。15年位前、散々スクレイピングは悩みました。今はメンバーの方にお願いしてる笑
冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか?と聞くのだ。
プログラマはもっと意味を拡張してこの人もプログラマでいい良いと思う。コードを書くのはコーダーで良い。プログラマ全体の単価は下げつつ細かい実装に対応できるコーダーの単価を上げて……としていきたいわ