テクノロジー

非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい

1: rekishi_chips 2025/07/14 11:33

昔はエンジニアといえば、つなぎ着てペンチ持って油でベタベタのイメージがありましたが。

2: gm91 2025/07/14 11:54

試験は?

3: fukken 2025/07/14 12:00

webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。

4: peketamin 2025/07/14 12:07

すごい

5: kenzy_n 2025/07/14 12:11

こういう活用は進んでいく。

6: dbfireball 2025/07/14 12:20

AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも

7: kyukyunyorituryo 2025/07/14 12:56

Puppeteerのほうが簡単じゃないかな

8: xlc 2025/07/14 13:08

ヘボプログラマはスクレイピングがお好き。

9: momomoid 2025/07/14 13:15

これスクレイピングスクリプト組ませるとかじゃなくて直接LLMにやらせてるってこと? たかがスクレイピングでトークン大量に食わせてGPUガンガン回すの普通に環境破壊では

10: queeuq 2025/07/14 13:15

coopetというサービスを使うという最終目標があるからこうなるんだろうが、スクレイピングするだけならoctoparseなり使えばプログラミングなんかせんだろ。

11: hkdn 2025/07/14 13:30

プログラミングを生業にしていなければもっと生成AIの世界を楽しめたのかもしれない。現実は一人当たりでやるべき量が増えただけ。

12: takashiski 2025/07/14 13:31

箇条書きの代わりにレベルが一つ下の見出し使っても、いい感じに解釈してくれるんだ。それはそれとしてLLMに直接やらせるとめっちゃ遅いよね。どんくらい時間使ってどんくらいトークン使ってるんだろ

13: magi00 2025/07/14 13:47

RPAでAPI叩いて実行するのをプログラミングじゃないと言い張られてもサービスのターゲットになるような初心者ついてこないんじゃない?

14: suka6411144 2025/07/14 13:56

LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな、ただ結果がはたして信用できるのかという問題はあるけど

15: Wafer 2025/07/14 14:36

エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います

16: tpircs 2025/07/14 14:44

「htmlファイル一つで作って」とか「powershell一つで作って」とかを伝えると色々捗る。「テトリスをhtmlファイル一つで作って」が通じるくらいなので、やりたいことが明確なら敷居は低い。

17: strawberryhunter 2025/07/14 15:03

もっと大雑把に指示をしていれば正しく作ってくれた可能性があるが、マイクロマネジメントをすると、指示した人の能力に制限されたものしか出来上がってこないという好例になっている。

18: IGA-OS 2025/07/14 15:04

Excelもスクレイピング機能持ってたりするし、ハードルが下がるね

19: hogetax 2025/07/14 16:26

うちのサイトにもデータ取りにくるやつがいるけど、ちょいちょいウソのデータ渡してるw頻度がおかしいものはプロバイダ経由で警告

20: mon0213 2025/07/14 16:26

後で見る。15年位前、散々スクレイピングは悩みました。今はメンバーの方にお願いしてる笑

21: jintrick 2025/07/14 16:43

冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか?と聞くのだ。

22: shikiarai 2025/07/14 16:44

プログラマはもっと意味を拡張してこの人もプログラマでいい良いと思う。コードを書くのはコーダーで良い。プログラマ全体の単価は下げつつ細かい実装に対応できるコーダーの単価を上げて……としていきたいわ