昔はエンジニアといえば、つなぎ着てペンチ持って油でベタベタのイメージがありましたが。
試験は？
webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。
すごい
こういう活用は進んでいく。
AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも
Puppeteerのほうが簡単じゃないかな
ヘボプログラマはスクレイピングがお好き。
これスクレイピングスクリプト組ませるとかじゃなくて直接LLMにやらせてるってこと？ たかがスクレイピングでトークン大量に食わせてGPUガンガン回すの普通に環境破壊では
coopetというサービスを使うという最終目標があるからこうなるんだろうが、スクレイピングするだけならoctoparseなり使えばプログラミングなんかせんだろ。
プログラミングを生業にしていなければもっと生成AIの世界を楽しめたのかもしれない。現実は一人当たりでやるべき量が増えただけ。
箇条書きの代わりにレベルが一つ下の見出し使っても、いい感じに解釈してくれるんだ。それはそれとしてLLMに直接やらせるとめっちゃ遅いよね。どんくらい時間使ってどんくらいトークン使ってるんだろ
RPAでAPI叩いて実行するのをプログラミングじゃないと言い張られてもサービスのターゲットになるような初心者ついてこないんじゃない？
LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな、ただ結果がはたして信用できるのかという問題はあるけど
エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います
「htmlファイル一つで作って」とか「powershell一つで作って」とかを伝えると色々捗る。「テトリスをhtmlファイル一つで作って」が通じるくらいなので、やりたいことが明確なら敷居は低い。
もっと大雑把に指示をしていれば正しく作ってくれた可能性があるが、マイクロマネジメントをすると、指示した人の能力に制限されたものしか出来上がってこないという好例になっている。
Excelもスクレイピング機能持ってたりするし、ハードルが下がるね
うちのサイトにもデータ取りにくるやつがいるけど、ちょいちょいウソのデータ渡してるｗ頻度がおかしいものはプロバイダ経由で警告
後で見る。15年位前、散々スクレイピングは悩みました。今はメンバーの方にお願いしてる笑
冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか？と聞くのだ。
プログラマはもっと意味を拡張してこの人もプログラマでいい良いと思う。コードを書くのはコーダーで良い。プログラマ全体の単価は下げつつ細かい実装に対応できるコーダーの単価を上げて……としていきたいわ
LLMが取ってくるデータってどこまで信頼できるのかなあ？ せっかくAIを使うなら、スクレイピングする仕組みの作り方を教わって構築したほうがよさそう
PDFに書いてある表のデータをJSONとかに変換してもらおうと頼んだら普通に幻視起こしてるデータをお出ししてきたので、やはりクリティカルなデータは目視確認必須。それ以前のやり取りではちゃんと読めてたのにな。
これやったけど、数字が一部嘘なんだよね…目視でのチェックが必要になった
私も冬は毎日山の天気見てる民なのでとても助かる。春先はどこがストップスノーなのか分かれば最強だと思う
最新の気象データはCSVでダウンロードできるけどこれじゃダメ？https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html
スクレイピングねえ。頼むから1秒置きで全ページを毎日取得とか負荷がかかる方法で取るのはやめてほしい。酷い仕様のスクレイピングが来るたびに夜中だろうが起こされる人の事も考えて。もしAPIがあるならそれ使って
岡崎市図書館みたいなことにならないようにだけ祈っております
世の中「非デザイナーの私がデザインなしで適当なテンプレートでWebサイトを作りました」みたいな事例にあふれていて、プログラマーも特別視する理由は何も無い。エンジニアもクリエイターもそば屋も同じ。
スクレイピングと聞くとアレルギー反応を起こすエンジニアがチラホラ
映画祭のサイトを参照して作品リストを作らせようとして「静的ページしか読めません」と却下され、部門別の一覧から各作品ページのデータも拾ってと指示したら「Python勉強しましょう」と言われた俺⋯。いい方法ない？
非エンジニアコント
俺もエンジン作れない！！！！！！！！
なんとなくでも動く便利さと，なんとなくでも動いてしまう怖さが，うまいことミックスされている．非エンジニアにとっては「できた！」という達成感，エンジニアにとっては「本当にこれでいいのか？」という不安感．
そもそもスプレッドシートには、指定ページのHTML要素解析してデータ取得する機能がある。AIが間違った値を持ってくることを考慮すると、スプレッドシートの機能使ったほうがよさそう。
非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい
昔はエンジニアといえば、つなぎ着てペンチ持って油でベタベタのイメージがありましたが。
試験は？
webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。
すごい
こういう活用は進んでいく。
AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも
Puppeteerのほうが簡単じゃないかな
ヘボプログラマはスクレイピングがお好き。
これスクレイピングスクリプト組ませるとかじゃなくて直接LLMにやらせてるってこと？ たかがスクレイピングでトークン大量に食わせてGPUガンガン回すの普通に環境破壊では
coopetというサービスを使うという最終目標があるからこうなるんだろうが、スクレイピングするだけならoctoparseなり使えばプログラミングなんかせんだろ。
プログラミングを生業にしていなければもっと生成AIの世界を楽しめたのかもしれない。現実は一人当たりでやるべき量が増えただけ。
箇条書きの代わりにレベルが一つ下の見出し使っても、いい感じに解釈してくれるんだ。それはそれとしてLLMに直接やらせるとめっちゃ遅いよね。どんくらい時間使ってどんくらいトークン使ってるんだろ
RPAでAPI叩いて実行するのをプログラミングじゃないと言い張られてもサービスのターゲットになるような初心者ついてこないんじゃない？
LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな、ただ結果がはたして信用できるのかという問題はあるけど
エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います
「htmlファイル一つで作って」とか「powershell一つで作って」とかを伝えると色々捗る。「テトリスをhtmlファイル一つで作って」が通じるくらいなので、やりたいことが明確なら敷居は低い。
もっと大雑把に指示をしていれば正しく作ってくれた可能性があるが、マイクロマネジメントをすると、指示した人の能力に制限されたものしか出来上がってこないという好例になっている。
Excelもスクレイピング機能持ってたりするし、ハードルが下がるね
うちのサイトにもデータ取りにくるやつがいるけど、ちょいちょいウソのデータ渡してるｗ頻度がおかしいものはプロバイダ経由で警告
後で見る。15年位前、散々スクレイピングは悩みました。今はメンバーの方にお願いしてる笑
冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか？と聞くのだ。
プログラマはもっと意味を拡張してこの人もプログラマでいい良いと思う。コードを書くのはコーダーで良い。プログラマ全体の単価は下げつつ細かい実装に対応できるコーダーの単価を上げて……としていきたいわ
LLMが取ってくるデータってどこまで信頼できるのかなあ？ せっかくAIを使うなら、スクレイピングする仕組みの作り方を教わって構築したほうがよさそう
PDFに書いてある表のデータをJSONとかに変換してもらおうと頼んだら普通に幻視起こしてるデータをお出ししてきたので、やはりクリティカルなデータは目視確認必須。それ以前のやり取りではちゃんと読めてたのにな。
これやったけど、数字が一部嘘なんだよね…目視でのチェックが必要になった
私も冬は毎日山の天気見てる民なのでとても助かる。春先はどこがストップスノーなのか分かれば最強だと思う
最新の気象データはCSVでダウンロードできるけどこれじゃダメ？https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html
スクレイピングねえ。頼むから1秒置きで全ページを毎日取得とか負荷がかかる方法で取るのはやめてほしい。酷い仕様のスクレイピングが来るたびに夜中だろうが起こされる人の事も考えて。もしAPIがあるならそれ使って
岡崎市図書館みたいなことにならないようにだけ祈っております
世の中「非デザイナーの私がデザインなしで適当なテンプレートでWebサイトを作りました」みたいな事例にあふれていて、プログラマーも特別視する理由は何も無い。エンジニアもクリエイターもそば屋も同じ。
スクレイピングと聞くとアレルギー反応を起こすエンジニアがチラホラ
映画祭のサイトを参照して作品リストを作らせようとして「静的ページしか読めません」と却下され、部門別の一覧から各作品ページのデータも拾ってと指示したら「Python勉強しましょう」と言われた俺⋯。いい方法ない？
非エンジニアコント
俺もエンジン作れない！！！！！！！！
なんとなくでも動く便利さと，なんとなくでも動いてしまう怖さが，うまいことミックスされている．非エンジニアにとっては「できた！」という達成感，エンジニアにとっては「本当にこれでいいのか？」という不安感．
そもそもスプレッドシートには、指定ページのHTML要素解析してデータ取得する機能がある。AIが間違った値を持ってくることを考慮すると、スプレッドシートの機能使ったほうがよさそう。