AI生成っぽい流れ
ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね。ローカルLLM触れば分かるけど、性能的に全然使えない
多くのJTCは担当者の決裁権が小さすぎて細かくPoCを繰り返すには説明する手間と時間がかかりすぎるのが問題。結果大きく予算とってできる限りの範囲をベンダーに任せるのが最適解になってしまう。
最初からそんな知恵があるなら300万使うことはないので設定がおかしい
自社Azureテナントで外部ベンダーに構築してもらうケースとして置き換えて読んだら費用感も引っかかりポイントも大体こんな感じだった。
300万かけて実機導入する前に、まずクラウド環境にローカルLMM立ててベンチマークするよね。
普通の新規開発も同じ
EVO-X2。こういうPCあるんだね。128GBの統合メモリ。ローカルLLMに最適で３２万円
この環境を構築できる人にお金払ってるようなものなので、300万は妥当な気もする。AI案件を組める優秀なエンジニアなら人月200万でも安いだろうし。内製エンジニア育てるにも準備がないなら、もっと時間かかるし。
こういうのを試せる予算くらいはサクッと出してもらえると良いのだけどね
事前にデモ見せて、アジャイル開発でやるつってんのに費用が問題で別ベンダに決めたりするJTCさんサイドにも問題があるだろ
というか AWS でも Azure 経由でも、最先端のモデル使えば安くて精度も出るぞ。学習されない、保存されないのは保証されてるし、金融とか医療分野でも事例あるし。わざわざ GPU まわして精度低いモデルを使うことないでし
いつか試すかもしれないからメモ
外注だと原価30万のハードと+ソフトで300万円くらいするだろうし,そこまで自力検証出来るならそもそも外注せんやろ
既に書かれてるけど、決裁取るのがだるすぎて、どかっど外に出してしまえ、みたいなことになりがち
職場に福利厚生用マシンが増えるで！
せめて150万のmac studioではだめなん? 何やりたいのかわからないけどhttps://pc.watch.impress.co.jp/docs/column/hothot/2002592.html
UIっつかモデルの評価はクラウドでできる様な(ノ∀`)
少なくとも、このPoC自体は無駄ではないと思う。人件費や物理面含めた運用ノウハウ獲得まで考慮すると、外注は異様に高くつくよ。
きっと300万円が3万円ぐらいの規模の会社だから使っていいんじゃない。日本の現場ってそんな程度が低いの？そしてそれを良しとしてる人達も多いって事？
日本語文の区切りにコロンを使うやつは誤訳を疑う
まず触る。触ってみて初めてわかること：このUIは現場の人が使いこなせるか／実際のデータでどのくらいの精度が出るか／どのくらい手直しが必要か／業務フローのどこで詰まるか／現場の人は本当に使ってくれるか
ことハードウェアについては某社がDGXを特価でばら撒いているのでここに書いてあるものを買う必要はない
ハードウェアだけなら「こんなもの」なので内製前提なら、という感じ。とはいえ、外部業者に委託しても工数だけでバカにならんしなぁ。300万ならどんなに大きくても2人月程度でしょ。
こんな面倒くさいところだけ抜き出した単発案件をたった100万円の予算で受けるところなんてあるんだろうか
確かに管理職とか担当者の決裁権が小さすぎるから、上からガッツリ予算を持ってきて貰えないと小さく試すことすらできないってのはあるあるだよな。管理職が楽しくない理由の一つでもある。
メールやビデオ会議をクラウドサービスに頼っちゃうような普通の企業の機密レベルだとせいぜい規約で学習しないことを謳ってるLLMで十分では。
ローカルLLMやる前にテストデータでクラウドのLLMでやってうまくいくのかの確認は最低限必要だよね
STEP0：本当にローカルLLMが必要なのか社内で相談する
会社規模によるけど300万円ってそんなに大した額じゃないでしょ
ハードの値段は仕方ないとしても、ローカルLLMを使う環境なんて決め打ちで用意できるんだから環境構築は1日もあればできると思うんだけどな。
社内にこれをこなせるだけの人材がその手間をかけれるだけの余裕をもって在籍しているなら、たぶん読む必要がないな
昔から言われてることの焼き直し。SIerに丸投げしたら絶対に失敗する。基本設計位までは自前で出来ないとダメ。システムで効率化ってコトは首切るのと同義なんで、システム部と現場が対立するのは役員が対応しないと
LLM導入、お金かける前にまずお試しなんだね！ボクも新しいおもちゃはすぐには買ってもらえないにゃ〜。
ローカルLLMは趣味として楽しむのがよい。
まぁ外部に依頼して構築するのは時間の無駄なのは確か。移り変わりが早すぎるから自前で持つのはかなりのエンジニアを大量に抱えてない限りあり得ない
すごく参考になる。自分でやってる記事を追う→未来予測精度50%+αを自動化を目指して、仕事では基本使わないのにLLMの勉強してて、どのレベルから投資するかって検討してたので。
LLMは進歩が早すぎて、ローカルなんてあっという間に陳腐化するからやめた方がいい
GMKtecはマルウェア入りで有名になっていたな https://www.reddit.com/r/MiniPCs/comments/1cmfyoq/any_info_on_malware_being_on_the_gmktec_brand_pcs/?tl=ja
会社規模でみると300万程度だけどな。年収300万の人入れてなんとかなると思う？ならんだろ。
年収いくらもらってる奴が300万円をケチってんだよ
300万安すぎじゃない？ 2～3000万はかかるイメージ
というか相談を受けたらこういう回答をしていくのがいいよねって感じでもあるな
ローカルLLMのPoCの現場に関わったことないから分からないけど、挙げられているケースならインプットと期待するアウトプットを業者に渡して検証してもらうだけで済んじゃう気も
“まず触る。小さく始める。 数百円で1週間試す。30万円で2週間、実環境で検証する。課題も効果も明確になった時点で判断する。”
ITベンダに発注する人にITベンダと同等の能力を求めてる感ある。これができるならそもそも発注しなそう。
別方向からの記事「 AI目当てでMacやRyzenAIMax+395を買うな」 https://soysoftware.sakura.ne.jp/archives/4060 ／ “EVO-X2（プロセッサ: Ryzen AI Max+ 395、メモリ: 128GB統合メモリ）” もう30万円で買えなくない？
“ローカルLLMは何回もPOCやったけどどれも無理。同じLLMモデルでも、やっぱり商用サービスのように洗練された答えは返ってこない” 機密性の高い情報をAI対応する時の費用感。よっぽどnotebook lmの方がいい気がする
自力でたどり着けるっている好例っていうか。コンサルやベンダーに頼らなくても自力でローカルLLMが革新的に変わっても対応できるだろうなと思う。この内容を理解し実践できる人が多数になればいいのに
AI環境構築、PoC進めれる人材を1ヶ月呼んだら150-200はかかるんじゃない？必要経費というか先行投資でしょ。
ローカルLLMは速度さえ気にしなければDRAMたくさん積んだ手元のPCでも動きますよ。PoCするならそれでやってみては？たとえ高速になってもまだ能力的に使い物にならないと思いますけどね。
もしかするとMicrosoft 365のサブスクに付いてるCopilot（法人テナントはデータ漏洩防止付き）で十分という会社も多いと思う昨今
そもそもインターネットに繋がってないLAN内でしか作業出来なかったりするから、その選択肢は最初から存在しない→『ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね』
runpodとかvast.aiでいいのでは・・・
“選択肢C: やらない もし効果が見込めないと分かったら、ここでストップします。損失は30万円。300万円のPoCをやってから気づくより、圧倒的に安く済みます”
弊社もそう。どこのベンダーさんにお願いしたのか知らないけど、セキュリティがガチガチ過ぎてミリつか。Teamsでもおんなじことやらかしたのに全然教訓が生きてない。「角を矯めて牛を殺す」の好（悪）事例。
グラボが1枚しか積めないマシンを挙げてくる時点でも終わってる。AIはグラボ「しか」使えないから、ちゃんと組んだ「AI専用機」は仮想通貨マイニングリグに近い形になる。
POCこそアジャイルな方法で撤退も含めて検討してほしいね
初手はマシンじゃなくてクラウドなのは普通として、メガクラウドじゃないと許可が下りないよね、JTCでは。
“触らないとわからない課題があります。レポートには書かれない問題があります。段階的に進めることで、それらを早期に発見し、解決できます。 結果的に、無駄のない投資ができます。時間もお金も節約できます。”
ローカルLLMのPoCに300万円使う前に読んでほしい話｜dx_note
AI生成っぽい流れ
ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね。ローカルLLM触れば分かるけど、性能的に全然使えない
多くのJTCは担当者の決裁権が小さすぎて細かくPoCを繰り返すには説明する手間と時間がかかりすぎるのが問題。結果大きく予算とってできる限りの範囲をベンダーに任せるのが最適解になってしまう。
最初からそんな知恵があるなら300万使うことはないので設定がおかしい
自社Azureテナントで外部ベンダーに構築してもらうケースとして置き換えて読んだら費用感も引っかかりポイントも大体こんな感じだった。
300万かけて実機導入する前に、まずクラウド環境にローカルLMM立ててベンチマークするよね。
普通の新規開発も同じ
EVO-X2。こういうPCあるんだね。128GBの統合メモリ。ローカルLLMに最適で３２万円
この環境を構築できる人にお金払ってるようなものなので、300万は妥当な気もする。AI案件を組める優秀なエンジニアなら人月200万でも安いだろうし。内製エンジニア育てるにも準備がないなら、もっと時間かかるし。
こういうのを試せる予算くらいはサクッと出してもらえると良いのだけどね
事前にデモ見せて、アジャイル開発でやるつってんのに費用が問題で別ベンダに決めたりするJTCさんサイドにも問題があるだろ
というか AWS でも Azure 経由でも、最先端のモデル使えば安くて精度も出るぞ。学習されない、保存されないのは保証されてるし、金融とか医療分野でも事例あるし。わざわざ GPU まわして精度低いモデルを使うことないでし
いつか試すかもしれないからメモ
外注だと原価30万のハードと+ソフトで300万円くらいするだろうし,そこまで自力検証出来るならそもそも外注せんやろ
既に書かれてるけど、決裁取るのがだるすぎて、どかっど外に出してしまえ、みたいなことになりがち
職場に福利厚生用マシンが増えるで！
せめて150万のmac studioではだめなん? 何やりたいのかわからないけどhttps://pc.watch.impress.co.jp/docs/column/hothot/2002592.html
UIっつかモデルの評価はクラウドでできる様な(ノ∀`)
少なくとも、このPoC自体は無駄ではないと思う。人件費や物理面含めた運用ノウハウ獲得まで考慮すると、外注は異様に高くつくよ。
きっと300万円が3万円ぐらいの規模の会社だから使っていいんじゃない。日本の現場ってそんな程度が低いの？そしてそれを良しとしてる人達も多いって事？
日本語文の区切りにコロンを使うやつは誤訳を疑う
まず触る。触ってみて初めてわかること：このUIは現場の人が使いこなせるか／実際のデータでどのくらいの精度が出るか／どのくらい手直しが必要か／業務フローのどこで詰まるか／現場の人は本当に使ってくれるか
ことハードウェアについては某社がDGXを特価でばら撒いているのでここに書いてあるものを買う必要はない
ハードウェアだけなら「こんなもの」なので内製前提なら、という感じ。とはいえ、外部業者に委託しても工数だけでバカにならんしなぁ。300万ならどんなに大きくても2人月程度でしょ。
こんな面倒くさいところだけ抜き出した単発案件をたった100万円の予算で受けるところなんてあるんだろうか
確かに管理職とか担当者の決裁権が小さすぎるから、上からガッツリ予算を持ってきて貰えないと小さく試すことすらできないってのはあるあるだよな。管理職が楽しくない理由の一つでもある。
メールやビデオ会議をクラウドサービスに頼っちゃうような普通の企業の機密レベルだとせいぜい規約で学習しないことを謳ってるLLMで十分では。
ローカルLLMやる前にテストデータでクラウドのLLMでやってうまくいくのかの確認は最低限必要だよね
STEP0：本当にローカルLLMが必要なのか社内で相談する
会社規模によるけど300万円ってそんなに大した額じゃないでしょ
ハードの値段は仕方ないとしても、ローカルLLMを使う環境なんて決め打ちで用意できるんだから環境構築は1日もあればできると思うんだけどな。
社内にこれをこなせるだけの人材がその手間をかけれるだけの余裕をもって在籍しているなら、たぶん読む必要がないな
昔から言われてることの焼き直し。SIerに丸投げしたら絶対に失敗する。基本設計位までは自前で出来ないとダメ。システムで効率化ってコトは首切るのと同義なんで、システム部と現場が対立するのは役員が対応しないと
LLM導入、お金かける前にまずお試しなんだね！ボクも新しいおもちゃはすぐには買ってもらえないにゃ〜。
ローカルLLMは趣味として楽しむのがよい。
まぁ外部に依頼して構築するのは時間の無駄なのは確か。移り変わりが早すぎるから自前で持つのはかなりのエンジニアを大量に抱えてない限りあり得ない
すごく参考になる。自分でやってる記事を追う→未来予測精度50%+αを自動化を目指して、仕事では基本使わないのにLLMの勉強してて、どのレベルから投資するかって検討してたので。
LLMは進歩が早すぎて、ローカルなんてあっという間に陳腐化するからやめた方がいい
GMKtecはマルウェア入りで有名になっていたな https://www.reddit.com/r/MiniPCs/comments/1cmfyoq/any_info_on_malware_being_on_the_gmktec_brand_pcs/?tl=ja
会社規模でみると300万程度だけどな。年収300万の人入れてなんとかなると思う？ならんだろ。
年収いくらもらってる奴が300万円をケチってんだよ
300万安すぎじゃない？ 2～3000万はかかるイメージ
というか相談を受けたらこういう回答をしていくのがいいよねって感じでもあるな
ローカルLLMのPoCの現場に関わったことないから分からないけど、挙げられているケースならインプットと期待するアウトプットを業者に渡して検証してもらうだけで済んじゃう気も
“まず触る。小さく始める。 数百円で1週間試す。30万円で2週間、実環境で検証する。課題も効果も明確になった時点で判断する。”
ITベンダに発注する人にITベンダと同等の能力を求めてる感ある。これができるならそもそも発注しなそう。
別方向からの記事「 AI目当てでMacやRyzenAIMax+395を買うな」 https://soysoftware.sakura.ne.jp/archives/4060 ／ “EVO-X2（プロセッサ: Ryzen AI Max+ 395、メモリ: 128GB統合メモリ）” もう30万円で買えなくない？
“ローカルLLMは何回もPOCやったけどどれも無理。同じLLMモデルでも、やっぱり商用サービスのように洗練された答えは返ってこない” 機密性の高い情報をAI対応する時の費用感。よっぽどnotebook lmの方がいい気がする
自力でたどり着けるっている好例っていうか。コンサルやベンダーに頼らなくても自力でローカルLLMが革新的に変わっても対応できるだろうなと思う。この内容を理解し実践できる人が多数になればいいのに
AI環境構築、PoC進めれる人材を1ヶ月呼んだら150-200はかかるんじゃない？必要経費というか先行投資でしょ。
ローカルLLMは速度さえ気にしなければDRAMたくさん積んだ手元のPCでも動きますよ。PoCするならそれでやってみては？たとえ高速になってもまだ能力的に使い物にならないと思いますけどね。
もしかするとMicrosoft 365のサブスクに付いてるCopilot（法人テナントはデータ漏洩防止付き）で十分という会社も多いと思う昨今
そもそもインターネットに繋がってないLAN内でしか作業出来なかったりするから、その選択肢は最初から存在しない→『ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね』
runpodとかvast.aiでいいのでは・・・
“選択肢C: やらない もし効果が見込めないと分かったら、ここでストップします。損失は30万円。300万円のPoCをやってから気づくより、圧倒的に安く済みます”
弊社もそう。どこのベンダーさんにお願いしたのか知らないけど、セキュリティがガチガチ過ぎてミリつか。Teamsでもおんなじことやらかしたのに全然教訓が生きてない。「角を矯めて牛を殺す」の好（悪）事例。
グラボが1枚しか積めないマシンを挙げてくる時点でも終わってる。AIはグラボ「しか」使えないから、ちゃんと組んだ「AI専用機」は仮想通貨マイニングリグに近い形になる。
POCこそアジャイルな方法で撤退も含めて検討してほしいね
初手はマシンじゃなくてクラウドなのは普通として、メガクラウドじゃないと許可が下りないよね、JTCでは。
“触らないとわからない課題があります。レポートには書かれない問題があります。段階的に進めることで、それらを早期に発見し、解決できます。 結果的に、無駄のない投資ができます。時間もお金も節約できます。”