斜め読みだけど本体価格を無視したとしてもさすがに電気代はかかるので月額0円というのはちょっといいすぎよねぇ。機材さえあればAIサーバはそこそこ動くのは確かにそう。んで、クラウドのと比べると圧倒的に遅い
入手性はどうなんだ
いや、もう金かかりすぎだろ
AMDがここ数年AI環境（ミドルウェア等の整備）に努めているのは事実。ただ、月額0円は流石に悪意あるタイトル設定で、どう考えても実用性も考えれば環境構築のテスト程度であって、それ以上でもそれ以下にもならないよ
ローカルAIならタダでできる理論は設備費と電気料金を無いものとしているのが多いな
ROCm環境の構築で昔ハゲるほど苦労した思い出。いまはDocker一発で動くとかいい時代になったな
「一般的なチャット・文書要約中心であれば、10人規模でも現実的に共用できる性能といえる」ほええええ。オープンモデルがクラウドモデルに追いつくタイムラグもじわじわ縮まってるから、余裕があればなにげにありけ
今はJTCはM$の鴨葱なのだけど、毎回年寄りの「我が社の機密情報が！」あとPマーク関連にかこつけて業者がローカルLLMサーバーのPPT作成チラシを担いでくる。で、その保守は誰がやるんですかね。
依存度が急上昇することを予想するにAIサーバーの自前コストが鰻登りになりそう んでまたクラウド回帰→漏洩やサーバーダウントラブル→自社ローカル…の輪廻をずっと繰り返しそうｗ
まぁ言わんとすることはわかるが、Radeon AI PRO R9700はNVIDIAより安いと言っても25万するからなぁ。
ただし摩擦はないものとする、空気抵抗は考えないこととする、電気代は考えないものとする(New!)
Gemma 4 26B-A4B-it AWQ INT4ならR9700 1台で4並列39tok/secくらいは出るよと / int4量子化で全く性能落ちてなかったとしてもo3-mini-highとかGPT-5 mini (high)とかGemini 3.1 Flash-Liteあたりに近い性能
「オンプレは月額無料！」ってこと
超小型〜中型モデルの性能が上がってるからどこかでローカルLLMが美味しいバランスは出てきそうだけど、まだちょっと見えないんだよなぁ。クラウドはやはり強い。
電気代を甘く見過ぎている。まじやばいよ。電気代が安い時間帯しか稼働させないとかやればコスト削減できる可能性もある
要するに提供元がAMDのタイアップ記事ですね
電気代は空調も含めるともっと大変な事に。低頻度で動かす程度はともかくエージェントみたいにずっと動いてると大変。とは言え最近のレートの高騰でクレジットが秒で無くなるのを見るとローカルに夢見たくはなる。
スポンサードだとしてもこういうタイトル詐欺は長期的に自分の首を絞めると思いねえ。
ブコメで電気代って連呼されてるので一応計算。TBP300Wなので大雑把にシステムで500Wとして1時間で20円。8時間×20日回っぱなしだと3200円。そもそものR9700の償却コストも考えるとコスト削減よりはローカル完結に価値を文字数
Radeon AI PRO R9700で作る社内ローカルLLMサーバーを解説。32GB VRAM、vLLM、Open WebUI、RAGを使い、Gemma 4 26Bで4並列155.8tok/s。月額課金なしで社内文書活用を狙う。
脱・クラウドAIで情報漏洩を防ぐ。AMD Ryzen/Radeonで構築する「月額0円」のAIサーバー [Sponsored]
斜め読みだけど本体価格を無視したとしてもさすがに電気代はかかるので月額0円というのはちょっといいすぎよねぇ。機材さえあればAIサーバはそこそこ動くのは確かにそう。んで、クラウドのと比べると圧倒的に遅い
入手性はどうなんだ
いや、もう金かかりすぎだろ
AMDがここ数年AI環境（ミドルウェア等の整備）に努めているのは事実。ただ、月額0円は流石に悪意あるタイトル設定で、どう考えても実用性も考えれば環境構築のテスト程度であって、それ以上でもそれ以下にもならないよ
ローカルAIならタダでできる理論は設備費と電気料金を無いものとしているのが多いな
ROCm環境の構築で昔ハゲるほど苦労した思い出。いまはDocker一発で動くとかいい時代になったな
「一般的なチャット・文書要約中心であれば、10人規模でも現実的に共用できる性能といえる」ほええええ。オープンモデルがクラウドモデルに追いつくタイムラグもじわじわ縮まってるから、余裕があればなにげにありけ
今はJTCはM$の鴨葱なのだけど、毎回年寄りの「我が社の機密情報が！」あとPマーク関連にかこつけて業者がローカルLLMサーバーのPPT作成チラシを担いでくる。で、その保守は誰がやるんですかね。
依存度が急上昇することを予想するにAIサーバーの自前コストが鰻登りになりそう んでまたクラウド回帰→漏洩やサーバーダウントラブル→自社ローカル…の輪廻をずっと繰り返しそうｗ
まぁ言わんとすることはわかるが、Radeon AI PRO R9700はNVIDIAより安いと言っても25万するからなぁ。
ただし摩擦はないものとする、空気抵抗は考えないこととする、電気代は考えないものとする(New!)
Gemma 4 26B-A4B-it AWQ INT4ならR9700 1台で4並列39tok/secくらいは出るよと / int4量子化で全く性能落ちてなかったとしてもo3-mini-highとかGPT-5 mini (high)とかGemini 3.1 Flash-Liteあたりに近い性能
「オンプレは月額無料！」ってこと
超小型〜中型モデルの性能が上がってるからどこかでローカルLLMが美味しいバランスは出てきそうだけど、まだちょっと見えないんだよなぁ。クラウドはやはり強い。
電気代を甘く見過ぎている。まじやばいよ。電気代が安い時間帯しか稼働させないとかやればコスト削減できる可能性もある
要するに提供元がAMDのタイアップ記事ですね
電気代は空調も含めるともっと大変な事に。低頻度で動かす程度はともかくエージェントみたいにずっと動いてると大変。とは言え最近のレートの高騰でクレジットが秒で無くなるのを見るとローカルに夢見たくはなる。
スポンサードだとしてもこういうタイトル詐欺は長期的に自分の首を絞めると思いねえ。
ブコメで電気代って連呼されてるので一応計算。TBP300Wなので大雑把にシステムで500Wとして1時間で20円。8時間×20日回っぱなしだと3200円。そもそものR9700の償却コストも考えるとコスト削減よりはローカル完結に価値を文字数
Radeon AI PRO R9700で作る社内ローカルLLMサーバーを解説。32GB VRAM、vLLM、Open WebUI、RAGを使い、Gemma 4 26Bで4並列155.8tok/s。月額課金なしで社内文書活用を狙う。