社内共通LLM運用か・・・いいなぁ
新モデル追加したらリクエストが9割そこに集中するの草。結局みんな最新のおもちゃ触りたいだけだな
これをビジネス展開することも視野に…みたいな書き方してるけど普通のことしか言ってなくない？
LocalLLMMaaSは語義から混乱している。国内法・契約・技術統制で外資クラウドを制御できるなら、ソブリンの価値は限定的。国策需要を離れ、性能・コスト・運用性で市場に勝てなければ産業にはならない。
社内で構築して遊んでた人がいて、ありがたく使わせてもらってたが、上の人からも文字通り遊んでる判定されて、今元気なくなって停滞気味。
LLMの利用実績を評価する仕組みを作って、それ別に最新モデルでなくてもいいだろって使い方してる人は、軽量なやつがずっと使われるとか
ハードが気になる＼(^o^)／
NTTドコモビジネスの部署でLocal LLM MaaSを構築。vLLM＋LiteLLM Proxyで複数モデルを単一API提供。GLM-5.2追加日は9割超、Kimi-K3はtsuzumi 2の20倍超のリクエストを集めた。
本件国内だとセキュリティとか業務継続性から検討する時期な気がします
いいね
Kimi-K3を独自でホスティングしてるのすごい。1つだけパラメータ規模が桁違いだ
Local LLMを社内に提供！ Local LLM Model as a Serviceとその取り組みについて - NTT docomo Business Engineers' Blog
社内共通LLM運用か・・・いいなぁ
新モデル追加したらリクエストが9割そこに集中するの草。結局みんな最新のおもちゃ触りたいだけだな
これをビジネス展開することも視野に…みたいな書き方してるけど普通のことしか言ってなくない？
LocalLLMMaaSは語義から混乱している。国内法・契約・技術統制で外資クラウドを制御できるなら、ソブリンの価値は限定的。国策需要を離れ、性能・コスト・運用性で市場に勝てなければ産業にはならない。
社内で構築して遊んでた人がいて、ありがたく使わせてもらってたが、上の人からも文字通り遊んでる判定されて、今元気なくなって停滞気味。
LLMの利用実績を評価する仕組みを作って、それ別に最新モデルでなくてもいいだろって使い方してる人は、軽量なやつがずっと使われるとか
ハードが気になる＼(^o^)／
NTTドコモビジネスの部署でLocal LLM MaaSを構築。vLLM＋LiteLLM Proxyで複数モデルを単一API提供。GLM-5.2追加日は9割超、Kimi-K3はtsuzumi 2の20倍超のリクエストを集めた。
本件国内だとセキュリティとか業務継続性から検討する時期な気がします
いいね
Kimi-K3を独自でホスティングしてるのすごい。1つだけパラメータ規模が桁違いだ