コンテナ稼働のローカルLLM
Docker Composeで一撃なのはいいけどGPU積んだ鯖が欲しくなるやつ。セキュリティ気にする勢には刺さりそう
よーし、今年度予算消化のためにもこれ建てちゃうぞ!!<週次で見積もり変わります><納期の約束できませんけど、注文しないと納品時期もわかりません><3月納期のご注文ですが、4月ですら怪しくなりました>
今ollamaを商用利用しようって、下記の件もあるので怖い。https://qiita.com/ohkitashigeto/items/f66918b0a5dc59db9017
AIいらなかったらOpenSearchみたいなやつがいいんかな
SearXNGの先のweb検索はセキュアではないので気をつけないとですね
一昨年の時点でそうしてたな。今はVibeコーディングで劣化版notebooklmをローカルで立ち上げてるけど…
ollamaのセキュリティに対して懸念してるブコメあるけどあれば0.0.0.0にbindしてたユーザーが悪いのでは
まだRAG作ってんのか
コメントへの反応だけど0.0.0.0でバインドしてネットワーク的に到達できるところどこからでも利用可能にするって話と、インターネットからアクセス可能にするって話は全然違いますよ。
“Ollama、Open WebUI(ChatGPTライクなUI)、そしてSearXNG(プライバシー重視のメタ検索エンジン)を組み合わせることで、完全無料かつインターネットにデータを流さないセキュアなRAG(検索拡張生成)環境を構築する方法”
【LLM】社内文書をセキュアに検索!OllamaとOpen WebUIで構築する完全無料・RAG環境
コンテナ稼働のローカルLLM
Docker Composeで一撃なのはいいけどGPU積んだ鯖が欲しくなるやつ。セキュリティ気にする勢には刺さりそう
よーし、今年度予算消化のためにもこれ建てちゃうぞ!!<週次で見積もり変わります><納期の約束できませんけど、注文しないと納品時期もわかりません><3月納期のご注文ですが、4月ですら怪しくなりました>
今ollamaを商用利用しようって、下記の件もあるので怖い。https://qiita.com/ohkitashigeto/items/f66918b0a5dc59db9017
AIいらなかったらOpenSearchみたいなやつがいいんかな
SearXNGの先のweb検索はセキュアではないので気をつけないとですね
一昨年の時点でそうしてたな。今はVibeコーディングで劣化版notebooklmをローカルで立ち上げてるけど…
ollamaのセキュリティに対して懸念してるブコメあるけどあれば0.0.0.0にbindしてたユーザーが悪いのでは
まだRAG作ってんのか
コメントへの反応だけど0.0.0.0でバインドしてネットワーク的に到達できるところどこからでも利用可能にするって話と、インターネットからアクセス可能にするって話は全然違いますよ。
“Ollama、Open WebUI(ChatGPTライクなUI)、そしてSearXNG(プライバシー重視のメタ検索エンジン)を組み合わせることで、完全無料かつインターネットにデータを流さないセキュアなRAG(検索拡張生成)環境を構築する方法”