neoは
2bをRaspberry Pi 5 8GBに入れた。thinking (reasoning)は無限ループに入りがちなのでやめた。OpenClawはトークン消費量が半端ないので、Heartbeat辺りのそんなに賢くなくていい処理はこっちで。
もう用途によっては最新のLLMなんか使う必要がなくなってきた。これでもいいし去年のもいい。今後どんどんそういう分野が増えていく。AI企業は本当に儲けられるのか。半導体企業と導入支援企業が結局勝つんじゃないか
中国製なんだけど、どれくらい偏向してるのかな
中華LLMの進化速度が異常。M4/M5 MacBookならローカルでこれ動くとか胸アツ。もうAPI叩かなくてもいい時代か
もう、AIは諜報活動の一環になってきたからなあ。
ローカルで動かすにしても関係ないファイルや情報を読み取らない、情報を中国に送信しないなどの確約が持てないと流石にな…。それ言い始めるとClaudeCode、OpenAIはみたいな話になるが。
"ローカルLLMはChatGPTのようなメインストリームとは性質が異なるオルタナ的AIで、自分のPCでセットアップする必要がある "
安全性については色々言われているが、ローカルなら安心かな。むしろアジア圏の言語には強い、らしい。試してみたい
Qwen2.5-coder-14B を MBP M5 32GBで軽々動かしてるよ。3.5出たんだ。入れます。
まだ性能足りてない気がするけどな
397Bだっけか。それもClaudeとかと比べると圧倒的に見劣りする。とは言え、進化がすごいけど。
使ってみてるけど、雑なプロンプトにうまく対応できない印象。GLMの方が行間読み取ってくれる。
2〜3年前のエポックメイキングなクラウド AI くらいの能力にローカル AI が追いついてきたって事よね。あと 2〜3 年後が楽しみだ。
Qwen3.5は凄いがタイトルは盛りすぎで、特定用途or趣味人でなければ現時点ではクラウドがコスパもタイパも良い／ローカルでN万円掛けて数分待つ（たまに失敗）か、クラウドで一円未満で数秒で済ませるか
家庭用でも高精度で動くことに価値があるもんな
釣りタイトルが跋扈してるせいで安易な強調表現がダサい時代になったな。「ぶっ壊れてるんじゃ困るね」とそのまま受け止める方が良いかもしれない。誤解を減らすことを意識する方が格好良くはある。
でも、コード書かせようとするとコンテクスト長32kトークンはほしいし、そうなるとやっぱ素直にクラウド使えってなるよなぁ
この記事をおすすめしました
「ハルシネーション率の高さ」これだけでもう致命的で、まだまだ任せられない。推論もとても遅い。センシティブな処理をお試してやってみる程度。コーディングには全く使えない。
Qwen3.5シリーズはVRAM容量8GB向け、16GB向け、24GB以上、256GB以上など複数のサイズがある。記事で扱われているのは8GBサイズ。LLMは定期的にこの手のぶっ壊れが出てそれ以前のものは使い物にならなくなる過渡期にある。
ぶっ壊れかは兎も角、メモリ帯域がそこそこあるからグラボのVRAMに縛られないのは今のとこ唯一
試してみたが、延々と英語もしくは中国語で同じ推論を繰り返してなかなか日本語での回答をしてくれない事が多い。何分間もずっと独り言言ってる。
ローカルで起動するだけ ぶっちゃけ性能はゴミや
Qwen3.5が使えないって？ ははは、何週遅れの事を言ってるの。先ずはもうちょっとAIへの理解度を上げよう。どのローカルLLMでも同じだが、こいつもポテンシャルは27B以降だよ。
過去にClaudeでやった比較的単純なタスクを、Qwen3.5 9B Q8 on Claude Codeでやってみた。成果物の出来ベースで30点くらいの評価。小型でここまでできるのはすごいが、30点でもよしとできるタスクを考えるのが大変かも。
ローカルLLMに価値が見いだされると、次に始まるのは最新情報の自動取得 searXNGのセルフホストやスクレイピング、プロキシの需要が高まる
アリババのローカルLLM「Qwen3.5」解説。MacBookでも動作し、9Bは小型モデルながらトップ級ベンチマーク。日本語対応・画像認識・最大26万コンテキスト・MCP対応。無料で商用利用可。弱点はハルシネーションと処理時間。
MacBookで動くし、ぶっ壊れ性能。いま最強のローカルLLM｢Qwen3.5｣を解説しちゃう
neoは
2bをRaspberry Pi 5 8GBに入れた。thinking (reasoning)は無限ループに入りがちなのでやめた。OpenClawはトークン消費量が半端ないので、Heartbeat辺りのそんなに賢くなくていい処理はこっちで。
もう用途によっては最新のLLMなんか使う必要がなくなってきた。これでもいいし去年のもいい。今後どんどんそういう分野が増えていく。AI企業は本当に儲けられるのか。半導体企業と導入支援企業が結局勝つんじゃないか
中国製なんだけど、どれくらい偏向してるのかな
中華LLMの進化速度が異常。M4/M5 MacBookならローカルでこれ動くとか胸アツ。もうAPI叩かなくてもいい時代か
もう、AIは諜報活動の一環になってきたからなあ。
ローカルで動かすにしても関係ないファイルや情報を読み取らない、情報を中国に送信しないなどの確約が持てないと流石にな…。それ言い始めるとClaudeCode、OpenAIはみたいな話になるが。
"ローカルLLMはChatGPTのようなメインストリームとは性質が異なるオルタナ的AIで、自分のPCでセットアップする必要がある "
安全性については色々言われているが、ローカルなら安心かな。むしろアジア圏の言語には強い、らしい。試してみたい
Qwen2.5-coder-14B を MBP M5 32GBで軽々動かしてるよ。3.5出たんだ。入れます。
まだ性能足りてない気がするけどな
397Bだっけか。それもClaudeとかと比べると圧倒的に見劣りする。とは言え、進化がすごいけど。
使ってみてるけど、雑なプロンプトにうまく対応できない印象。GLMの方が行間読み取ってくれる。
2〜3年前のエポックメイキングなクラウド AI くらいの能力にローカル AI が追いついてきたって事よね。あと 2〜3 年後が楽しみだ。
Qwen3.5は凄いがタイトルは盛りすぎで、特定用途or趣味人でなければ現時点ではクラウドがコスパもタイパも良い／ローカルでN万円掛けて数分待つ（たまに失敗）か、クラウドで一円未満で数秒で済ませるか
家庭用でも高精度で動くことに価値があるもんな
釣りタイトルが跋扈してるせいで安易な強調表現がダサい時代になったな。「ぶっ壊れてるんじゃ困るね」とそのまま受け止める方が良いかもしれない。誤解を減らすことを意識する方が格好良くはある。
でも、コード書かせようとするとコンテクスト長32kトークンはほしいし、そうなるとやっぱ素直にクラウド使えってなるよなぁ
この記事をおすすめしました
「ハルシネーション率の高さ」これだけでもう致命的で、まだまだ任せられない。推論もとても遅い。センシティブな処理をお試してやってみる程度。コーディングには全く使えない。
Qwen3.5シリーズはVRAM容量8GB向け、16GB向け、24GB以上、256GB以上など複数のサイズがある。記事で扱われているのは8GBサイズ。LLMは定期的にこの手のぶっ壊れが出てそれ以前のものは使い物にならなくなる過渡期にある。
ぶっ壊れかは兎も角、メモリ帯域がそこそこあるからグラボのVRAMに縛られないのは今のとこ唯一
試してみたが、延々と英語もしくは中国語で同じ推論を繰り返してなかなか日本語での回答をしてくれない事が多い。何分間もずっと独り言言ってる。
ローカルで起動するだけ ぶっちゃけ性能はゴミや
Qwen3.5が使えないって？ ははは、何週遅れの事を言ってるの。先ずはもうちょっとAIへの理解度を上げよう。どのローカルLLMでも同じだが、こいつもポテンシャルは27B以降だよ。
過去にClaudeでやった比較的単純なタスクを、Qwen3.5 9B Q8 on Claude Codeでやってみた。成果物の出来ベースで30点くらいの評価。小型でここまでできるのはすごいが、30点でもよしとできるタスクを考えるのが大変かも。
ローカルLLMに価値が見いだされると、次に始まるのは最新情報の自動取得 searXNGのセルフホストやスクレイピング、プロキシの需要が高まる
アリババのローカルLLM「Qwen3.5」解説。MacBookでも動作し、9Bは小型モデルながらトップ級ベンチマーク。日本語対応・画像認識・最大26万コンテキスト・MCP対応。無料で商用利用可。弱点はハルシネーションと処理時間。