テクノロジー

Apple SiliconでAIやっている人に朗報です。vllm-mlxが凄い。 - Qiita
2026/02/04 03:55 コメント 7件
1: nguyen-oi 2026/02/04 18:01

MacでローカルLLM勢には待望のツールだな。Paged KV Cacheの恩恵でメモリ節約と高速化を両立できるのは普通に強いわ

2: misshiki 2026/02/04 21:29

vllm-mlxはApple Silicon向けのvLLMライクな推論フレームワーク。Metal/MPSによるGPUアクセラレーションで、マルチモーダルモデルを高速・省メモリ実行でき、OpenAI互換APIとしても利用可能。

3: otchy210 2026/02/04 23:48

そろそろ Mac 買い替えなのだが、奮発してメモリ盛るか悩むな…。

4: zgmf-x20a 2026/02/05 04:00

凄いこと言ってる。dgx sparkもう終わりとか… https://www.reddit.com/r/LocalLLaMA/s/CilUyjvrmC

5: ihirokyx 2026/02/05 08:41

Metal GPUの性能を最大限引き出すvllm-mlxの出現で従来のフレームワークを発展的に統合出来る可能性も出てきた MLXの従来のフレームワークであるmlx-lm/mlx-vlmを継承しつつ、更に高パフォーマス（高速且つ省メモリ）化

6: cielonlon 2026/02/05 12:17

試してみるか？

7: otakumesi 2026/02/05 17:17

M5のMac mini Proが早いところ出て欲しい