はてなまとめ - Deepseekでも使われてる技術「蒸留」ってなに？

1: nakag0711 2025/03/12 08:17

内部構造を全く参照しない形の蒸留はないのだろうか

2: KoshianX 2025/03/12 09:24

これでローカルで動くくらい小さいモデルが作れるとおもしろいんだけどなあ

3: ya--mada 2025/03/12 09:53

ディスティラーについての解説、とのこと。

4: raitu 2025/03/12 11:13

"先生が自分の知恵を要点だけノートにまとめて、生徒に渡すようなイメージですね"

5: misshiki 2025/03/12 15:59

“「蒸留」ってなに？、知識蒸留の基本概念とメカニズム、知識蒸留の3つの手法ロジット蒸留（応答ベース蒸留）特徴蒸留（特徴マップ蒸留）アテンション蒸留 PyTorchで知識蒸留、知識蒸留はどこで使われている？”

6: nekoline 2025/03/12 18:07

deepseek-r1:8b がMacBookAir程度でもで動くのマジですごい

7: diveintounlimit 2025/03/12 22:00

読み物としてとてもおもしろかった

Deepseekでも使われてる技術「蒸留」ってなに？ - Qiita