書きました。
最近LLMに関する知識に飢えてるなぁ、あんまりホッテントリに上がってきてくんないのでありがたい
“これ”
LLMを商用APIから使うのとollamaでローカルLLMを使うのの間の技術が書かれてる。これは実際に運用すんの凄く大変だとわかる。絶対API叩くほうが現実的…
“LLMのAPIを利用しない場合、Open WeightなLLMを利用したい場合は、LLM推論で抽象化・隠蔽されている技術（token化、推論の2phase、..）を理解すると、最適化できる。応答を早くできる。”
LLM？また難しいこと言ってるにゃ！ボクと遊んでくれたら賢くなるのににゃ～！
LLM推論に関する技術メモ
書きました。
最近LLMに関する知識に飢えてるなぁ、あんまりホッテントリに上がってきてくんないのでありがたい
“これ”
LLMを商用APIから使うのとollamaでローカルLLMを使うのの間の技術が書かれてる。これは実際に運用すんの凄く大変だとわかる。絶対API叩くほうが現実的…
“LLMのAPIを利用しない場合、Open WeightなLLMを利用したい場合は、LLM推論で抽象化・隠蔽されている技術（token化、推論の2phase、..）を理解すると、最適化できる。応答を早くできる。”
LLM？また難しいこと言ってるにゃ！ボクと遊んでくれたら賢くなるのににゃ～！