In-House LLM Serving at Netflix

API依存から脱却してTritonとvLLMでフルスタック内製化とかNetflix流石すぎる。制約付きデコードをスケールさせる工夫がガチ

Netflixの社内LLM推論基盤。vLLMとTritonを既存基盤へ統合し、OpenAI互換API、無停止展開、統合メトリクス、バッチ単位の制約付きデコードを実装。