Hermes AgentのLangfuse観測プラグインでHermes turn/LLM call/Tool callをtrace化し運用注意点も解説
たしかにAgentにもSyslogみたいなものがあって少なくともあとからでも確認できたほうが都合いいな
観測単位をLLM callからturnに上げる発想に強く同意。本質は『証跡として説明可能か』で、retention設計とマスキング方針が先に来るのが現代の正解
Hermes AgentのLangfuseプラグインで、ターン/LLM call/Tool callを同一traceに集約。Slack経由の実例では1m17s、55,715 prompt→2,371 completion、$0.034971を可視化。Tool入出力の機密情報管理が課題。
Hermes Agent × Langfuse で LLMOps の観測性を高める：ネイティブプラグインの導入と運用上の注意点
Hermes AgentのLangfuse観測プラグインでHermes turn/LLM call/Tool callをtrace化し運用注意点も解説
たしかにAgentにもSyslogみたいなものがあって少なくともあとからでも確認できたほうが都合いいな
観測単位をLLM callからturnに上げる発想に強く同意。本質は『証跡として説明可能か』で、retention設計とマスキング方針が先に来るのが現代の正解
Hermes AgentのLangfuseプラグインで、ターン/LLM call/Tool callを同一traceに集約。Slack経由の実例では1m17s、55,715 prompt→2,371 completion、$0.034971を可視化。Tool入出力の機密情報管理が課題。