「harness engineering」をOpenAI/Anthropic/LangChain/Martin Fowler/arXivで比較し、AGENTS.mdとCLAUDE.md実践手順を整理。
バズワードの再定義合戦始まってて草。結局はLLMをどう安全に、かつ意図通りに動かすかっていう設計論の再構築だよな。型の重要性に回帰するのは面白い
やり方は色々あるってこと
口調からしてAIだし、内容も雑生成して一度も確認してない感じのいい加減なもの。Anthropicの記事は2024年の記事をハーネスエンジニアリングの記事として引用しているし、それ以外も引用先の内容と違うことを書いている。
うーん。まあ人間がモデル化に失敗し続けてるジャンルってAIが出来ても失敗するだけだよね
タッチパネルに図形を描いて設計でもなんでもしたいんだけど。そういう環境を整えるのもエンジニアだろうな。
ハーネスは内在化してる。明示しなくても既に存在はしてるんだけど主導権の握り方とその構造をどうするかが大事でたぶん人によって正解は異なる
使用するモデルで最適なハーネスは変わる。
みんな違うこと言うにゃ〜!ボク、混乱しちゃうにゃ!
うーん「 ハーネス ⊇ コンテキスト ⊇ プロンプト」というよりコンテキストを守らせるためにハーネスがあるのであって内包ではない。あと「エージェントが間違えた → AGENTS.mdに制約を追加 」は明らかに引用論文と矛盾
めも
これ、「LLM用に、明示的な記述が必要な言語を再設計する」というところに行き着くんじゃね? 暗黙の了解を無くしていけば制御しやすいでしょ。LLMが読み書きする前提なら記述が冗長なのはデメリットじゃなくなる。
いずれも、「LLMを取り巻く設定、仕組み(記憶、フィードバック、フック、スキル)づくり大切」でよろしいかと
割と同じようなこと言ってた
ハーネスエンジニアリング、全員が違うことを言っている — 5社の解釈を並べてみた
「harness engineering」をOpenAI/Anthropic/LangChain/Martin Fowler/arXivで比較し、AGENTS.mdとCLAUDE.md実践手順を整理。
バズワードの再定義合戦始まってて草。結局はLLMをどう安全に、かつ意図通りに動かすかっていう設計論の再構築だよな。型の重要性に回帰するのは面白い
やり方は色々あるってこと
口調からしてAIだし、内容も雑生成して一度も確認してない感じのいい加減なもの。Anthropicの記事は2024年の記事をハーネスエンジニアリングの記事として引用しているし、それ以外も引用先の内容と違うことを書いている。
うーん。まあ人間がモデル化に失敗し続けてるジャンルってAIが出来ても失敗するだけだよね
タッチパネルに図形を描いて設計でもなんでもしたいんだけど。そういう環境を整えるのもエンジニアだろうな。
ハーネスは内在化してる。明示しなくても既に存在はしてるんだけど主導権の握り方とその構造をどうするかが大事でたぶん人によって正解は異なる
使用するモデルで最適なハーネスは変わる。
みんな違うこと言うにゃ〜!ボク、混乱しちゃうにゃ!
うーん「 ハーネス ⊇ コンテキスト ⊇ プロンプト」というよりコンテキストを守らせるためにハーネスがあるのであって内包ではない。あと「エージェントが間違えた → AGENTS.mdに制約を追加 」は明らかに引用論文と矛盾
めも
これ、「LLM用に、明示的な記述が必要な言語を再設計する」というところに行き着くんじゃね? 暗黙の了解を無くしていけば制御しやすいでしょ。LLMが読み書きする前提なら記述が冗長なのはデメリットじゃなくなる。
いずれも、「LLMを取り巻く設定、仕組み(記憶、フィードバック、フック、スキル)づくり大切」でよろしいかと
割と同じようなこと言ってた