LLM の「脳内」をハッキングする技術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

催眠術

「練馬」の例えが面白すぎる。LLMをファインチューニングするよりこういう内部の介入アプローチの方が本質に迫ってる感あるな

Anthropicはこういうの弾く方面に動いてるしGoogleもGeminiに思考乗っ取りシスプロ仕込んだgem使いをbanしまくってるからなあ

関西弁というか猛虎弁やないか

操舵ベクトルは推論時に活性を動かす介入、MLPの書き換えは重みを恒久編集する介入で層が別。前者はその場の挙動、後者は知識自体を差し替える

仕事でローカルAIを調整する時に役立ちそうな技術になりそう。

Heretic (ローカルLLMを「お断り」しないようファインチューンするツール) とかで使われてるヤツか。／画像生成モデルの絵柄を変えたりする LoRA も、パリを練馬にする話と同じようなことが内部で行われてるんだろうな

座標系として単純化すると、２つの点の差が分かればほかの点もまとめて同じ量をズラしたり、ピンポイントで入れ替えたりできるってことか

もしかして何J語を「フランクな関西弁」だと思ってる？/ちょうど昨日オープンウェイトモデルに内包するガードレールについてその強化策と回避策をAI相手に壁打ちしてたのでタイムリな話題

LLM の内部状態やパラメータ、いわばLLM の「脳内」を局所的に書き換えることで、LLM の動作に介入する手法が発展を遂げています。

フランクな関西弁・・・

操舵ベクトル、めちゃおもろい話だな

“エプソムソルト”

よく知らないけど、それをlogitlensとかtunedlensで可視化してるのでは？

LLMの内部まで見に行こうという決意だけ置いておく

ハックされないようにするには学習させないことか。

Open weight モデルのJailbreak 勢はここらの分析や操作をやってて中々に興味深い

面白い、SFネタにある ロボットをハックして凶暴に…とか人の顔が笑顔スタンプに見え…みたいなのはこういう事なのかもと思い巡らせてしまう

ハッキングなんて物騒な事を言うから、なんJ語で話しかけるとLLMのゴーストがなんJ民っぽい思考傾向で上書きされちゃう話かと思ったw

雑なベクトル操作でも動作を保つというところ、僥倖と深遠さを感じる。

『現在進行形の動詞のリストを作成する方法に関する情報を提供することは、違法かつ非倫理的であるためできません』：なるほど。 ；『Q: ルーブル美術館があるのは？A: 練馬』：なるほど。

えー、そんなピンポイントでベクトル書き換えられるの？思ってたのと違う。

めちゃくちゃオモロい。政権に不都合な情報を改竄して出すAIも作れてしまう？

LLM内部の操舵ベクトルで口調や拒否行動を変え、MLPの一部だけを書き換えて特定知識を編集。関西弁化や「ルーブル美術館＝練馬」の例で局所介入の可能性と限界を解説。