Chat GPTの意図しない動作は、翻訳ミスではないと思う

「書いて」が内部でrewriteに誤訳されているから、
動作がおかしくなるという説。

GPT出力劣化の完全メカニズム解明-日本語の書いての3文字が全てを崩してた-
https://note.com/viorazu/n/nbd8f44c83488?external_type=smart_news&external_position=original_link&rt=external&sub_rt=smart_news

また、似たような例が数十報告されている。

GPT出力劣化の完全メカニズム解明２-『書いて』以外の凄いやつ誤訳事典-
https://note.com/viorazu/n/n7586b127ee64

これは誤訳／内部モードのつながりのミスという、
単純な構造問題とは僕は思えないのよね。
英語での動作でも同じなんじゃねえの？
って思っている。
（英語を母国語レベルで理解できないので、
どなたか検証してください）


そもそもChat GPTの中に入ってる言語モデル、
LLMなんて、
確率マルコフモデルの親玉だぜ。

こういう単語列がきた時には、
こういう単語列の組み合わせが来る確率が高いから、
あとはサイコロ振って決めるだけだ。

多少のエラー訂正システムで直すこともあるだろうが、
基本は、
「意味を理解した上で、意味を理解した結果を返すものではない」
ことを理解することだ。

ここでいう意味とはなにか。

たとえば、
「私は天才である」という文の意味を、
私=天才という記号で表すとしよう。

これが保たれる限り、意味は同じである。
「俺はスーパー頭いい」でも、
「大岡はバカの上に立つ男である」でも、
「ミーはIQ300ザンス」でも、
同じ意味だ。

これが≠になったり、≒や大小包含になったら、
意味が変わった文になる。
「私はIQ100である」「私はバカを装う」
「私は微妙」
などである。

だが、Chat GPTは、私=天才という内部構造を持っていない。
それが僕が「意味を理解していない」という意味だ。
だから、「私=天才」が破れた、
しかし通りいっぺんにはまとまった文を吐くのだ。

「私は天才である」を、急に「ミーはIQ300ザンス」に変えては来ない。
両者の連動確率がたいへん低いからである。
意味が同一の言い換えは、おそらく苦手なジャンルであろう。

LLMにおいて「学習」とは、
この、文からの意味の抽出と、意味の保存と、
それらを改変した文の出力を意味しない。

ある言葉の一連が来た時に、
次に来る言葉の一連を、
確率分布に従うサイコロを振って合成するだけである。
ただその分布空間が数億次元のベクトル空間になってるのだ。

結果、意味の=が崩れたものを、
ハルシネーションと呼んでるだけよ。


abcdefg? と質問したら、たぶんhijklmn
と返ってくるんじゃない？
「日本語でOK」なんて意味を理解したうえでの返答を、
することはないだろう。
bacdefg?と質問したら、abがひっくり返ってることすらわからずに、
ただhijklmnと答えるんじゃなかろうか。


ニューラルネットワークは単なる神経細胞シミュレータであり、
神経レベルでできることをやっているだけだ。
創発アルゴリズムをつくったら、
なんだか知性的ななにかが創発されただけのことである。
それが我々の言う知性と同一であるとは、
僕には思えないのよね。

脳細胞と全く同一の演算をしてるならいいけど、
だいぶ端折ったアルゴリズムで動いてるでしょ、今のところ。


というわけで、
作り手の理解可能な動作で動いている、
かな漢字変換の誤変換のようなものでは、
LLMは動いていないので、
それを監視する別のエージェントをつくり、
こちらの意図するようなものへとつくりかえる、
別の監視がLLMに必要な気がする。

そのことをしてrewrite「モード」、モードチェンジ、
のようなことを言ってるのかもしれないが。



つまり、
現状のAIで、意味を正確にとらえた理解など、
原理的に不可能だと僕は考えている。

できるという人は反論どうぞ。
所詮意味の近似機レベルだと思うけどなー。