問題は、たいてい最初の数日に決めたことの中にある

脚本もプログラミングも、だいたいそう。

初期設定のうち、
のちのちのことを考えて綿密に決めた部分ではなく、
まあこんなもんやろ、と生まれて数日に、
無意識や勘で決めた部分に間違いや問題が潜んでたりする。

AIのハルシネーションは、
評価関数の設定に問題があった説を、
ようやくOpenAIが発表。
https://x.com/kosuke_agos/status/1964563263943057782


え、そんな評価の仕方してたの？

・あってるかどうかわからないことを、
　さも分かってるかのように言う

＞

・わかりませんと言う

の評価なら、前者になるよな。あほか。

また、この学習の仕方だと、
真実かどうかをそもそも検証してないため、
中世の時代ならば、
ガリレオを魔女裁判で殺すことになる。

少数の真実を理解せずに、
多数の意見を統計的に多いと判断するからね。
「大衆はおおむね間違っていない」という、
性善説に基づいてるわけだ、
評価関数が。

新しい真実はまだ普及してないから、
それを理解して敷衍するよりも、
間違ってる多数派の意見を増幅する、
増幅装置になる、噂伝播機にしかならないのは、
バズりがバズりを産む仕組みと、
たいしてかわらんということだ。


それを知性とよぶにはあまりに拙劣だ。

Naverまとめのほうが、
まだ真実であったね。


評価関数を設定し直したとしても、
ガリレオ1vs多数の魔女裁判を、
AIは検知できない。

「ただしさ」というファクターを、
それを知らないのに理解する知性は、
ディープラーニングベースのAIにはないのだから。



「正しいことはみんなが言ってること」
という誤った性善説が、
このモデルの中には潜んでいる。
それを認めない限り次のパラダイムは来ないだろう。

（そして来ないと思ったので、
僕は学生時代でAI研究をやめたのであった）