【日記】ブログを書くAIの学習コストは５億だそうだ

GTP-3というAIは、言語を学習する。
ブログくらいの自然文に見えるほど精度を上げるには、
５億のコストと、３５０年の学習時間が必要らしい。
人一人教育したほうがコストがかからないね。

https://gigazine.net/amp/20200729-how-gpt-3-work?


誰もが考える学習アルゴリズム、
「ある単語のあとに来る単語は、統計的に決まっているし、
膨大な文章から学習できるのでは？」
というやつ。
統計的にはマルコフ連鎖というやつですね。
（ただ何重にも畳み込む、複雑な階層的なものっぽい）

それを膨大に学習すればできるらしいが（計算上は）、
そんなにかかるとはねえ。


しかもそれだけやって、
文章に意味がないだろうね。
自然文ぽいパターンを自動生成するだけで、
その内容が語っていることを学習しているわけではない。

文というものは意味を紡ぐためのガワに過ぎないが、
AIによるマルコフ連鎖学習は、
そのガワのパターン学習に過ぎない。

文というのはガワで意味を書くためにあり、
まだ意味というのはどのような構造でモデル化するべきかについて、
画期的な研究や発明、ブレイクポイントはない。

どういう話題がいいのか、
どういう論調が面白いのか、
どういう結論が面白いのか、
そこに至る脱線の面白さ、
そうしたことを書けるわけではない。

３５０年後、
そんな無意味な文章を生成し続けるマシンが完成し、
人類は既にいなかったりしてね。

とりあえず、面白い文章はまだ人間のもののようだ。