2024年06月30日

【薙刀式】IMEの評価の難しさ: 再現できないこと

Twitterから。
> ATOKはここで褒めちぎったすべてを台無しに出来る究極の欠点を持っていて『品詞解析(区切りや係り受け)がおかしいので変換効率が最悪』なのだ。

なるほど、じゃその例を教えて、
と言ったとて、出せないことが難しいと思う。


入力列があり、
出力列があったとして、
それが「は?」というようなものであっても、
もとの入力列に戻ることはできない。
(undoで可能な場合もある)

仮にその時点でundoして、
録画してから変換しても、
同じ変換になるとは限らないので、
「は?」にならない可能性もある。

また、誤変換を正しいものに直して確定してしまうと、
「あ、間違いを録画しよう」と思っても、
undoして変換したら、
今確定した正しい変換を第一候補として出すだろう。
第二候補にさっきの誤変換が残っている保証はない。

さらにそのあとだと、
「なんて入力してなんて出力があってむかついたんだっけ」になり、
せいぜい、
誤変換結果しか覚えておらず、
さらには「文節がおかしかった」
くらいしか記憶に残るまい。

もう一度それを再現しようとしても、
もはや入力列と出力列を組みとして再現できまい。


こうして、
なんだか曖昧な不満だけがたまることになる。



これらを記録するために、
MS-IMEには、
「誤変換をレポートする」なんて機能があったが、
なんだか文章ごと盗まれてそうで、
気味悪くて使ってる人あまりいないだろう。

そもそも文脈からしておかしな変換なのであり、
入力列と出力列だけをレポートしてもよくわからんだろう。
正解は○○でした、までレポートしてくれてたのかね。


しかも、
とはいえ統計的に多いやつの優先順位をあげる、
しか対策がないのも厄介だ。

統計的に優位な変換などとうに記録されてるはずで、
誤変換が多いのは文脈依存のマイナー候補だと思うのよね。
それをどんなに刈り取ったとしても、
統計的優位なものから順に出るだけで、
マイナー側が幸せになることは一生ない。

最大多数の最大幸福理論は、ここで敗北する。


あと単純に、
誤変換送信は、重たかった。
予測変換同様、こちらのタイピングを邪魔する程度に重くするので、
僕は両方オフにしている。
負荷0ならば協力もしてやるというのに。

(そもそもスタンドアローンでなるべく使っている。
つまりポメラと同じ使い方)



仮に誤変換レポートをしたとしても、
MS側での再現実験は難しいのではないか?

未学習状態の精度を多少上げることは可能だが、
どのように学習したどのようなものが、
どのような誤変換をしたかは特定できないし、
それらを正す手段はなさそうに思える。

確率分布的ふるまいをするシステムの限界だ。

文脈を読み取り、このファイルの中のこの話題なのだから、
このような変換が妥当、まで読み取らなければ、
変換の精度は上がらないだろう。
Chat GPTくらいならやってくれるかね。
(次の文章の誤変換を正しく修復しなさい、が可能かしら?)



そもそもIMEがどのようなアルゴリズムで、
どのように変換して、
どのように学習してるのかは、
公開されていない。
だから我々は、再現できないなにかを調教するしかない。

そして再現実験ができないから、
改良しようもないという、
かなり分析的な工程を踏みにくいものになっている。

原理的な問題だねえ。


一時間くらい録画して、
むかついたポイントだけを編集して、
送りつけるしかなさそうだね。

しかしWinのデフォルトの画面録画、
GameBarは、候補選択ウィンドウを録画してくれない。
(エディタウィンドウのみ録画)

詰んだ。


だから、
どんなにIMEに不満をたらしても、
当局は知りようがないわけ。

これは由々しき問題である。

解決策はあるのだろうか?
(問題を知ったからと言って対処する義務はない。
だが、問題を客観的に蓄積すれば、
証拠はチリでも積もってゆくはずだ)
posted by おおおかとしひこ at 19:21| Comment(0) | TrackBack(0) | カタナ式 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック