Dvorak配列のころから、
キー配列というのは統計頻度をもとにつくられてきた。
「普通には良く知られていないことでも、
統計を使うと浮かび上がる特徴というのがあるのである」
というのは統計の面白いところであり、
AIやビッグデータはそれを基本としている。
だけど、言葉を統計するのに、
N-gram統計では精度が足りていないのでは？
と最近思っている。
英語に比べて、
日本語はとくに複雑な構造をしている。
スペースで区切れば済む言葉に対して、
ぱっと見ではどこが文節区切れか、
機械的に正解することは難しい。
きちんとした構文解析をしなければならない。
そうした言語を扱うのに、
N-gram統計がどれだけ意味があるのかしら？
とたまに思う。
近似的には威力があると思う。
1gramは何もしないより有効だろうし、
2gram、3gramにしていけば、
より精度は上がるだろう。
（2を有効に使ったのは新下駄配列、
3は作例が少ないが、星配列、ロゴス配列）
でもその統計、構造を無視した統計よね。
人体を統計するときに、
骨も筋肉も内蔵も、
全部すりつぶして炭素が何％、とか言っているようなものよね。
構造があるものの統計なんだから、
構造単位の統計を取る、
という手法はないのだろうか？
そういう統計例がない、というのはありそうだ。
たとけば、以下のような統計を取れないのだろうか？
構文解析した統計データで、
例えば、
各品詞の出現率、
各品詞の頭に来やすいもの、尻に来やすいものの1gram、
各品詞内でのNgram、
活用形の出現率、
そして、各品詞ごとの確率遷移グラフみたいなやつ。
つまり、カナ単位ではなくて、
品詞単位の統計って出来ないの？ってこと。
もちろん、国語研究所みたいなのがやってたらそれを利用してみたい。
品詞単位がいいかは分らない。
たとえばある動詞のあとにはもう一個動詞が来て複合動詞になりやすい、
とかあるかもしれないので、
「ある塊」ごとにやりたいのはやまやまだ。
それは、文法的な塊というよりも、
「書く人間が意識している塊」がいいと思うけどね。
たとえば形容詞と形容動詞はあまり区別して使いわけているわけではないと思う。
格助詞と係助詞を区別して使いわけていないだろうしね。
今上で気づいたが、「」の前後とかにも何かありそうだ。
？！……『』くらいは統計データに入れたいよね。
あるものが来るときには必ずこれが来るとか、
あるものの後には絶対来ないものとかあるはず。
そんなことを、
次の配列設計に生かせないかなあ、
などと妄想している、という話だ。
薙刀式は、僕の直観から、
「日本語には二種類の言葉がある、
話題の語と繋ぎの語である」
という分類を試みた。
これは文法構造や認知構造が、
配列の配置に影響を与えた、初めての？配列であるわけだ。
（それまでにも部分的にはあったろうが、
「繋ぎの語は話題の語に比べてどの文章でも現れるため、
それを重視して打ちやすくする」
という戦略ごと配列になっている例はないのではないか）
で、これは経験的な話になっているから、
もっと追求して、
文法的な何かとか、
構造的な何かがあって、
それが配列に反映されてもいいよね、
という希望的観測を書いている。
なのに、いまだに、
ミキサーをかけたNgramを元にしているのは、
何か２０世紀のままよなあ、
とも思ってしまう。
英語配列でもそういう例があるのだろうか。
スペースの前後でのNgramなんかはすぐに研究されそうだな。
あるいは、文法的な何かと関連して何か、
というのは研究されてるのかしら。
あるいはスペースで分断されるから、
ifのあとにthenが来やすいからといって、
あまり関係ないのかなあ。
日本語では文節が明示されていないから、
厄介なのかもしれない。
でも文法的に、あるいは確率的に、
このあとには絶対これは来ないとか分れば、
そこを悪運指候補に出来るだろうしなあ。
……という妄想をしてみました。
そもそも頻度解析は、
古文書の解読とか、第二次大戦の暗号解読に活躍したとか、
その程度の話でしかない。
次世代の解析方法を使うべきじゃね？
それが何かは知らんけど。
IMEの構文解析はもともとチョムスキーの生成文法的なことをやっているわけだから、
その先の何かをやりたいよね。
2026年07月06日
この記事へのトラックバック
AI じゃない要約
ベタの カナ連接統計は ニセの連接が含まれるので 深堀りして 有用な情報がとれない、 お悩み相談。
長嶋凛桜 の 中の 「まり」 はカウントしてほしい連接か。
A(変換)B の AB は 連接でない。
＞ 「書く人間が意識している塊」
区切りは 変換キー ？
少なくとも 空白分かち書き したので 統計がほしい。と
＞ 頭に来やすいもの、尻に来やすいもの
これは 意識します
頭に来やすいもの は 子指⇒人差し指 の順
尻に来やすいもの は その逆順
で打つと気持ちいい。
日本文に 音のある部分と 薄い音の部分と 音のない部分。
音のある部分 かな の部分
薄い音の部分 漢字 の部分
訓読みは 音のあるほうかな、 音読みは 漢字ヒントで集合の代表音 漢字が想起しないと言語にならない。
漢字は音がなくても成立する、 音に 直接の意味 あるか。
(読めない漢字や 人名は 脳内発声 するか？)
音のない部分 数値 数式など記号列
読み上げ可能ですが 脳内発声 してないと予想。
欧米人の頭の中には シラブル辞書が ある。
発声 音節認識 シラブル辞書・例外辞書 書き出し。
漢字のような 薄い音 はない。
点字縮約の説明書
点字の 読み書きを 速くするために、 点字独特の縮約
https://www.mext.go.jp/content/20210528-mxt_tokubetu01-000015473_11.pdf
点字独特 と言っているが、主要部は 活字組版工がする 欧文組版のハイフォネーション規則 そのもの。
速記 電信 なども 似てるのでは。
脳内に シラブル辞書 がある前提ですね。
ゲゲ 点字独特
同じ場所で 二つ以上の 縮約部の使用が 可能な場合には、マス数を 節約できる方が 選ばれる。
マス数が同じであれば 一マスの 縮約部が 優先される。
中でも、ａｎｄ、ｆｏｒ、ｏｆ、ｔｈｅ、ｗｉｔｈ の 縮約部は、他に優先し
ｃｈ、ｇｈ、ｓｈ、ｔｈ、ｗｈ は ｈ が発音される時には使えない。
ｔｈ、ｓｔ は 序数とともに使えない。
まあ、なので、誰かこういうことを考えた、
構文解析統計でもやってくれるといいかなあと。
マシンパワーが足りてなかった頃にくらべれば、
今なら取れそう。