日本語の統計に基づいて配列をつくりました、
というのは一見科学的なんだけど、
その統計って、「ひとつの理想的分布に近づく」のかしら？
141Fさんの10万字統計、
kouyさんの100万字統計、
ディットさんの1000万字統計、
などが公開されている基礎統計資料になる。
集める統計先をバラバラにして、
文語や口語や書き手や話題をバラけさせて、
大数の法則が効く程度まで集めれば、
統計的頻度分布にいたる、
という仮説は、
統計学を学んでればある程度予測ができることだ。
ただそれは、
「唯一の、静的な不動の分布がある」
という状態についてのみである。
その分布を関数fで示すと、
fを統計処理してガウス分布に標準化できる、
ことと必要十分関係にある、
ことを前提にしている議論だと思う。
でもそうなんかなあ。
日本語って変動するんじゃないかなあ。
その変動幅がどれだけあり、
その変動幅を抑えるために、
どれだけのばらつきがあるのか、
把握できてないよね。
ただ数の暴力で均そう、って感じだ。
サンプルのランダム抽出ならいけるのかな？
二重盲検的な。
まずそのサンプルが「日本語の代表的な集合である」
という保証、まあおおむねええやろ、
の判断はどういう基準なんだろ？
アンケートとかでは、N=20くらい集めると、
ガウス分布に従う限り、
統計的に有意差を抽出できるという。
信頼度0.05くらいだっけ。
有意差というのは、あくまでガウス分布と平均値が違うかどうかを、
この場合は95％の確率で当たるというレベル。
これは僕のカンだけど、
理想的なひとつの静的分布がある、
という仮定が違う気がする。
僕の中では書き方の異なる文が複数あり、
年代によって本数がバラバラな気がする。
ある1年と、別の1年では分布が違う気がする。
沢山書く人とちょっとしか書かない人では、
沢山書く人のほうが統計データに多く反映されてしまう。
そして沢山書く人は、
書き手としての癖が出てくるので、
ガウス分布というよりも、
複数の異なるクラスタを形成するような気がする。
あるいは、満月の夜は犯罪率が増えるから、
人間は365日等質な文章を生産してる保証もない。
雪国の人と南国の人は文体や人生や価値観すら違う気がする。
老人が増えたわれらが日本では、
若い文体は減っている気もする。
10年経てば、個人の文体も変わるし、
世間の文体も変わる。（今２ちゃん語とか臭いよなあ）
いや、クラスタや個々の文体に関しても、
これくらいの数を集めて、
これくらいの期間を集めれば、
大数の法則が働くのだ、
と分かってればいいんだけど、
キリのいいところで、という感じがするんよね。
1000万字って小説高々100冊だ。
仮に「現代小説文体を統計する」だとしても、
どの作者を集めたかでずいぶんバラつくと思うなー。
現代小説文体だけで最低はそれくらいとして、
じゃあ他にどんなジャンルやクラスタがあり、
それぞれの信頼度を揃えられてるか、
なんてところまで、
僕はよくわかってない。
仮に現代小説文体を100万字まで集めるとしたら、
高々10冊なので、作家や作品の集め方で、
相当統計はばらつきそう、はわかる。
もちろんほんとのところは誰もわかってないから、
大数の法則を信じて、
多く集めたろ、ってなってる気がするなあ。
だから、一見科学のようで疑似科学なんじゃね？
って思っちゃう。
で、さらに、
仮に静的な唯一の分布があったとしても、
それが特定の個人の用途に適してるか問題もあるよね。
スペシャリストがいいのか、
ゼネラリストがいいのか問題だ。
これは道具にまつわる一般的な議論。
新下駄、ロゴス配列や、
従来の設計理論はゼネラリスト側からのアプローチ。
薙刀式はスペシャリスト側からのアプローチ。
その他、個人感覚に基づいた、手ごね系の配列はそうだろう。
代表的なのは飛鳥だ。
平均的な人はいない。
必ず凸凹がある。
ゼネラリストな道具は、
どんな人の凹もブーストしてくれる。
凸はそのままになるかな。
スペシャリストな道具は、
その人の凸凹と噛み合うと、
凸をブーストしてくれる。
凹はそのままになりがちかな。
僕は、素晴らしい芸術とは、
平均を映したものではなく、
感性が尖りまくった結果、
結果的に新しい人類の共通点に到達したもの、
だと考えている。
スペシャリストは突き詰めた結果、
人類の奥深くに辿り着き、
平均からは発見できない新しい真理をみつける、
みたいなことだ。
人類はそうやって進歩してきたと思う。
もちろん、薙刀式がそれである保証はない。
ただのきちがい尖り道具かもしれない。
あるいは、尖りが中途半端で、
人類の新しい真理にはまだ足りないかもしれない。
だけど、薙刀式を使う人が徐々に増えているところを見ると、
全員共通かどうかはおいといて、
ある種のクラスタには効果的なのだろうとは思う。
話題の語は話題によって変わるから統計的な分布にある程度任せて
（原理上悪運指は0にならない）、
そこはある程度捨ててでも、
どんな文章にも必ずあり、構造の要である繋ぎの語
（助詞、助動詞、代名詞、定型句など）を、
優先するという考え方
（逆に言うと、話題の語の捨て方）は、
ある程度刺さったのではないかしら。
そういう意味では薙刀式は、
ゼネラリストのアプローチではなく、
スペシャリストが尖りまくって、
突き抜けた結果だ。
どっちもあると思う。
評価はそれぞれでよくて、一つに決めない方が豊かになる。
喧喧諤諤やってる状態が、一番健全な平和だと思うなあ。
2026年07月28日
この記事へのトラックバック
円 単語登録で 「え」 、ん は打たない、などなど 年月日。
数値比較の単語の 頻度があがる。
人名の名は 五十音 後半の カナが出やすい。
単語登録による頻度の偏りは、
まだ誰も統計取ってないと思います。
一般名詞は50音の前半が多いため、
それと棲み分けるために固有名詞は違うところに分布を取るのでしょう。
そうした、単に文字の頻度だけを取ったもの以外の、
構造まで意識した統計例はほとんどないですね。
国語研にはあるかもだけど大抵有料だしなー。