【薙刀式】200万字品詞分解調査

前呟いたらカベウチドリさんがやってくれた模様。
しかし専門用語が多すぎて解読に折れる……
https://kabeuchi-bird.github.io/posstat/#s1


形状詞というのは機械品詞分解の用語で、
自然言語品詞分解にはない要素。
〜な、〜だ、の語幹部にくるものすべてで、
形容動詞語幹部を指す言葉だそう。

〜には名詞が来ることもあり、
AIによれば形容動詞が莫大にかぶることを防ぐ為のものだそう。

詳しくは以下にあるが、
さすがに難しすぎるわ。
https://clrd.ninjal.ac.jp/unidic/glossary.html


補助記号は、あとの文脈によれば、
句読点とカギカッコっぽい。
ほかに何が含まれるのかわからなかった。


まあ、分かるところだけ読み込んでいく。



品詞の頻度:

助詞 383446 0.2949
名詞 279397 0.2149
動詞 175036 0.1346
補助記号 162733 0.1252
助動詞 129972 0.1000

名詞より助詞の方が多いのに衝撃的。
（ただあとに見るように、接頭辞や形状詞も名詞だから、
最終的に広義の名詞は増えそう）


日本語とは、
2割の名詞と1割の動詞を、
3割の助詞と1割の助動詞でつなぎ、
1割の補助記号で区切るもの（これだけで8割）、
と強引に言えそう。

計算的立場でいえば、
まずここを押さえてない、
日本語の構造を考えた配列などありえないわけだ。

今のところこれに配慮してるのは、
飛鳥配列の助詞優遇論、
薙刀式の話題の語／繋ぎの語理論
（上の場合では、話題の語=名詞+動詞3割、
繋ぎの語=助詞+助動詞=4割）、
のにいると漢綾姫の、ひらがな／漢字分離統計
（結果的に助詞助動詞重視になる）、
くらいしかないのではなかろうか。

ほかにあったら教えてください。


品詞遷移確率:

ざっくりこの5要素のマトリックスを押さえれば、
骨格はつくれそう。

で、このマトリックス、prev|nextな気がするんだけど？
動詞のあとに助動詞が来るから、
左の縦が前、下の横が後……だよね？

以下そうだとしてみていく。

ベスト3は以下。

代名詞-助詞（それは、あれが、私の、などなど）
形状詞-助動詞（〜な、〜だ、などなど）
連体詞-名詞（あの○○、いろんな○○などなど）

連体詞ってなんだっけ、と調べたら、
形容詞、形容動詞が活用するのに対して、
活用しないものだそう。
副詞が活用せず用言にかかるのであったから、
そのペアか。


なるほどね。代名詞、助詞、助動詞、連体詞の部分を、
僕は繋ぎの語として認識していて、
形状詞、名詞を、
僕は話題の語とみなしている。

僕の直感である薙刀式の設計、

・日本語は、話題の語を繋ぎの語でつないでいく
・話題の語は話題によって変わるため、
　統計的出現率でカナを設計、
　一方繋ぎの語はどんな文章でも同じものが出るので、
　打ちやすい位置にいるべき

というのはかなり筋がいいわけだ。
（完璧にできてるかどうかはおいといて）


次に多い4つは、
接頭辞-名詞（大-慌て、小-走り、お-手洗いなどなど）、
空白-名詞（段落頭だけでなく、？！のあとの空白も含むかな）、
名詞-助詞、
接尾辞-助詞（深-さ-が、高-み-に、などなど）
だ。

接頭辞、接尾辞をざっくり名詞（複合名詞）にいれれば、

空白／連体詞-名詞／代名詞-助詞
形状詞-助動詞

の2種類が典型的な日本語の形である、
のように分析できよう。

つまりこれは、話題の語-繋ぎの語と、
ひとつで語れそうだなあ。


「絶対来ない」ペア:

後置シフトカナ配列の設計に使えそう。
きゃりぱみゅの「ぱみゅ」などの、
オリジナリティネーミングはここにヒントがあるだろうね。
「ショッパーズ」の色々が取れて、
「ンョハー」になったネタは有名だが、
これもありえない連接だからおもしろいんよね。



「繋ぎの語」 チャンク分析:

1文字のトップ11を並べたら興味深かったので。

・・て・・　・・・・・
・・とか・　・゛・・・
・・は・・　たな・・・

・・て・・　・・・・・
・・に・・　・のも・・
・・を・・　・・・・・

ここを使ってるのよね。
完璧な布陣だなー。
ここが薙刀式使ってて楽で気持ちいいところよね。


文節長分布:

2〜4文字当たりが多そう。
よくわからないのは20字以上の文節があること。
確率的にはごく低いので影響はないだろうが、
これは何かデータの取り方がおかしいのでは。
そんな文節ないやろ。



ざっとデータを見た感じ、
こんな考察をしてみた。
より濃い考察が出てくることを望む。

とりあえず薙刀式はかなり妥当な配列だと、
いえることになる。

Comments

ご覧いただきありがとうございました。

・変に長い文節は空白やURLを食っちゃってたかもしれないです。300万文字コーパスにする頃には修正します。
・助詞が多いのは形容動詞が「形状詞＋助詞」に分解されてるのも一因かもです。（日本語に頻出なのは変わらんしいっか、という甘〜い判断をしました）
・繋ぎの語判定、時々変なのもいますがおおむね問題ないですか？

Posted by カベウチドリ at 2026年07月15日 06:59

>カベウチドリさん

>・助詞が多いのは形容動詞が「形状詞＋助詞」に分解されてる

それもありそう。
まあその活用語尾としての助詞部分は薙刀式の繋ぎの語なので、
まあいっか、という感じですかね。

>・繋ぎの語判定、時々変なのもいますがおおむね問題ないですか？

数値的に上位に来てないのは無視できる、
といういい加減な見方で見ています笑
「繋ぎの語」は感覚で詳細な定義はないので、
大体適当で大丈夫です……
僕もちゃんとした文法知識があるわけではないので……

Posted by おおおかとしひこ at 2026年07月15日 09:06