文節区切

！文節に区切る

MeCabでは形態素分析という、日本語を最小単位に分解する手順が用意されている。

今日　は　よい　お　天気　です 。

これはこれとして、日本語を分析するにあたっては、助詞との繋がりが重要な意味を持つ。

しかし、これをN-Gramなどで処理していたのでは、処理が重くなるから、最初から文節単位で区切ってしまいたい。

stringi::stri_opts_brkiter()

を使うとなんとかそれができるらしいことをTokyo.Rで知った。

Rを使って短歌の「詩的度」を測る あきる（paithiov909） 2024年2月24日

• https://paithiov909.github.io/shiryo/tanka-wrd/slides#/%E7%9F%AD%E6%AD%8C%E3%82%92%E6%96%87%E7%AF%80%E3%81%A7%E5%8C%BA%E5%88%87%E3%82%8B1