ジョブ仕掛け直して寝るうううううう

ああああジョブ実行中のターミナル閉じたあああああ＞＜

ジョブを仕掛けて寝ちゃいたいし、無駄にディスクを消費したくないことを考えると…

uaa@emeraude:~$ time cat ja.txt | ./nwc-toolkit/build/nwc-toolkit-unicode-normalizer |./nwc-toolkit/build/nwc-toolkit-text-filter |mecab -Owakati > ja.txt.1

とでもしとこうかね。

20分で全体の1/5くらいが処理された感じか…？

nwc-toolkit-text-filterは必須だな。句点までを一文と認識して区切ってくれる。これで正しく<BOS><EOS>として処理ができるようになる。

uaa@emeraude:~$ cat ja.txt | ./nwc-toolkit/build/nwc-toolkit-unicode-normalizer |./nwc-toolkit/build/nwc-toolkit-text-filter > ja.txt.1
こんなんでどうかなー

正規化→文抽出→形態素解析→コーパス作成、の手順で良いんだろうな多分。

処理を行うたびに75GB近いディスクを食っていくんですけど…ｗ

Web を母集団とした超大規模コーパスの設計 (浅原 正幸, 前川 喜久雄, 2013) https://www2.ninjal.ac.jp/past-events/2009_2021/event/specialists/project-meeting/files/JCLWorkshop_no3_papers/JCLWorkshop_No3_27.pdf によると、収集したものを正規化→形態素解析という手順で処理していくとあるので、正規化が先ということで良いみたい。

†DEATH CORD†
#こうですかわかりません

このアカウントは、notestockで公開設定になっていません。