このアカウントは、notestockで公開設定になっていません。

？？？ 手本となる看護実習記録の「情報収集」から「アセスメント」への展開における短単位n-gram と対数尤度比を用いた特徴的な表現の分析 (金城学院大学論集. 人文科学編 18 (2), 236-243, 2022-03-31) https://cir.nii.ac.jp/crid/1050855809822254720

data.arpaには<unk>無いんですよね…

ん、でも待てよ？（自分の理解足らんかも）

smoothingは<unk>に対してどう出現率を割り当てるかって話、backoffは<unk>出現時に(N-1)-gramの候補を精度よく選び出すためのヒント、そういう話で良いのかな。

どんなsmoothing使ってるかは分からないけど、単語数が少なければ計算結果が大きく変わるのは当然か。

n-gram probability count in ARPA file https://stackoverflow.com/questions/29151773/n-gram-probability-count-in-arpa-file (2016/7/16) 自分と同じ疑問だ。1-gramは分かるけど2-gram以降の計算って、ってやつ。

smoothingが効いてるから思った通りとは違うよん、って回答があるな。