1億総レビュアー時代
ちょっと範囲の広い設計が絡んだコードをAIに書かせると一瞬で$5とか$10とか溶かしたあげくにエラー出して止まるからあいつらダメだよ
科学的手法の常として観測しようと思ってない微量の成分や質的な差は再現性の評価に含められないので、人工的手法による製品は程度の差こそあれ「なんか大味」に寄ってしまうんだと思っている
コントロールされたコーパスを使ってLLMを作り、その内部状態を分析することでLLMの「認知」の構造を調べる研究の紹介。一度言ったことを撤回する [BACK] トークンを導入すると推論がちょっと賢くなるという話が特に面白かった。
言語モデルの物理学 - ジョイジョイジョイ https://joisino.hatenablog.com/entry/physics