@lacherir @zumimi 汎化のおかげで英語やほかの言語のの会話データでも強化されるから、今のところ全然おっけーなんだろうけどね。
日本人、AIと話すのに抵抗ない人が多いと思うから、これからたくさん理想的なデータセットが溜まる…と思いたい…

@lacherir @zumimi 日本人シャイでエアリプとかが多いから、あんまり良い会話データセットがなくて、ナントカちゃんねるのような匿名掲示板のデータが多いせいで、トークナイザに「名無しさん」のバリエーションが多いってネタとかあるね。

@lacherir 駅前って…山桜の類いか、ゆいレールの駅前とかでは…

@lacherir @zumimi 事前学習でできあがったものは、確かにただの「文章補完マシン」なんだけど、たぶん事後学習で会話できるように補正する過程で、なにかが起きているのかもね？

@lacherir @zumimi そう言うてる割に、実は人間の言語野相当の機能以外の部分もほんのり担ってるらしい、って最新の論文に書いてたよ。

@lacherir @zumimi 「今までの流れから、次にこの言葉がくるな…」っていうのを繰り返してたら、なんで知能になっちゃったんだろうね？

@lacherir @zumimi 長くなってもいいので、簡単な言葉でしっかり説明できる？

@lacherir @zumimi LLMに限定した話で掘り下げてあげて