TBJHって東芝と道路公団でも合併するのかと思った（もう道路公団はありません）
@yune_kotomi 全員有料にする！とも取れるような発言をボスがした
@ambergon
・ローカルLLMの現実
今のところ一般的なユーザーにローカルLLMを使ってもらうのは、まだ現実的じゃないです。
nVidiaのCUDAべったりが定番なので、nVidia縛りのGPUのVRAMがいくらとか言い出して、そんなアホな～って感じです。
CPU/GPU系各社がニューラルネットワーク系演算に最適化された命令セットを追加したものがこれからもどんどん増えてくるし、一社寡占の現状にプッツンして他でも動くようにする活動がじわじわ見受けられ始めた段階なので、その後ならいいと思います。
・オープンなモデルの実力
パラメータ数でいえば2桁3桁レベルで違うけれど、これだけで回答が変わるわけではないです。
体感ではGPT-3.5の2割・3割引きぐらいかなぁっていう使用感のレポートが出てた気がしますね。
・本音
ぶっちゃけGPT-4でもまだまだアホチンなので、ある程度用途を限った開き直った使い方しかできんよなあ。
AIと友人になれる日はいつでしょうね。
@ambergon あらかじめOpenAI側で仕込まれた指示自体も厳しくなってるし、回答も少々劣化気味だし、容赦なくBANされるし、って感じで、かなり締めつけが厳しくなってる傾向だという話なので、とても気をつけるか、ローカルLLMに移行するか、なにかしら検討したほうがいいかと…
たぶんAITuberとかもこれから受難の日々なんだろうなあ。
このアカウントは、notestockで公開設定になっていません。
