icon

ただ、今だと従来のモデルもentropixとか使って推論してやるとかなり小さくてもそれなりに賢くなる

icon

176GBは2BIT量子化時だからフルパラメータだと1280GBくらいかな…

icon

あとはソフトバンクの出したこいつ(ただし動かすためのVRAMが大まかに176GB程度必要)
https://www.itmedia.co.jp/aiplus/articles/2411/08/news194.html

Web site image
ソフトバンク、4600億パラメータの日本語特化LLMを公開 「日本でも大規模なAI作れると証明」
icon

国内のllmだとサイバーエージェントのこれとか割と賢い(ハルシネーションはまだあるが)
https://x.com/CyberAgent_PR/status/1810499432049451230