https://qiita.com/Kozo_Mizutani/items/e6bb3a182ec5ba7d6ad7
K80でOllama動かしてるヒト居た。動くんや。
しかし70Bの4bit量子化で2token/secって、遅いけどまぁ値段考えれば許せなくもないか……？って感じの絶妙に微妙な速度ねぇ。
https://qiita.com/Kozo_Mizutani/items/e6bb3a182ec5ba7d6ad7
K80でOllama動かしてるヒト居た。動くんや。
しかし70Bの4bit量子化で2token/secって、遅いけどまぁ値段考えれば許せなくもないか……？って感じの絶妙に微妙な速度ねぇ。
