まぁ運用がめっちゃ邪魔くさいらしいのでナシか。うまい話はないわね。

K80って一基1万円くらいで買えてVRAMが24GBもあるし、少々遅いくらいなら結構いいんじゃ？
と思ったけどここまで遅いとなんぼメモリあっても厳しいかなぁ。
https://www.videocardbenchmark.net/compare/4448vs4345/Tesla-K80-vs-GeForce-RTX-3060-12GB
3060の1/3くらいか。これでもCPU推論よりはマシかねぇ。

にゃ