エージェント君ダブルタップでカメラ起動して撮った写真について話しかけることができるようになった!!
エージェント君ダブルタップでカメラ起動して撮った写真について話しかけることができるようになった!!
おそらくFlutterかもしくはプラグインの仕様なんだけどオーバーレイの画面からPicker飛べずにメインの画面に無理やりメッセージ飛ばしてやったんだけどそうするとPickerのコールバックがメインの画面になってめんどいなぁ
画像解析はGPT-4しかできないから一時的に切り替えて解析してるんだけど、履歴全部いれると料金的にきついから最後の2件だけ入れてる。これで一応つチャットの返信はある程度つながるはず
OpenAIのTSSって比較的自然に感じるけど声が好みじゃない。がしかしRVCかませば好きな声にできるじゃんってことに気が付いた。
MemGPTにWebSocketの実装が入ったから試してみたい。これをサーバーで動かして長期記憶もったAgent作る作戦
https://github.com/cpacker/MemGPT/pull/399
地味に更新して音声検知したとか考え中とか顔で表現できるようになった!あとは文章から表情解析して変えれるようになった!インタフェースとしては中々にいい感じ😊
今のところアプリが裏で生きてる間は会話履歴が保持できるけどそろそろサーバーに置いてどの端末からでも同じAIエージェント君にアクセスできるように作っとこうかなぁ。
miiboはopenai五感のインタフェースじゃなさそうだからproxyサーバーの方いじって入れ込んでみるか
MemGPTでGPT-3.5の性能よくないからペーパーに載ってたGPT-4の実行ログでそのままfine-tuningしたら3000円飛んだ。果たしていい感じに動くかどうか
fine-tuningってレート制限の対象かな?
レート制限かかっちゃった😂
よく使ってる人だと多分そんなこともないんだろうけど、このアカウントTier1だからレート低いんよな
うーん、でもやっぱ良くない方の追い出しな気がする。これは妄想だけど利益に目がくらんだ理事会に追い出されたみたいな
値上げもしそうな予感あるなぁ。そうなってくるとやはりそれなりの性能のローカルLLMがやはりフェールセーフとしても必要感ある