@hanoa@best-friends.chat ChatGPTのプログラムが思った通りに動かないときに、「ChatGPTが書けないからダメでした。」って報告するのは頼りなさすぎですからね。

@hanoa@best-friends.chat ChatGPTはコピペプログラミングとして初速はまあいいんですけど、そこから先修正を重ねるにつれどんどん効率が悪くなるし到達できるコードも限られる。

@hanoa@best-friends.chat 全体の整合性を取るのが苦手なので、例えばセキュリティに関連するコードの生成は非常にダメですね…。ふんわりとした質問には答えてくれますが。

@iodine53@misskey.io vim は「鉛筆を持つモード」「消しゴムを持つモード」「手に何も持っていないモード」を切り替えながら作業すると考えるとわかりやすいかも。

@lithium03@mastodon.lithium03.info まあTransformerで使われているattentionというのは脳の注意機構を模擬した（つもり）の仕組みなので…。より遠くの文脈を「思い出す」機能をつけるには、word2vecのようなサンプリング機構（word2vecは語句の出現頻度という極めて単純な計算をもとに、学習すべき組み合わせをサンプリングしている）や、離散的なアクションを学習させる強化学習の仕組みが必要なのかと思います。ただ、モデルが十分強力な場合、ちょっとの工夫はモデルの能力に飲み込まれてしまい、性能が改善しないというのはよくありますし、遠くの語句が影響するというのはデータ的にかなり疎になってくるので、全く同じキーワードが使われているなどの明確なシグナルがないと、end-to-end機械学習では拾えないのではないかと思います。（by 大学院でそういうのを調べる研究をしてた人）

@lithium03@mastodon.lithium03.info すくなくとも、学習したモデルのデータが主張しているのは、単純に「遠いほど関係がない」とみなした方が予測精度が上がるということですね…。創造性という面では、たしかに長波長の伏線による文章のリズムがあったほうが魅力的であると思うのですけれども、それを機械学習で検出できるほど、学習データが統計的に共通の性質を持っているかというと、私は疑わしいと思います。そういうのはどちらかというとアートの領域なので、学習するよりも意図して設計して組み込む方が良い結果になるのかなと思います。

@lithium03@mastodon.lithium03.info ChatGPTでは、（おそらくローンチ前の大量の試運転によるデータ作成と）ユーザーのフィードバックにより、質問を把握して「出すべき単語」「出さないべき単語」は比較的鋭敏に判断できるようになったのではないかと思うのですが、論理を必要とするような質問をするユーザーが少なくフィードバックが限られることと、論理は言葉の組み合わせであるのでデータが疎になり、学習できないということが原因で論理的一貫性が持てないのではないかと想像しています。（たとえば二つの動作の組み合わせの適否は学習できるが、三つの動作の組み合わせの適否は、よくある連鎖でなければパターンが多すぎて学習できないとか。）あのモデルは高度に見えて、実は「膨大なパターンの分類と丸暗記」が能力の源泉になっているので、これで対応できない課題はend-to-end一辺倒ではやっぱり無理があると思います。

@lithium03@mastodon.lithium03.info たぶんチョムスキーはこういう問題意識があって、遺伝的・生理的に生まれつき人間に備わっている「言語獲得装置」というものを想定したのだと思います。生物は、限られたデータ、限られた神経ネットワークから効率的に学習するインセンティブや、欺瞞したり欺瞞を見抜くインセンティブが非常に大きいので、論理性や論理性の基礎となる認知能力を持つことになったのかなぁと思います。

このサーバーはハッシュタグリレーというハッシュタグ付きの投稿のみをグローバルタイムラインに流しあうネットワークに参加しているので、その関係で英語のタグとかも流れてくるみたいです。

異国のよくわからない投稿の画像をながめて、世界の日常を感じるのも悪くないですよ

あ、ねますおやすみ～

YouTube ショート、たまに見るのだが、だんだんスワイプが加速してきて、最後の方はカジノディーラーみたいになる

おなかが空いているときって無意識に食べ物を検索していることがあるよねもち 検索

@raraneomidori わーい！ありがとうございます！ゆるくてかわいいです！​​

This account is not set to public on notestock.

期間限定アイコンかも
白鳥ララさんありがとう
（勝手に使ってます）

今迷路つくってる

迷路生成アルゴリズムを好みのものにしようとしている
左上スタート、右下ゴール

行き止まりの枝道が無駄に長い意地悪な迷路が好きだから、そのような迷路ができるようにしている

パラメーターを変えるといろいろな迷路が作れる

This account is not set to public on notestock.