めいめいは
ガードとチンポが
？？？？？
※テレビの前の皆さんも
一緒にお考えください！
めいめいは
ガードとチンポが
？？？？？
※テレビの前の皆さんも
一緒にお考えください！
謎のOOMが起きたのが深夜だったからか、朝の時点ではすでにジョブエラーでログが埋まってて流石に原因の特定に時間がかかってしまったけど、ガッツリログ遡ったらRedisのOOMエラー出てたんで多分これが根本原因です（ただしなぜRedisがOOM起こしたかはまだ分からん）
絵文字ピッカーが開かない、インスタンス情報の統計だけ表示されない、ここらへんからRedisイカれてるのは予想できたかもしれん
えー、RedisのOOMのせいで1.5万溶かしたのか🥴 ちょっとまだ本当にこれが原因なのか分からんけど…
怒涛のジョブキュー消化でまだまだ不安定なのと、Autopilotクラスターが結構こまめにスケーリングしてるせいでまだ安心できない
自鯖は溜まってたジョブキューを一気に消化してるからHTLがすんげー勢いで流れてる
GKE Autopilot半端ねえっす、サクッとk8sクラスター作れちゃう
このアカウントは、notestockで公開設定になっていません。
このアカウントは、notestockで公開設定になっていません。
の投稿
hakohako_f2@misskey.io
このアカウントは、notestockで公開設定になっていません。
このまま寝たい気分だけど何とか休みのうちに自鯖を復旧させておきたいので頑張るかあ
大山駅でお買い物したので帰る… この踏切が高架化で姿を消すのはいつになるのやら…
このアカウントは、notestockで公開設定になっていません。
開店前にしてすでに8人待ちだったので、ファーストロットではないことを悟りつつ列に並ぶ。
シャッターが開くと1人ずつ食券を買って着席。セカンドロットの先頭だった。麺茹で終わり前の丼へスープを用意するところを眺めていたが、タレの後に化調をドバーッと入れてて興奮する。
着丼してからそーっとスープを一啜りしたが、味にインパクトを感じず。だが、天地返ししてから麺とスープを啜ると、大量のニンニクと化調が効いたスープが全身に沁み渡って優勝。その後は無我夢中で丼を貪った。ごちそうさまでした。
3回目の訪問だけど、相変わらずニンニクが多くて最高！ファーストロット逃したのが心残り。
このアカウントは、notestockで公開設定になっていません。
腹減りの限界感じたしやっぱガッツリ食いたいので面倒くさいけど出掛けるかあ
このアカウントは、notestockで公開設定になっていません。
このアカウントは、notestockで公開設定になっていません。
この前は間違って新規で作られたアカウントで支援してしまったので、改めていつものPatreonアカウントでMisskey.ioの支援をすることにした（ついでに支援額を$15/moにした）
これまで通りしゅいろ個人にも支援しつつ、Misskey.ioの運営にも支援します
とりあえず、タイミング的に何となくv12.85.0にアップデートしたのが原因っぽく見えちゃうけれどそれは今回の事象とはほぼほぼ関係無いと思っていて、その理由としては
・アプデ直後に目立った障害は無かった
・アプデしてないめいすきー版のインスタンスも同じタイミングで同じ不具合が起こった
・不具合が起こったインスタンスは同じk8sクラスターで運用していた
てなわけで、あとでログ見て更に細かく原因を切り分けて、最低限の構成になるかも分からんけどとりあえず一時的に動くような状態まで持っていきたい
とはいえあまりにも長く止めてると各サーバーでキューが詰まって普通に迷惑だし、鯖缶の判断で閉鎖扱いにされちゃうと復旧したあとに自分も困るので…
RE: https://misskey.io/notes/8p7twkw9mr
自分が管理しているMisskeyインスタンスは基本的に自分専用インスタンスや検証用インスタンス、身内向けのインスタンス（Blueroseはちょっと例外）だったりするので、絶対に今すぐ復旧させないと的なプレッシャーは無い
あとでmisskey.nokotaro.comのDBからフォローぶっこ抜いてきてインポートするかあ
misskey.nokotaro.comだけでもいち早く復旧させたいんだが、ちと疲れ切ってしまった
5つのインスタンスでひっきりなしにジョブキューエラーが吐かれた結果、SQLだけでストレージ使用量が2GB増えて、Cloud Loggingに関しては350GBくらい使用したことになってる
2021/8/9 2:50頃より、こちらのインスタンスで投稿した内容が他のサーバーに送られてこない、また他のサーバーで投稿された内容がこちら側に流れてこない不具合が確認されております。
また、不具合があることを示すログが溜まり、データベースや管理用のログ収集サービスに対して非常に高い負荷が継続的に掛かっているため、一時的にメンテナンス状態に致します。
作業が完了するまでは @takenoko@misskey.io もしくは @takenoko@fedibird.com に避難します。
このアカウントは、notestockで公開設定になっていません。
このアカウントは、notestockで公開設定になっていません。
このアカウントは、notestockで公開設定になっていません。
このアカウントは、notestockで公開設定になっていません。
この前は間違って新規で作られたアカウントで支援してしまったので、改めていつものPatreonアカウントでMisskey.ioの支援をすることにした（ついでに支援額を$15/moにした）
これまで通りしゅいろ個人にも支援しつつ、Misskey.ioの運営にも支援します
Patreonでioに貢いだことだし問題が解決するまでの間ここに居させてもらうわよ
前はGCPのCloud Networkingが落ちてただけでほっといたら勝手に直ったんだけど今回はそうでは無さそう
RE: https://misskey.io/notes/8p7j06locn
しゅいろの投稿
syuilo@misskey.io
このアカウントは、notestockで公開設定になっていません。
今日の2時50分あたりから突然いくつかある自鯖が連合されなくなってしまった、面倒くさい
うーん、手動でfetchはできるけど… 何か上手く連合されてないっぽいわね…
RE: https://misskey.nokotaro.com/notes/817b2838e27eefcb4ebb7f00
