This account is not set to public on notestock.
This account is not set to public on notestock.
予定より1時間延長しましたが無事にメンテ終了しました
RE: https://misskey.nokotaro.com/notes/817b6603ed6c28f62a631a1c
1時間半経ったんですがメンテ時間延びてます
RE: https://misskey.nokotaro.com/notes/817b6603ed6c28f62a631a1c
バックアップに15分掛かったのでバックアップ戻しは30~40分くらい掛かる見込み、work鯖の時はバックアップ10分に対して戻しが18分だった
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
複数回答可アンケート寿限無とカスタム絵文字はサーバー負荷に効く
This account is not set to public on notestock.
めいめいは
ガードとチンポが
?????
※テレビの前の皆さんも
一緒にお考えください!
謎のOOMが起きたのが深夜だったからか、朝の時点ではすでにジョブエラーでログが埋まってて流石に原因の特定に時間がかかってしまったけど、ガッツリログ遡ったらRedisのOOMエラー出てたんで多分これが根本原因です(ただしなぜRedisがOOM起こしたかはまだ分からん)
絵文字ピッカーが開かない、インスタンス情報の統計だけ表示されない、ここらへんからRedisイカれてるのは予想できたかもしれん
えー、RedisのOOMのせいで1.5万溶かしたのか🥴 ちょっとまだ本当にこれが原因なのか分からんけど…
怒涛のジョブキュー消化でまだまだ不安定なのと、Autopilotクラスターが結構こまめにスケーリングしてるせいでまだ安心できない
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
開店前にしてすでに8人待ちだったので、ファーストロットではないことを悟りつつ列に並ぶ。
シャッターが開くと1人ずつ食券を買って着席。セカンドロットの先頭だった。麺茹で終わり前の丼へスープを用意するところを眺めていたが、タレの後に化調をドバーッと入れてて興奮する。
着丼してからそーっとスープを一啜りしたが、味にインパクトを感じず。だが、天地返ししてから麺とスープを啜ると、大量のニンニクと化調が効いたスープが全身に沁み渡って優勝。その後は無我夢中で丼を貪った。ごちそうさまでした。
3回目の訪問だけど、相変わらずニンニクが多くて最高!ファーストロット逃したのが心残り。
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
この前は間違って新規で作られたアカウントで支援してしまったので、改めていつものPatreonアカウントでMisskey.ioの支援をすることにした(ついでに支援額を$15/moにした)
これまで通りしゅいろ個人にも支援しつつ、Misskey.ioの運営にも支援します
とりあえず、タイミング的に何となくv12.85.0にアップデートしたのが原因っぽく見えちゃうけれどそれは今回の事象とはほぼほぼ関係無いと思っていて、その理由としては
・アプデ直後に目立った障害は無かった
・アプデしてないめいすきー版のインスタンスも同じタイミングで同じ不具合が起こった
・不具合が起こったインスタンスは同じk8sクラスターで運用していた
てなわけで、あとでログ見て更に細かく原因を切り分けて、最低限の構成になるかも分からんけどとりあえず一時的に動くような状態まで持っていきたい
とはいえあまりにも長く止めてると各サーバーでキューが詰まって普通に迷惑だし、鯖缶の判断で閉鎖扱いにされちゃうと復旧したあとに自分も困るので…
RE: https://misskey.io/notes/8p7twkw9mr
自分が管理しているMisskeyインスタンスは基本的に自分専用インスタンスや検証用インスタンス、身内向けのインスタンス(Blueroseはちょっと例外)だったりするので、絶対に今すぐ復旧させないと的なプレッシャーは無い
5つのインスタンスでひっきりなしにジョブキューエラーが吐かれた結果、SQLだけでストレージ使用量が2GB増えて、Cloud Loggingに関しては350GBくらい使用したことになってる
2021/8/9 2:50頃より、こちらのインスタンスで投稿した内容が他のサーバーに送られてこない、また他のサーバーで投稿された内容がこちら側に流れてこない不具合が確認されております。
また、不具合があることを示すログが溜まり、データベースや管理用のログ収集サービスに対して非常に高い負荷が継続的に掛かっているため、一時的にメンテナンス状態に致します。
作業が完了するまでは @takenoko@misskey.io もしくは @takenoko@fedibird.com に避難します。
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
This account is not set to public on notestock.
この前は間違って新規で作られたアカウントで支援してしまったので、改めていつものPatreonアカウントでMisskey.ioの支援をすることにした(ついでに支援額を$15/moにした)
これまで通りしゅいろ個人にも支援しつつ、Misskey.ioの運営にも支援します
前はGCPのCloud Networkingが落ちてただけでほっといたら勝手に直ったんだけど今回はそうでは無さそう
RE: https://misskey.io/notes/8p7j06locn
This account is not set to public on notestock.
うーん、手動でfetchはできるけど… 何か上手く連合されてないっぽいわね…
RE: https://misskey.nokotaro.com/notes/817b2838e27eefcb4ebb7f00