再現したら共有します、再現性無かったら​​

謎のOOMが起きたのが深夜だったからか、朝の時点ではすでにジョブエラーでログが埋まってて流石に原因の特定に時間がかかってしまったけど、ガッツリログ遡ったらRedisのOOMエラー出てたんで多分これが根本原因です（ただしなぜRedisがOOM起こしたかはまだ分からん）

絵文字ピッカーが開かない、インスタンス情報の統計だけ表示されない、ここらへんからRedisイカれてるのは予想できたかもしれん

えー、RedisのOOMのせいで1.5万溶かしたのか🥴 ちょっとまだ本当にこれが原因なのか分からんけど…

Redisのメモリ上限増やしたら止まってたTLが流れ出したゾ…

あ゛っ

維持するのは…

建てるのは簡単じゃい

とりあえず雑にRedisのメモリ上限を増やす

ん？デバッグしてるけどこれRedisがOOM起こしてるっぽい…？

治ったと思ったらやっぱりジョブ詰まってる

うーん、やっぱ調子悪い

あと肥大化したDBをこれを機になんとかせねば

怒涛のジョブキュー消化でまだまだ不安定なのと、Autopilotクラスターが結構こまめにスケーリングしてるせいでまだ安心できない

自鯖は溜まってたジョブキューを一気に消化してるからHTLがすんげー勢いで流れてる

GKE Autopilot半端ねえっす、サクッとk8sクラスター作れちゃう

おー自鯖が復活したかも

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

このまま寝たい気分だけど何とか休みのうちに自鯖を復旧させておきたいので頑張るかあ

帰宅した

17000系に乗るの3回目

大山駅でお買い物したので帰る… この踏切が高架化で姿を消すのはいつになるのやら…

This account is not set to public on notestock.

開店前にしてすでに8人待ちだったので、ファーストロットではないことを悟りつつ列に並ぶ。
シャッターが開くと1人ずつ食券を買って着席。セカンドロットの先頭だった。麺茹で終わり前の丼へスープを用意するところを眺めていたが、タレの後に化調をドバーッと入れてて興奮する。
着丼してからそーっとスープを一啜りしたが、味にインパクトを感じず。だが、天地返ししてから麺とスープを啜ると、大量のニンニクと化調が効いたスープが全身に沁み渡って優勝。その後は無我夢中で丼を貪った。ごちそうさまでした。

まだ外も明るい時間だけど開店前の待ちが10人くらい居てびっくり

特に板橋エリアにありがちな光景

ここ何回か来たことあるけどやっぱり謎構造

中板橋で2本抜きされる

上板橋の手前で急停車してしまった

This account is not set to public on notestock.

同じ人です〜 自鯖が調子悪いのでioに避難中です

今まで自鯖に籠もりすぎててLTLという概念をすっかり忘れていた

腹減りの限界感じたしやっぱガッツリ食いたいので面倒くさいけど出掛けるかあ

This account is not set to public on notestock.

This account is not set to public on notestock.

風の音がえげつなくて散歩ためらう

外めちゃくちゃ風が強い

とりあえず腹減って頭が働かないのでひるごはん食べに行くかあ

画像鯖が復活している

とりあえず、タイミング的に何となくv12.85.0にアップデートしたのが原因っぽく見えちゃうけれどそれは今回の事象とはほぼほぼ関係無いと思っていて、その理由としては

・アプデ直後に目立った障害は無かった
・アプデしてないめいすきー版のインスタンスも同じタイミングで同じ不具合が起こった
・不具合が起こったインスタンスは同じk8sクラスターで運用していた

てなわけで、あとでログ見て更に細かく原因を切り分けて、最低限の構成になるかも分からんけどとりあえず一時的に動くような状態まで持っていきたい

とはいえあまりにも長く止めてると各サーバーでキューが詰まって普通に迷惑だし、鯖缶の判断で閉鎖扱いにされちゃうと復旧したあとに自分も困るので…

RE: https://misskey.io/notes/8p7twkw9mr

自分が管理しているMisskeyインスタンスは基本的に自分専用インスタンスや検証用インスタンス、身内向けのインスタンス（Blueroseはちょっと例外）だったりするので、絶対に今すぐ復旧させないと的なプレッシャーは無い

くちばしばしばし

はらへった

あとでmisskey.nokotaro.comのDBからフォローぶっこ抜いてきてインポートするかあ

普段io全然使ってなかったからHTLがさびしいわね

misskey.nokotaro.comだけでもいち早く復旧させたいんだが、ちと疲れ切ってしまった

つかれた

1日で1.5万飛びました🥴

5つのインスタンスでひっきりなしにジョブキューエラーが吐かれた結果、SQLだけでストレージ使用量が2GB増えて、Cloud Loggingに関しては350GBくらい使用したことになってる​​

とりあえず各インスタンスを一時的に停止してきた

This account is not set to public on notestock.

はあー… どうしたもんかねえー…

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

うーん謎が多い

うーおなかいたいー

この前は間違って新規で作られたアカウントで支援してしまったので、改めていつものPatreonアカウントでMisskey.ioの支援をすることにした（ついでに支援額を$15/moにした）

これまで通りしゅいろ個人にも支援しつつ、Misskey.ioの運営にも支援します

Patreonでioに貢いだことだし問題が解決するまでの間ここに居させてもらうわよ

前はGCPのCloud Networkingが落ちてただけでほっといたら勝手に直ったんだけど今回はそうでは無さそう

RE: https://misskey.io/notes/8p7j06locn

This account is not set to public on notestock.

ねむい

今日の2時50分あたりから突然いくつかある自鯖が連合されなくなってしまった、面倒くさい

自鯖の調子が悪いし体調も悪い

治った

RE: https://misskey.io/notes/8p7g57tdp8

うーん、手動でfetchはできるけど… 何か上手く連合されてないっぽいわね…

RE: https://misskey.nokotaro.com/notes/817b2838e27eefcb4ebb7f00

​​