[お知らせ] メンテナンスが完了しました。(以下、障害についての調査報告)
icon

[作業内容]
・PostgreSQL 12.6 から 13.2へのアップデート

[障害内容]
・Misskeyへの接続がほとんど出来ない
・各インスタンスの復旧を確認後、PostgreSQLが高負荷になる

[検証内容]
検証環境で同様の作業を行ったところ、アップデート完了時点では通常通りに接続可能ですがMisskeyにて投稿をすると高負荷になる現象が再現しました。

1. Misskeyにて投稿する/他のインスタンスから取得すると
noteのIndexが正しくない判定となり再生成が開始
2. 再生成中はリクエストが保留されるためDBとの通信にタイムアウトが発生
3. 監視システムがMisskeyがクラッシュしたと誤認識し再起動を要求
4. Misskeyが再起動しDBへ再接続

通常であればインデックス処理はここまで長時間かからないはずが、1~4をループし続けDBに膨大な負荷が掛かっていたため長引いてしまった可能性が高いです。

ご利用の皆様に大変ご迷惑をお掛けしました事を改めてお詫び申し上げます。