下記内容で障害が発生しておりました。
障害発生日時
2024/1/1 11:00 JST – 2024/1/1 14:30JST
内容
DBサーバーにて問題が発生し、アプリケーションサーバーと正常に通信が行えない状況となっていたため。
引き続き障害の原因について調査を実施しております。
度重なる障害の発生でご利用の皆様には大変ご迷惑をおかけし申し訳ございません。
ご利用のユーザーの皆様には大変ご迷惑をおかけいたしましたことをお詫び申し上げます。
本障害に関する対策につきまして、進捗をお知らせいたします。
にじみす.moeでは定期メンテナンスにおけるワークフローの見直しを実施しました。
具体的な対応は以下の通りです。
## Job管理ツールの導入(Rundeck)
にじみす.moeでは定期メンテナンスにおいては無人による定期実行タスクで処理を行っておりますが、本障害においてはタスクの1つに想定外の時間がかかり、後ろに予定されていたタスクが意図せず並列実行されてしまったことによりデッドロックを引き置こしたことが原因でした。
本対策では前のタスクが終了したことを確認した上で以降のタスクを実行するようにいたしました。
これにより予期せぬ並列実行を防止します。
## 実行状況の通知
これら定期メンテナンスのタスクにおいて想定外の状態が生じた場合にスタッフが安易にその状態を把握できるよう通知を行うようにいたしました。
これにより不測の事態が発生した場合に迅速に対応できる可能性を高めます。
ご利用のユーザーの皆様には大変ご迷惑をおかけいたしましたことを重ねてお詫び申し上げます。
RE: https://nijimiss.moe/notes/01HM58JVSZWV9HDNTJW58WYAVG