2024-01-15 09:33:15 @info@nijimiss.moe
icon

システム障害に関するお知らせ
平素よりにじみす.moeをご愛顧いただきありがとうございます。
下記内容で障害が発生しておりました。

障害発生日時
2024/1/15 5:00 JST – 2024/1/15 9:00 JST

内容
データベースサーバーにおいて定期メンテナンスのプロセスに想定以上の時間がかかり、複数のプロセスでデッドロック(複数のプロセスが互いに書き込み禁止を主張し膠着状態となること)が発生しシステムからの読み書きができなくなったため。

対応策
定期メンテナンスの作業ワークフローおよび時間配分の見直しを実施し、再発防止に努めます。

ご利用のユーザーの皆様には大変ご迷惑をおかけいたしましたことをお詫び申し上げます。

2024-01-19 18:20:03 @info@nijimiss.moe
icon

本障害に関する対策につきまして、進捗をお知らせいたします。

にじみす.moeでは定期メンテナンスにおけるワークフローの見直しを実施しました。
具体的な対応は以下の通りです。

## Job管理ツールの導入(Rundeck)
にじみす.moeでは定期メンテナンスにおいては無人による定期実行タスクで処理を行っておりますが、本障害においてはタスクの1つに想定外の時間がかかり、後ろに予定されていたタスクが意図せず並列実行されてしまったことによりデッドロックを引き置こしたことが原因でした。

本対策では前のタスクが終了したことを確認した上で以降のタスクを実行するようにいたしました。
これにより予期せぬ並列実行を防止します。


## 実行状況の通知
これら定期メンテナンスのタスクにおいて想定外の状態が生じた場合にスタッフが安易にその状態を把握できるよう通知を行うようにいたしました。
これにより不測の事態が発生した場合に迅速に対応できる可能性を高めます。


ご利用のユーザーの皆様には大変ご迷惑をおかけいたしましたことを重ねてお詫び申し上げます。

RE:
https://nijimiss.moe/notes/01HM58JVSZWV9HDNTJW58WYAVG