動作テスト

テスト

【運営情報】ただいまクラウドサービスの故障によりサービスが不安定になっています。先ほど、臨時のルートを構築し、影響の軽減を図っています。継続して対応予定です。 #handon_info

test

【運営情報】本日10:14JST頃よりサービスが正常に利用できなくなりました。現在原因を特定し、10:29JST頃、軽減策の適用が完了しました。最低限サービスは継続できていますが、サービスが不安定で利用が出来ない状況が続いています。ご迷惑をおかけしていることをお詫びいたします。

・影響範囲
Web/API/Streamingサービスが利用できないまたは利用しずらい状況

・原因
クラウドサービス（ロードバランサー）の故障

・時系列
17日10:14JST(推定): ロードバランサーの障害発生
17日10:15JST: アラート発報
17日10:29JST: 想定原因から、Web/APIに臨時対策を実施、効果があることを確認
17日10:34JST: Streamingに臨時対策を実施、効果があることを確認
17日10:39JST: クラウドサービス事業者へチケット起票
17日10:46JST: クラウドサービス事業者側で調査開始

#handon_info

EquinixかVultrの問題で、両社間でルーティングできてなさそう。

今回は、バックアップルートとして、LB抜き構成も（証明書の更新含め）完全に構築していたはんさんの勝利です。

＋20ドル / Monthly 払えば冗長化できるよ！！

基本的にITのほぼ全ての事柄は無限の金で解決できます、唯一金で解決できないのは、何がやりたいか自分でも分かっていない人たちの世話だけです

【運営情報】現在全てのサービスが通常運転に戻ったはずです。影響がないか、継続してモニタリングを行います。

【運営状況】アクセス数が正常に戻ったこと、若干発生していたエラーも収まったことが確認出来ました。クラウド事業者側からも確認出来た旨の連絡がありました。よって、本件は収束し、正常に戻ったと判断しました。ご迷惑をおかけして申し訳ございませんでした。

#handon_info

【運営情報】【最終報】本日一時的にサービスが利用できない状況となっておりましたが、先ほど完全に復旧しました。ご迷惑をおかけし申し訳ございませんでした。

・影響範囲
全サービスが利用できない： 4/17 10:14〜10:34
全サービスが利用しずらい場合がある： 4/17 10:34〜11:22

・原因
クラウド事業者ロードバランサー故障

・対処
クラウド事業者による修復
（暫定対処として一時的にバックアップルートへの切替を実施）

・時系列
17日10:14: 事象発生
17日10:15: アラート発報、対応開始
17日10:29: 原因特定、バックアップルートへの切替開始
17日10:34: バックアップルートへの切替完了、暫定対処完了
17日10:39: クラウド事業者へチケット起票
17日10:46: クラウド事業者で対応開始
17日11:21: クラウド事業者で対応完了
17日11:22: 当初ルートへの切り戻し
17日11:25: アラート停止
17日11:39: 事象改善を確認

・再発防止策
あと20ドル/月もらえたら考えます

#handon_info

仕事していい？

障害は禁止ワードなので全部故障です

あ、最終報に障害ってかいてるじゃん･･･w

修正した

マジでバックアップの証明書がcertbot+cloudflare APIで自動更新されてたのが神だったな

certbot、大体設定ミスで自動で動かないので、これは奇跡と言っても良い