22:28:57 @aquarla@iwatedon.net
icon

飯テロだああああああああ!!!

22:26:10 @aquarla@iwatedon.net
icon

ごち鯖では、これだけサービス停止したのは初めてでしたね・・・

22:24:57 @aquarla@iwatedon.net
icon

(^○^)

22:24:49 @aquarla@iwatedon.net
2019-08-23 22:21:19 にし🍜の投稿 westantenna@gochisou.photo
icon

このアカウントは、notestockで公開設定になっていません。

22:21:52 @aquarla@iwatedon.net
icon

【ごちそうフォトをご利用の皆様へ】

ごちそうフォトの障害についてですが、サーバーの負荷も改善され、さきほどサービスが正常に稼働していることが確認できました。利用できない時間帯が長く続き、大変ご迷惑をおかけいたしましたm(_ _)m

なにか問題等が発生した場合は、私までご連絡いただけると非常に助かります。

ご面倒をおかけしました。今後ともよろしくお願いいたします!

22:19:42 @aquarla@iwatedon.net
icon

I/Oも張り付かなくなったし、これで復活ということでよいかな

22:18:33 @aquarla@iwatedon.net
icon

ごち鯖、やっと戻った気がするぞ!!!

21:32:13 @aquarla@iwatedon.net
icon

@noellabo こんな時じゃなければ速攻試してたのに・・・くっ

21:31:18 @aquarla@iwatedon.net
icon

I/Oが致命的に遅すぎるので、マストドン関連プロセスをすべて落として様子を見ます・・・

21:12:34 @aquarla@iwatedon.net
icon

飯テロに特化ですって!?

21:12:16 @aquarla@iwatedon.net
2019-08-23 15:06:00 嗤民の投稿 waratami@mastodon.social
icon

このアカウントは、notestockで公開設定になっていません。

21:09:47 @aquarla@iwatedon.net
icon

少し戻ったと思ったらSSHログインできなくなって、怪しい・・・

21:04:02 @aquarla@iwatedon.net
icon

(そろそろ復活しないかしら…)

21:03:28 @aquarla@iwatedon.net
2019-08-23 21:02:44 西にししの投稿 westantenna@matitodon.com
icon

このアカウントは、notestockで公開設定になっていません。

19:27:26 @aquarla@iwatedon.net
icon

本当にメシ画像の機会損失だ!!!

19:25:55 @aquarla@iwatedon.net
icon

ミュート推奨の鯖缶ワロタ

19:25:28 @aquarla@iwatedon.net
2019-08-23 19:24:28 :0232_1: 高橋夏希《Natsuki》の投稿 natsuki@pokemon.mastportal.info
icon

このアカウントは、notestockで公開設定になっていません。

19:25:00 @aquarla@iwatedon.net
icon

今ごち鯖で走ってるrubyプロセスを全部killすれば済むような気もするが、さすがにそれは攻めすぎだな… :thinking_iwate:

19:22:58 @aquarla@iwatedon.net
icon

【ごちそうフォトをご利用の皆様へ】

ごちそうフォトの障害について、さきほどAWS上のサーバーが起動していることは確認できましたが、依然として負荷が高い状態が続いており、サービスの完全復旧には至っておりません。

ご面倒をおかけしますが、しばしお待ちいただければ幸いです。m(_ _)m

18:50:29 @aquarla@iwatedon.net
icon

I/Oウェイトがヤバいことになってるので、やっぱりEBS周りの障害なんだろうなー

18:45:59 @aquarla@iwatedon.net
icon

なんとなくプロセス再起動したい気持ちがあるが、この負荷状況だと逆効果だな・・・

18:38:34 @aquarla@iwatedon.net
icon

ログインできたけどロードアベレージ600超えwww

18:38:02 @aquarla@iwatedon.net
icon

ごち鯖復旧しかけてますけどまだ重い

18:35:24 @aquarla@iwatedon.net
icon

金曜というのがまたなかなかアレなタイミングわね・・・

18:22:18 @aquarla@iwatedon.net
icon

EC2復活後にプロセスダウンとかしてたら、すぐには復旧できないかもしれません。。。

18:21:08 @aquarla@iwatedon.net
icon

EC2まだ戻らないですね・・・

15:37:03 @aquarla@iwatedon.net
2019-08-23 13:58:39 あくあーら@イワテドン鯖缶の投稿 aquarla@iwatedon.net
icon

【ごちそうフォト利用者の方々へお知らせ】

現在ごちそうフォトのサービスを利用できない障害が発生しております。サーバを格納しているクラウド(Amazon Web Service)の障害が原因であると考えられます。

ご面倒をおかけしますが、サービス復旧までお待ちいただければと思います。よろしくお願いいたしますm(__)m

15:32:57 @aquarla@iwatedon.net
icon

やめておこう・・・(実はあちらの垢、わりとアレされてるので

15:32:17 @aquarla@iwatedon.net
icon

メシ画像が流れてきてるのにブーストできない悲しみ(この垢でブーストしてよい?

14:59:53 @aquarla@iwatedon.net
icon

結構usリージョン使ってる人多そうだな・・・

14:59:22 @aquarla@iwatedon.net
icon

Sidekiq見てると、AWSのアレ引いたサーバ思ってたより少ないな・・・

14:50:04 @aquarla@iwatedon.net
icon

ごち鯖はAWSとともに無事お空のお星さまになりました ㊗️

14:49:04 @aquarla@iwatedon.net
icon

なので落ちてても準備不足だなんだとか言わないでくだしあ・・・

14:48:29 @aquarla@iwatedon.net
icon

このレベルの障害で、個人サービスが可用性担保するのは無理っすよ・・・

14:35:31 @aquarla@iwatedon.net
icon

こうしてみてると、Fediverseの岩手県の安定感

14:33:17 @aquarla@iwatedon.net
icon

新卒入社2日目で大遅刻して始末書を書いたのが私になります

14:32:42 @aquarla@iwatedon.net
icon

まぁ個人運営のサービスだし、このくらいの障害はイベント感覚で楽しんでいるよ

14:31:36 @aquarla@iwatedon.net
icon

RDSさんまでお空のお星さまに。。。

Attach image
14:28:39 @aquarla@iwatedon.net
icon

ごちフォトさんは無事天国へ昇天されました

14:28:19 @aquarla@iwatedon.net
2019-08-23 14:25:17 クマノテツ :sabacan:の投稿 kumanotetu@mstdn.mini4wd-engineer.com
icon

このアカウントは、notestockで公開設定になっていません。

14:12:48 @aquarla@iwatedon.net
icon

東京リージョン、いまのところ無事でも突然逝くこともあるから安心は禁物よ(例:ごち鯖

14:10:05 @aquarla@iwatedon.net
icon

イワテドンの無事を祈って大仏建立

Attach image
14:08:03 @aquarla@iwatedon.net
icon

PayPayも逝ってしまってるという話が聞こえてきて笑っている・・・

14:01:49 @aquarla@iwatedon.net
icon

ごち鯖無事死亡です。本当にありがとうございました。

13:58:39 @aquarla@iwatedon.net
icon

【ごちそうフォト利用者の方々へお知らせ】

現在ごちそうフォトのサービスを利用できない障害が発生しております。サーバを格納しているクラウド(Amazon Web Service)の障害が原因であると考えられます。

ご面倒をおかけしますが、サービス復旧までお待ちいただければと思います。よろしくお願いいたしますm(__)m

13:56:03 @aquarla@iwatedon.net
icon

あっ、ついにごち鯖逝ったか・・・?

13:54:32 @aquarla@iwatedon.net
icon

Attach image
13:45:34 @aquarla@iwatedon.net
icon

もう仕事にならないしみんな帰ろうぜ・・・

13:42:07 @aquarla@iwatedon.net
icon

Real rack? real luck?

13:41:35 @aquarla@iwatedon.net
2019-08-23 13:40:59 酸性雨の投稿 acid_rain@amefur.asia
icon

このアカウントは、notestockで公開設定になっていません。

13:41:25 @aquarla@iwatedon.net
icon

至るところで障害が発生しているし、事態を鎮めるにはもはや大仏建立しかない

13:39:26 @aquarla@iwatedon.net
icon

鯖缶たる私のリアルラックによる安定運用

13:37:53 @aquarla@iwatedon.net
icon

まぁでも1aで死んでるインスタンスは、1cで立ち上げなおせば安全なのかもしれない

13:34:32 @aquarla@iwatedon.net
icon

鳥見てると1aだけ死んでるという情報が流れてて???になってる

13:33:46 @aquarla@iwatedon.net
icon

AZ単位で逝ってるのかな・・・? イワテドン&ごち鯖は ap-northeast-1a にありますがなんとか無事

13:31:33 @aquarla@iwatedon.net
icon

こういうときにAWS一辺倒はつらいのよな・・・(いちおう監視はGCPから行ってる

13:27:08 @aquarla@iwatedon.net
icon

JPの人たちに飯テロをお届けできないのは非常に残念な限り

13:24:33 @aquarla@iwatedon.net
icon

ごち鯖に障害があるとFediverseにとって損失は大きいな・・・(???)

13:23:13 @aquarla@iwatedon.net
icon

万が一鯖死んだら、ビア鯖かポケマスあたりに避難しますゆえ・・・

13:22:14 @aquarla@iwatedon.net
icon

私がトゥートし続けてる限り、ap-northeast-1 は全滅していません

13:19:59 @aquarla@iwatedon.net
icon

東京リージョン死亡とすると影響範囲甚大かもな・・・

13:19:24 @aquarla@iwatedon.net
icon

イワテドンおよびごち鯖もAWS東京リージョンにあるのよね・・・((((;゚Д゚))))

13:17:25 @aquarla@iwatedon.net
icon

死ぬ最後の一瞬までメシブーストし続ける(ぽちっ

13:16:58 @aquarla@iwatedon.net
icon

AWS障害の兆しで、私管理のサーバ群がピンチ

13:08:31 @aquarla@iwatedon.net
icon

マネタイズだ!!!

13:07:54 @aquarla@iwatedon.net
icon

1トゥートあたりn円でJPにトゥートを配送するビジネス

13:05:41 @aquarla@iwatedon.net
icon

最近、体調不良を自律神経の乱れのせいにしがち(いや実際そうなのかもだけど)。

12:52:54 @aquarla@iwatedon.net
2019-08-23 12:52:37 あくあーら@ごちそうフォト鯖缶の投稿 aquarla@gochisou.photo
icon

てんどーん

Attach image
Attach image
12:50:52 @aquarla@iwatedon.net
icon

ビア鯖復活おめ!

11:58:34 @aquarla@iwatedon.net
2019-08-23 11:57:21 estplsの投稿 estpls@mastodooooooon.xyz
icon

このアカウントは、notestockで公開設定になっていません。

09:44:53 @aquarla@iwatedon.net
icon

まだトラブってるのか…

00:34:26 @aquarla@iwatedon.net
icon

いつの間にかJPが…?