00:47:28
icon

悪くない飲み会だったけど疲労感が

Attach image
00:49:33
icon

今日明日大きな揺れとかありそうでこわひ

00:52:21
2018-09-07 00:50:04 Posting りさちゃん risa@social.arnip.org
icon

This account is not set to public on notestock.

00:52:41
2018-09-07 00:45:02 Posting tateisu​ :force::r_9a: tateisu@mastodon.juggler.jp
icon

support.sakura.ad.jp/mainte/ma さくら石狩の電力供給率50%だそうです

Web site image
メンテナンス・障害情報・機能追加|さくらインターネット公式サポートサイト
00:52:46
icon

:erait:

00:53:09
icon

復電早い!

08:22:43
2018-09-07 07:51:48 Posting えじょねこ ejo090@mstdn.nere9.help
icon

北電、なにが辛いって色々準備してるところで今回のがドーンと来ちまったところなんだよな

08:23:24
icon

運悪いなー

09:47:03
icon

nginxにv6をlistenさせてなかったなるほど🤔

10:07:17
icon

んー

10:07:21
icon

なんだろ

11:21:06
icon

tlがなんかおかしいな

11:21:50
icon

やらかした臭い

11:35:13
icon

tlの更新がおかしい

11:39:38
icon

復活した、のかなぁ

11:40:16
icon

適当にデュアルスタック試したら死んだ

11:41:58
icon

あれ直ってない?
連合tlがおかしいな

11:45:55
icon

駄目だこりゃー
んーなんだろ

11:52:30
icon

少しほっといたら直ってきたか?

11:58:22
icon

フォローしてるユーザのtootが連合tlには出るけどltlには出ない
んんんんー

11:59:46
icon

メンテナンスタスク回してみるかな

12:07:53
icon

ふーどびるどした

12:13:39
icon

直ったっぽい?(n回目)

12:18:05
icon

直ってなーい

12:20:55
icon

sidekiqの待機状態に結構な量溜まってる

12:23:18
icon

待機のタスク減らんな

12:26:35
icon

中々処理進まないなー

12:28:28
icon

このスレッド数じゃ待機ジョブ減らないのは致し方なしか

12:53:23
icon

sidekiq火を吹いているので一旦リレーの設定無効化しました

13:24:28
icon

スレッド増やせば良いんかなぁ

13:33:14
icon

あーもーどこだ問題箇所

13:33:59
icon

sidekiq失敗したジョブが分からない

13:42:52
icon

sidekiqスレッド10にしたら再試行がめっちゃたまっておる

14:22:02
icon

多分直った、かなぁ

14:23:18
icon

はーなんとかなったか

14:23:55
icon

リレー今enableにしたけど承認待ちになっている
古いデータと競合していそうな予感

14:43:17
icon

だいたい直ったけどリレー関連とあとまだ再試行どんどん溜まっていくな
自分がやらかす前は発生してなかったから相手のバージョンが原因とかでは無さそう

15:55:52
icon

んー再試行のログ見るにdns名からipv6見ようとしてる感じあるんだよなーそうじゃないのもあるけど

帰宅後気力が残ってたら真面目に無効化しよう

16:10:06
icon

またTL遅くなってきたのでv6真面目に無効化した
ちょっと再起動します

16:26:17
icon

さていかがかな

16:35:43
icon

駄目だー待機ジョブ減らん

16:43:56
icon

ちょっとマシになったかな

17:24:25
icon

またジョブ溜まってるじゃねぇか!

17:27:37
icon

再試行山と貯まるのわからん
HTTP::TimeoutError: execution expired on [以下相手インスタンスurl]
のパターンと
HTTP::ConnectionError: failed to connect: Operation timed out - connect(2) for [相手インスタンスipv4アドレス]port 443 on [以下相手インスタンスurl]
の2パターンがsidekiqの再試行に積まれておる

17:32:11
icon

ファイルアップロードで504吐くようになった

17:32:16
icon

んんんんん

17:32:24
icon

ロールバックするかもう

17:59:13
icon

ロールバックするとしたら、ec2インスタンス止めてelasticache再起動して(これ要るんかな、というかこれやったから死んだ感じあるしredis2つ立ってれば問題なかったかも)
amiからec2作り直して、か
postgresqlはとりあえずロールバック無しで

18:05:37
icon

他インスタンスのメディア見れなくなってる......

18:14:00
icon

いかがでしょう

18:14:45
icon

今は一応大丈夫そう

18:15:33
icon

んなわきゃなかった......

18:19:07
icon

dbは昨日15時頃、まであるけどredisこれ完全に揮発していいデータだと思ってたわ
バックアップ無いしなー

18:22:25
icon

これで駄目ならどうしたものか

18:51:08
icon

ちゃんと動くことを祈りつつ帰る

19:00:11
icon

メディア上げると504になるのはsidekiqが追いついてないからなんだろうか

19:05:30
icon

インスタンスからs3エンドポイントへのアクセスがうまく行ってないとかもありそうだ

19:08:13
icon

:sck:

19:10:08
19:10:19
19:10:40
icon
19:11:00
icon
19:11:48
icon

503 remote data could not be fetched

19:12:31
icon

リモートからこのインスタンスのtoot見れてないな

19:14:10
icon

デイリーのタスクかあるいは7日間待ってどうかと言ったところ