00:47:28 @aries@mstdn.asterism.xyz
icon

悪くない飲み会だったけど疲労感が

Attach image
00:49:33 @aries@mstdn.asterism.xyz
icon

今日明日大きな揺れとかありそうでこわひ

00:52:21 @aries@mstdn.asterism.xyz
2018-09-07 00:50:04 りさちゃんの投稿 risa@social.arnip.org
icon

このアカウントは、notestockで公開設定になっていません。

00:52:41 @aries@mstdn.asterism.xyz
2018-09-07 00:45:02 tateisu​ :force::r_9a:の投稿 tateisu@mastodon.juggler.jp
icon

support.sakura.ad.jp/mainte/ma さくら石狩の電力供給率50%だそうです

Web site image
メンテナンス・障害情報・機能追加|さくらインターネット公式サポートサイト
00:52:46 @aries@mstdn.asterism.xyz
icon

:erait:

00:53:09 @aries@mstdn.asterism.xyz
icon

復電早い!

08:22:43 @aries@mstdn.asterism.xyz
2018-09-07 07:51:48 えじょねこの投稿 ejo090@mstdn.nere9.help
icon

北電、なにが辛いって色々準備してるところで今回のがドーンと来ちまったところなんだよな

08:23:24 @aries@mstdn.asterism.xyz
icon

運悪いなー

09:47:03 @aries@mstdn.asterism.xyz
icon

nginxにv6をlistenさせてなかったなるほど🤔

10:07:17 @aries@mstdn.asterism.xyz
icon

んー

10:07:21 @aries@mstdn.asterism.xyz
icon

なんだろ

11:21:06 @aries@mstdn.asterism.xyz
icon

tlがなんかおかしいな

11:21:50 @aries@mstdn.asterism.xyz
icon

やらかした臭い

11:35:13 @aries@mstdn.asterism.xyz
icon

tlの更新がおかしい

11:39:38 @aries@mstdn.asterism.xyz
icon

復活した、のかなぁ

11:40:16 @aries@mstdn.asterism.xyz
icon

適当にデュアルスタック試したら死んだ

11:41:58 @aries@mstdn.asterism.xyz
icon

あれ直ってない?
連合tlがおかしいな

11:45:55 @aries@mstdn.asterism.xyz
icon

駄目だこりゃー
んーなんだろ

11:52:30 @aries@mstdn.asterism.xyz
icon

少しほっといたら直ってきたか?

11:58:22 @aries@mstdn.asterism.xyz
icon

フォローしてるユーザのtootが連合tlには出るけどltlには出ない
んんんんー

11:59:46 @aries@mstdn.asterism.xyz
icon

メンテナンスタスク回してみるかな

12:07:53 @aries@mstdn.asterism.xyz
icon

ふーどびるどした

12:13:39 @aries@mstdn.asterism.xyz
icon

直ったっぽい?(n回目)

12:18:05 @aries@mstdn.asterism.xyz
icon

直ってなーい

12:20:55 @aries@mstdn.asterism.xyz
icon

sidekiqの待機状態に結構な量溜まってる

12:23:18 @aries@mstdn.asterism.xyz
icon

待機のタスク減らんな

12:26:35 @aries@mstdn.asterism.xyz
icon

中々処理進まないなー

12:28:28 @aries@mstdn.asterism.xyz
icon

このスレッド数じゃ待機ジョブ減らないのは致し方なしか

12:53:23 @aries@mstdn.asterism.xyz
icon

sidekiq火を吹いているので一旦リレーの設定無効化しました

13:24:28 @aries@mstdn.asterism.xyz
icon

スレッド増やせば良いんかなぁ

13:33:14 @aries@mstdn.asterism.xyz
icon

あーもーどこだ問題箇所

13:33:59 @aries@mstdn.asterism.xyz
icon

sidekiq失敗したジョブが分からない

13:42:52 @aries@mstdn.asterism.xyz
icon

sidekiqスレッド10にしたら再試行がめっちゃたまっておる

14:22:02 @aries@mstdn.asterism.xyz
icon

多分直った、かなぁ

14:23:18 @aries@mstdn.asterism.xyz
icon

はーなんとかなったか

14:23:55 @aries@mstdn.asterism.xyz
icon

リレー今enableにしたけど承認待ちになっている
古いデータと競合していそうな予感

14:43:17 @aries@mstdn.asterism.xyz
icon

だいたい直ったけどリレー関連とあとまだ再試行どんどん溜まっていくな
自分がやらかす前は発生してなかったから相手のバージョンが原因とかでは無さそう

15:55:52 @aries@mstdn.asterism.xyz
icon

んー再試行のログ見るにdns名からipv6見ようとしてる感じあるんだよなーそうじゃないのもあるけど

帰宅後気力が残ってたら真面目に無効化しよう

16:10:06 @aries@mstdn.asterism.xyz
icon

またTL遅くなってきたのでv6真面目に無効化した
ちょっと再起動します

16:26:17 @aries@mstdn.asterism.xyz
icon

さていかがかな

16:35:43 @aries@mstdn.asterism.xyz
icon

駄目だー待機ジョブ減らん

16:43:56 @aries@mstdn.asterism.xyz
icon

ちょっとマシになったかな

17:24:25 @aries@mstdn.asterism.xyz
icon

またジョブ溜まってるじゃねぇか!

17:27:37 @aries@mstdn.asterism.xyz
icon

再試行山と貯まるのわからん
HTTP::TimeoutError: execution expired on [以下相手インスタンスurl]
のパターンと
HTTP::ConnectionError: failed to connect: Operation timed out - connect(2) for [相手インスタンスipv4アドレス]port 443 on [以下相手インスタンスurl]
の2パターンがsidekiqの再試行に積まれておる

17:32:11 @aries@mstdn.asterism.xyz
icon

ファイルアップロードで504吐くようになった

17:32:16 @aries@mstdn.asterism.xyz
icon

んんんんん

17:32:24 @aries@mstdn.asterism.xyz
icon

ロールバックするかもう

17:59:13 @aries@mstdn.asterism.xyz
icon

ロールバックするとしたら、ec2インスタンス止めてelasticache再起動して(これ要るんかな、というかこれやったから死んだ感じあるしredis2つ立ってれば問題なかったかも)
amiからec2作り直して、か
postgresqlはとりあえずロールバック無しで

18:05:37 @aries@mstdn.asterism.xyz
icon

他インスタンスのメディア見れなくなってる......

18:14:00 @aries@mstdn.asterism.xyz
icon

いかがでしょう

18:14:45 @aries@mstdn.asterism.xyz
icon

今は一応大丈夫そう

18:15:33 @aries@mstdn.asterism.xyz
icon

んなわきゃなかった......

18:19:07 @aries@mstdn.asterism.xyz
icon

dbは昨日15時頃、まであるけどredisこれ完全に揮発していいデータだと思ってたわ
バックアップ無いしなー

18:22:25 @aries@mstdn.asterism.xyz
icon

これで駄目ならどうしたものか

18:51:08 @aries@mstdn.asterism.xyz
icon

ちゃんと動くことを祈りつつ帰る

19:00:11 @aries@mstdn.asterism.xyz
icon

メディア上げると504になるのはsidekiqが追いついてないからなんだろうか

19:05:30 @aries@mstdn.asterism.xyz
icon

インスタンスからs3エンドポイントへのアクセスがうまく行ってないとかもありそうだ

19:08:13 @aries@mstdn.asterism.xyz
icon

:sck:

19:10:08 @aries@mstdn.asterism.xyz
19:10:19 @aries@mstdn.asterism.xyz
19:10:40 @aries@mstdn.asterism.xyz
icon
19:11:00 @aries@mstdn.asterism.xyz
icon
19:11:48 @aries@mstdn.asterism.xyz
icon

503 remote data could not be fetched

19:12:31 @aries@mstdn.asterism.xyz
icon

リモートからこのインスタンスのtoot見れてないな

19:14:10 @aries@mstdn.asterism.xyz
icon

デイリーのタスクかあるいは7日間待ってどうかと言ったところ