悪くない飲み会だったけど疲労感が

今日明日大きな揺れとかありそうでこわひ

このアカウントは、notestockで公開設定になっていません。

復電早い!

運悪いなー

nginxにv6をlistenさせてなかったなるほど🤔

んー

なんだろ

tlがなんかおかしいな

やらかした臭い

tlの更新がおかしい

復活した、のかなぁ

適当にデュアルスタック試したら死んだ

あれ直ってない?
連合tlがおかしいな

駄目だこりゃー
んーなんだろ

少しほっといたら直ってきたか?

フォローしてるユーザのtootが連合tlには出るけどltlには出ない
んんんんー

メンテナンスタスク回してみるかな

ふーどびるどした

直ったっぽい？(n回目)

直ってなーい

sidekiqの待機状態に結構な量溜まってる

待機のタスク減らんな

中々処理進まないなー

このスレッド数じゃ待機ジョブ減らないのは致し方なしか

sidekiq火を吹いているので一旦リレーの設定無効化しました

スレッド増やせば良いんかなぁ

あーもーどこだ問題箇所

sidekiq失敗したジョブが分からない

sidekiqスレッド10にしたら再試行がめっちゃたまっておる

多分直った、かなぁ

はーなんとかなったか

リレー今enableにしたけど承認待ちになっている
古いデータと競合していそうな予感

だいたい直ったけどリレー関連とあとまだ再試行どんどん溜まっていくな
自分がやらかす前は発生してなかったから相手のバージョンが原因とかでは無さそう

んー再試行のログ見るにdns名からipv6見ようとしてる感じあるんだよなーそうじゃないのもあるけど

帰宅後気力が残ってたら真面目に無効化しよう

またTL遅くなってきたのでv6真面目に無効化した
ちょっと再起動します

さていかがかな

駄目だー待機ジョブ減らん

ちょっとマシになったかな

またジョブ溜まってるじゃねぇか！

再試行山と貯まるのわからん
HTTP::TimeoutError: execution expired on [以下相手インスタンスurl]
のパターンと
HTTP::ConnectionError: failed to connect: Operation timed out - connect(2) for [相手インスタンスipv4アドレス]port 443 on [以下相手インスタンスurl]
の2パターンがsidekiqの再試行に積まれておる

ファイルアップロードで504吐くようになった

んんんんん

ロールバックするかもう

ロールバックするとしたら、ec2インスタンス止めてelasticache再起動して(これ要るんかな、というかこれやったから死んだ感じあるしredis2つ立ってれば問題なかったかも)
amiからec2作り直して、か
postgresqlはとりあえずロールバック無しで

他インスタンスのメディア見れなくなってる......

いかがでしょう

今は一応大丈夫そう

んなわきゃなかった......

dbは昨日15時頃、まであるけどredisこれ完全に揮発していいデータだと思ってたわ
バックアップ無いしなー

これで駄目ならどうしたものか

ちゃんと動くことを祈りつつ帰る

メディア上げると504になるのはsidekiqが追いついてないからなんだろうか

インスタンスからs3エンドポイントへのアクセスがうまく行ってないとかもありそうだ

@aries_hituzi 🤔

@aries_hituzi 🤔

@aries_hituzi てす

@aries_hituzi てす

503 remote data could not be fetched

リモートからこのインスタンスのtoot見れてないな

デイリーのタスクかあるいは7日間待ってどうかと言ったところ