icon

監視画面でみるとこんな感じです。

Attach image
Attach image
のんさんへ
icon

■現状の時系列

22:46:30頃 web1サーバ CPU利用率高騰開始
22:46:45頃 HTTPレスポンス監視 警報発報
22:48:30頃 web2サーバ CPU利用率高騰開始
22:48:59 dbサーバ pbouncer 問題発生開始(DB,ユーザ名nullによるmax_client_conn)
22:49:04 web2サーバ rack_attack.rb によるAPI RateLimit 問題発生開始
22:49:15頃 web1サーバ CPU利用率警戒域(60%超)
22:51:50頃 web2サーバ CPU利用率警戒域(60%超)
22:55:19 web1サーバ rack_attack.rb によるAPI RateLimit 問題発生開始
23:34:35頃 HTTPレスポンス監視 警報解除
23:36:15頃 web1サーバ CPU利用率 定常レベルに改善を確認
23:38:15頃 web2サーバ CPU利用率 定常レベルに改善を確認

icon

石田燿子さん

icon

ストライクウィッチーズクラスタが次々と釣れていますね

icon

大人気アニメだからもっと釣れるはず

icon

【運営情報】原因分かった。当面大丈夫とは思います。

icon

【障害復旧報】はんドンクラブサーバに非常に繋がりにくい事象が発生していましたが現在は回復しています。おそらくffmpegのバグです。詳細は明日ブログにまとめます。今日は眠いので寝ます。

〇発生日時: 2019/11/28 22:46〜23:34 (JST)
〇影響範囲: web,streamingサービスを利用していた一部ユーザ
〇影響内容: レスポンス低下
〇原因: 大容量の動画投稿による処理遅延
〇復旧方法: 動画エンコード完了後自動的に復旧
〇再発防止策: 検討中

icon

日付間違った…27日です…

icon

ほんと疲れた。。

icon

かえるぞ!!

2019-11-28 20:16:55 アラサーの投稿 Eucritical@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

夜飯なに食べようか。

icon

きたく

icon

@LeLievre ただいま。

icon

家族の増設と減設

icon

やめろ

icon

床暖房で焼肉するとき

icon

日常会話から社内用語使ってしまうの避けたい

icon

寒すぎる…

icon

あなたはシステム管理者から通常の講習を受けたはずです。
これは通常、以下の3点に要約されます:

#1)他人のプライバシーを尊重すること。
#2)タイプする前に考えること。
#3)大いなる力には大いなる責任が伴うこと。

icon

LINE来てないからおじさんじゃない,よかった

icon

〇運営方針: handon.club/about/more
〇利用規約、プライバシーポリシー: handon.club/terms
〇稼働ステータス(自動): status.handon.club/
〇運営ブログ、障害情報周知(手動): handon.hatenablog.jp/

Error 404 | UptimeRobot
Web site image
はんドンクラブ 運営ブログ
icon

icon

client_max_body_size,下げても良いかな?

icon

mastodonの dist/nginx.conf における client_max_body_sizeってなんで80Mなんでしょうか。 冷静に考えると,ちょっとでかすぎません?(そんなファイルを送りつけられてもffmpegでのエンコードが大変)(それが原因で昨日サーバ落とした)

icon

どうせリサイズするしでかいファイルでも通しちゃえ,ってことなんだろうけど,ffmpegの処理負荷を考えると nginx で 20Mくらいでrejectしてもらった方がよい可能性はないだろうか。

icon

@gomama したところでエンコードが走って数MBになるよ

icon

@gomama オリジナルの定義が分からないけど,それを送りつけられてもサーバ側で保存するオリジナル画像がエンコードされるよ

icon

あ,今動画上げようと試さないでね・・・。はんドン落ちるよ。。

icon

@non117 とりあえず50にした。

icon

とりあえず50Mにしました。困ってる人いたら遠慮無くいってください。

icon

ffmpegがCPUの特定コアだけ使う用にさせようかと思ったけどソースコードいじるしかないしやだな・・・