icon

テスト

icon

ぼくのかんがえたさいきょうのいんたーねっと

Attach image
icon

飾った。

Attach image
icon

かわいい…… 神か………

icon

iOSアプリ向け通知サーバー、運営したいという気持ちはある

icon

隠しの一部を減らすだけだよ

icon

せんべいを作ってる方々

icon

@seibe 空リプを作っている方々

icon

通勤が本当に楽になった、転籍して良かった

icon

@seibe 今日のせいべさんは何人めのせいべさんですか?

icon

@seibe @seibe3 でしたか

icon

@terapon そうですねー

icon

今日の仕事、全部終わった

icon

やることわからんすぎて社内ニート

icon

ふぁみ

icon

@terapon そうですね!まだあんまり外でご飯を食べてないですが……w

icon

運用でカバー

icon

システム改修と運用対処で、システム改修の方が安いケースが存在した試しがない。

icon

ジム、月額会費払って契約するか、すごい悩んでる

icon

月収次第なので今月の給与明細見てから考える。

icon

そういえば、大阪きて初めて体重測ったら、3kgくらい落ちてた。こんな怠惰な生活を送ってるのになんで落ちるの?大阪って重力加速度違う?

icon

急にはん子出さないでほしい

icon

@Mimu うーん、AB

2019-07-11 18:37:47 ポンペイウスの投稿 pom_matsu@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

@pom_matsu しってる、今忙しくて設定してない

icon

@Mimu:blobaww:

icon

@Mimu 血液型で性格は決まらないからね

icon

暑い!

icon

私はOです

icon

muniki.html

icon

SENBEI

icon

@seibe 違うんですか?

icon

@seibe せんぎえいでないことは知っております

icon

歯型

icon

探し物はなんですか
割れやすいせんべいですか

icon

@seibe ちょっとあまりに原型を捉えてなかった 反省してまーす

icon

ISDN…. ウッ頭が…

icon

「ぢうんぎうえ!」と、「ジンバブエドル」の違いがわからなくなってきた

icon

INS1500

icon

きゅうり食べれません

icon

御堂筋

icon

いいよ!

icon

Pairsエンゲージできないほう

icon

iOSアプリの通知はToot!一択かな。

icon

ごままさんも元彼女の話すればいいのでは(?

icon

正しい意味のぬるぽだ…

icon

るぅくん……

icon

元カノ.club

icon

自宅連れ込み太郎

icon

瀧くん焼肉奢って

icon

OKせいべ、机の位置を動かして!

2019-07-11 21:27:29 りおつの投稿 rio_tc@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

テスト

icon

え、ちょ

icon

障害発生してる。タイムラインが遅延してる。

icon

なんで???

icon

Net::ReadTimeout: Net::ReadTimeout with #<TCPSocket:(closed)>

icon

いまどうですか?

icon

うーん分からん

icon

全サービス再起動します。

icon

動作テスト

icon

改善無いんだけど

icon

分かった気がする

icon

えっこれどうしようもなくない!?!?!?

icon

はい原因確定

icon

すいませんがかなり無理矢理な措置をします。詳細は後で書きます。

icon

うげえ長い

【運営情報】 #handon_info ただいまTLが遅延する障害が発生しています。原因を特定し対処を仕込みましたので,概ね10分程度で正常に戻る見込みです。ご迷惑をおかけしております。
icon

■発生時刻: 2019/7/11 21:28〜(発生中)
■原因: 最優先で処理されるべきTL配信ジョブの遅延。
遅延が発生した根本の原因は,TootleのPush通知用のサーバが(中途半端な状態で)ダウンしており,Mastodon側が正常にタイムアウトの処理をできていないため,TL配信ジョブが開始出来ない状態となっていたため。
■影響範囲:TLの表示が遅延(投稿処理,他インスタンスへの配信処理には影響なし)
※ 本障害によるデータ消失はありません。
■対処: TootleのPush通知様サーバ( tootleformastodon.appspot.com)へのアクセスを一時的に全て禁止し,速やかにエラーとなるようにしました。これにより徐々にTL配信ジョブが正常に戻ります。

他のMastodon管理者向けに詳細に説明
icon

defaultキューの大幅な処理遅延が発生していることを検知したため確認したところ,昨日よりWeb::PushNotificationWorkerのTCPタイムアウトが多発していました。失敗したPushNotificationWorkerに渡っている引数をいくつかサンプル調査したところ,すべてtootleっぽいURLに対するWebPushであることが分かりました。そのため,tootleのpushサーバが落ちていることが原因と判断し, /etc/hosts で無理矢理遮断しました。
青いグラフ(右軸)がdefaultキューのレイテンシで,最大60秒近くTLが遅延していたことが想定されます。
github.com/tootsuite/mastodon/

Attach image
Attach image
他のMastodon管理者向けに詳細に説明
icon

一つ画像貼り忘れたけどまあいいや・・・

icon

グラフをみて分かるとおり,本障害は復旧宣言してよさそうですね。

icon

@zero_zaki_ghost Mastodonのタイムアウト処理はだいたいRubyのgem任せになっているのですが,それがいけてないという話なんですよね。タイムアウトのチューニングは検討したい(というか本家にissueとして上げたい)と思います。

icon

キレてる

Attach image
icon

Under Construction は草

icon

部屋片付けたかったのに解析と対処で時間使ってしまった

icon

本間本間

icon

タイムアウトのチューニングは難しいからね、、

icon

@osa9 永遠に何のレスポンスも帰ってこなかった(ただしHTTPSの認証までは正常だったせいでタイムアウトまで時間がかかった)

icon

もちろん綺麗に落ちてくれれば一瞬で失敗するのでいいのですが、HTTPSコネクションまで確立したのにそのあと何も返してこないから永遠に待ち続けてしまうのですよ。中途半端に落ちる、とはそういう意味です。

icon

個人的には、Cloudflareとか通してて、Always Online機能とか使われてると最悪だと思う。永遠に落ちてないように見えちゃう。

icon

@norick 他のインスタンスやサービスから情報をpullされる方式ならいいのですけど、他人にpushする方式が主流になってるので、こういうことになります。でもそれは、タイムアウト処理を真面目に作り込めばいいだけなので、仕様的にしゃーないのではなく実装の問題かと思います(マジレスすいません

icon

@osa9 mastodonっていうかruby gemsかなあ…

icon

方式は悪くないけど実装がいけてないって言葉、仕事で1日100回は言ってる

icon

他のインスタンスでも時限爆弾状態で、再試行キューにたくさん詰まってると思う。各所で多発するんじゃないかなーー。

icon

って洗濯機回してたんやった!!!!!

icon

干してきた

icon

非常口くんを干した覚えはない

icon

ゆのかさんごはんおごって

2019-07-09 21:34:06 サイレンの投稿 S_iRe_N@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

もっと参加して!!

icon

そういえばdefault latencyはアラートの対象にしてなかったのでアラートの対象にします。

2019-07-03 20:48:27 柚緋奈の投稿 yuhina@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

え,アラート設定されてるのに何で発動しなかったんだ?と思って確認してたら全て理解した

icon

@kuroshiba Amazonいっぱい送ってくれないと垢消しする

icon

ところで明日夜は飯行けそうですがいかがか。

icon

@kuroshiba そろそろドラム式洗濯機買うか・・・

icon

せんぱいのアイコン,せんぱいと認識するのに時間かかる

icon

サバ消し新しい

icon

代わりにくろしばさんのアカウント消すか〜〜

icon

せんぱい感はないけどいーちゃん感が出てきた(?)

icon

@LeLievre うちくる?

icon

尼崎までならいく

icon

@LeLievre 別にいいよ。もし良ければダーツボードの設置手伝って貰うかもしれんけど・・・

icon

トゥートのNGワード設定出来る機能できないかな。そしたら415なんとかって数字禁止するわ

icon

@LeLievre ハットトリック決めるまで帰れま10

icon

いやサーバーレベルで禁止したい

icon

@yuhina うける

icon

@LeLievre 前の家同様に物干し竿があるから20トリプルは狙うのクソ難しい仕様だけど大丈夫?

icon

@yuhina 諸事情は把握しておりますが・・・

icon

@yuhina えー本当に良いのならお邪魔したいですが

icon

逆位置

icon

@yuhina はーい,それでOKです!/本来なら手土産を持っていくところですがたぶんこのタイミングで何か持ってこられても困ると思うので手ぶらで行かせて貰いますね・・・

icon

提出します。

Attach image