00:28:08

テスト

00:39:06

ぼくのかんがえたさいきょうのいんたーねっと

00:44:04

飾った。

00:44:22

かわいい…… 神か………

08:41:46

iOSアプリ向け通知サーバー、運営したいという気持ちはある

08:44:39

隠しの一部を減らすだけだよ

08:45:04

せんべいを作ってる方々

08:45:23

_

08:45:44

@seibe 空リプを作っている方々

08:47:58

通勤が本当に楽になった、転籍して良かった

08:53:19

@seibe 今日のせいべさんは何人めのせいべさんですか?

08:58:20

@seibe @seibe3 でしたか

09:01:11

@terapon そうですねー

09:21:30

今日の仕事、全部終わった

09:22:39

やることわからんすぎて社内ニート

12:44:22

ふぁみ

12:49:23

@terapon そうですね!まだあんまり外でご飯を食べてないですが……w

12:50:30

運用でカバー

12:56:57

システム改修と運用対処で、システム改修の方が安いケースが存在した試しがない。

18:26:37

ジム、月額会費払って契約するか、すごい悩んでる

18:27:03

月収次第なので今月の給与明細見てから考える。

18:28:43

そういえば、大阪きて初めて体重測ったら、3kgくらい落ちてた。こんな怠惰な生活を送ってるのになんで落ちるの?大阪って重力加速度違う?

18:36:24

@Mimu A?

18:36:53

急にはん子出さないでほしい

18:41:31

@Mimu うーん、AB

18:41:52
2019-07-11 18:37:47 Posting ポンペイウス pom_matsu@handon.club

This account is not set to public on notestock.

18:42:03

@pom_matsu しってる、今忙しくて設定してない

18:44:08

@Mimu:blobaww:

18:46:24
18:47:10

@Mimu 血液型で性格は決まらないからね

18:48:01

暑い!

18:49:31

私はOです

18:54:06

muniki.html

18:55:13

SENBEI

18:55:39

@seibe 違うんですか?

18:56:22

@seibe せんぎえいでないことは知っております

18:56:37

歯型

18:58:30

探し物はなんですか
割れやすいせんべいですか

18:59:11

@seibe ちょっとあまりに原型を捉えてなかった 反省してまーす

19:01:15

ISDN…. ウッ頭が…

19:02:43

「ぢうんぎうえ!」と、「ジンバブエドル」の違いがわからなくなってきた

19:03:06

INS1500

19:04:28

きゅうり食べれません

19:16:14

御堂筋

20:36:17

いいよ!

20:36:45

Pairsエンゲージできないほう

20:38:22

iOSアプリの通知はToot!一択かな。

20:38:52

ごままさんも元彼女の話すればいいのでは(?

20:42:28

正しい意味のぬるぽだ…

20:43:05

るぅくん……

20:43:18

元カノ.club

20:47:46

自宅連れ込み太郎

21:26:41

瀧くん焼肉奢って

21:27:50

OKせいべ、机の位置を動かして!

21:27:58
2019-07-11 21:27:29 Posting りおつ rio_tc@handon.club

This account is not set to public on notestock.

21:29:06

テスト

21:29:44

え、ちょ

21:30:01

障害発生してる。タイムラインが遅延してる。

21:33:35

なんで???

21:33:56

Net::ReadTimeout: Net::ReadTimeout with #<TCPSocket:(closed)>

21:40:43

いまどうですか?

21:44:33

うーん分からん

21:45:21

全サービス再起動します。

21:47:40

動作テスト

21:48:50

改善無いんだけど

21:53:27

分かった気がする

21:53:56

えっこれどうしようもなくない!?!?!?

21:57:16

はい原因確定

21:58:08

すいませんがかなり無理矢理な措置をします。詳細は後で書きます。

22:07:54

うげえ長い

22:09:32
【運営情報】 #handon_info ただいまTLが遅延する障害が発生しています。原因を特定し対処を仕込みましたので,概ね10分程度で正常に戻る見込みです。ご迷惑をおかけしております。

■発生時刻: 2019/7/11 21:28〜(発生中)
■原因: 最優先で処理されるべきTL配信ジョブの遅延。
遅延が発生した根本の原因は,TootleのPush通知用のサーバが(中途半端な状態で)ダウンしており,Mastodon側が正常にタイムアウトの処理をできていないため,TL配信ジョブが開始出来ない状態となっていたため。
■影響範囲:TLの表示が遅延(投稿処理,他インスタンスへの配信処理には影響なし)
※ 本障害によるデータ消失はありません。
■対処: TootleのPush通知様サーバ( tootleformastodon.appspot.com)へのアクセスを一時的に全て禁止し,速やかにエラーとなるようにしました。これにより徐々にTL配信ジョブが正常に戻ります。

22:19:35
他のMastodon管理者向けに詳細に説明

defaultキューの大幅な処理遅延が発生していることを検知したため確認したところ,昨日よりWeb::PushNotificationWorkerのTCPタイムアウトが多発していました。失敗したPushNotificationWorkerに渡っている引数をいくつかサンプル調査したところ,すべてtootleっぽいURLに対するWebPushであることが分かりました。そのため,tootleのpushサーバが落ちていることが原因と判断し, /etc/hosts で無理矢理遮断しました。
青いグラフ(右軸)がdefaultキューのレイテンシで,最大60秒近くTLが遅延していたことが想定されます。
github.com/tootsuite/mastodon/

22:20:29
他のMastodon管理者向けに詳細に説明

一つ画像貼り忘れたけどまあいいや・・・

22:20:50

グラフをみて分かるとおり,本障害は復旧宣言してよさそうですね。

22:22:36

@zero_zaki_ghost Mastodonのタイムアウト処理はだいたいRubyのgem任せになっているのですが,それがいけてないという話なんですよね。タイムアウトのチューニングは検討したい(というか本家にissueとして上げたい)と思います。

22:23:24

キレてる

22:24:30

Under Construction は草

22:27:37

部屋片付けたかったのに解析と対処で時間使ってしまった

22:28:17

本間本間

22:29:07

タイムアウトのチューニングは難しいからね、、

22:30:03

@osa9 永遠に何のレスポンスも帰ってこなかった(ただしHTTPSの認証までは正常だったせいでタイムアウトまで時間がかかった)

22:31:10

もちろん綺麗に落ちてくれれば一瞬で失敗するのでいいのですが、HTTPSコネクションまで確立したのにそのあと何も返してこないから永遠に待ち続けてしまうのですよ。中途半端に落ちる、とはそういう意味です。

22:33:11

個人的には、Cloudflareとか通してて、Always Online機能とか使われてると最悪だと思う。永遠に落ちてないように見えちゃう。

22:36:14

@norick 他のインスタンスやサービスから情報をpullされる方式ならいいのですけど、他人にpushする方式が主流になってるので、こういうことになります。でもそれは、タイムアウト処理を真面目に作り込めばいいだけなので、仕様的にしゃーないのではなく実装の問題かと思います(マジレスすいません

22:36:57

@osa9 mastodonっていうかruby gemsかなあ…

22:38:18

方式は悪くないけど実装がいけてないって言葉、仕事で1日100回は言ってる

22:41:09

他のインスタンスでも時限爆弾状態で、再試行キューにたくさん詰まってると思う。各所で多発するんじゃないかなーー。

22:41:57

って洗濯機回してたんやった!!!!!

22:50:09

干してきた

22:51:13

非常口くんを干した覚えはない

22:53:01

ゆのかさんごはんおごって

22:58:42
2019-07-09 21:34:06 Posting せんぱい S_iRe_N@handon.club

This account is not set to public on notestock.

22:59:19

もっと参加して!!

22:59:49

そういえばdefault latencyはアラートの対象にしてなかったのでアラートの対象にします。

22:59:54
2019-07-03 20:48:27 Posting 柚緋奈 yuhina@handon.club

This account is not set to public on notestock.

23:06:46

え,アラート設定されてるのに何で発動しなかったんだ?と思って確認してたら全て理解した

23:07:28

@kuroshiba Amazonいっぱい送ってくれないと垢消しする

23:08:33

ところで明日夜は飯行けそうですがいかがか。

23:09:03

@kuroshiba そろそろドラム式洗濯機買うか・・・

23:09:48

せんぱいのアイコン,せんぱいと認識するのに時間かかる

23:09:54

サバ消し新しい

23:10:31

代わりにくろしばさんのアカウント消すか〜〜

23:11:01

せんぱい感はないけどいーちゃん感が出てきた(?)

23:13:37

@LeLievre うちくる?

23:13:56

尼崎までならいく

23:14:36

@LeLievre 別にいいよ。もし良ければダーツボードの設置手伝って貰うかもしれんけど・・・

23:15:42

トゥートのNGワード設定出来る機能できないかな。そしたら415なんとかって数字禁止するわ

23:15:46

@LeLievre あの

23:16:32

@LeLievre ハットトリック決めるまで帰れま10

23:16:58

いやサーバーレベルで禁止したい

23:17:12

@yuhina うける

23:17:35

@LeLievre 前の家同様に物干し竿があるから20トリプルは狙うのクソ難しい仕様だけど大丈夫?

23:18:26

@yuhina 諸事情は把握しておりますが・・・

23:24:35

@yuhina えー本当に良いのならお邪魔したいですが

23:24:50

逆位置

23:27:55

@yuhina はーい,それでOKです!/本来なら手土産を持っていくところですがたぶんこのタイミングで何か持ってこられても困ると思うので手ぶらで行かせて貰いますね・・・

23:53:34

提出します。