00:28:08 @highemerly@handon.club
icon

テスト

00:39:06 @highemerly@handon.club
icon

ぼくのかんがえたさいきょうのいんたーねっと

Attach image
00:44:04 @highemerly@handon.club
icon

飾った。

Attach image
00:44:22 @highemerly@handon.club
icon

かわいい…… 神か………

08:41:46 @highemerly@handon.club
icon

iOSアプリ向け通知サーバー、運営したいという気持ちはある

08:44:39 @highemerly@handon.club
icon

隠しの一部を減らすだけだよ

08:45:04 @highemerly@handon.club
icon

せんべいを作ってる方々

08:45:23 @highemerly@handon.club
icon

_

08:45:44 @highemerly@handon.club
icon

@seibe 空リプを作っている方々

08:47:58 @highemerly@handon.club
icon

通勤が本当に楽になった、転籍して良かった

08:53:19 @highemerly@handon.club
icon

@seibe 今日のせいべさんは何人めのせいべさんですか?

08:58:20 @highemerly@handon.club
icon

@seibe @seibe3 でしたか

09:01:11 @highemerly@handon.club
icon

@terapon そうですねー

09:21:30 @highemerly@handon.club
icon

今日の仕事、全部終わった

09:22:39 @highemerly@handon.club
icon

やることわからんすぎて社内ニート

12:44:22 @highemerly@handon.club
icon

ふぁみ

12:49:23 @highemerly@handon.club
icon

@terapon そうですね!まだあんまり外でご飯を食べてないですが……w

12:50:30 @highemerly@handon.club
icon

運用でカバー

12:56:57 @highemerly@handon.club
icon

システム改修と運用対処で、システム改修の方が安いケースが存在した試しがない。

18:26:37 @highemerly@handon.club
icon

ジム、月額会費払って契約するか、すごい悩んでる

18:27:03 @highemerly@handon.club
icon

月収次第なので今月の給与明細見てから考える。

18:28:43 @highemerly@handon.club
icon

そういえば、大阪きて初めて体重測ったら、3kgくらい落ちてた。こんな怠惰な生活を送ってるのになんで落ちるの?大阪って重力加速度違う?

18:36:24 @highemerly@handon.club
icon

@Mimu A?

18:36:53 @highemerly@handon.club
icon

急にはん子出さないでほしい

18:41:31 @highemerly@handon.club
icon

@Mimu うーん、AB

18:41:52 @highemerly@handon.club
2019-07-11 18:37:47 ポンペイウス님의 게시물 pom_matsu@handon.club
icon

This account is not set to public on notestock.

18:42:03 @highemerly@handon.club
icon

@pom_matsu しってる、今忙しくて設定してない

18:44:08 @highemerly@handon.club
icon

@Mimu:blobaww:

18:46:24 @highemerly@handon.club
icon
18:47:10 @highemerly@handon.club
icon

@Mimu 血液型で性格は決まらないからね

18:48:01 @highemerly@handon.club
icon

暑い!

18:49:31 @highemerly@handon.club
icon

私はOです

18:54:06 @highemerly@handon.club
icon

muniki.html

18:55:13 @highemerly@handon.club
icon

SENBEI

18:55:39 @highemerly@handon.club
icon

@seibe 違うんですか?

18:56:22 @highemerly@handon.club
icon

@seibe せんぎえいでないことは知っております

18:56:37 @highemerly@handon.club
icon

歯型

18:58:30 @highemerly@handon.club
icon

探し物はなんですか
割れやすいせんべいですか

18:59:11 @highemerly@handon.club
icon

@seibe ちょっとあまりに原型を捉えてなかった 反省してまーす

19:01:15 @highemerly@handon.club
icon

ISDN…. ウッ頭が…

19:02:43 @highemerly@handon.club
icon

「ぢうんぎうえ!」と、「ジンバブエドル」の違いがわからなくなってきた

19:03:06 @highemerly@handon.club
icon

INS1500

19:04:28 @highemerly@handon.club
icon

きゅうり食べれません

19:16:14 @highemerly@handon.club
icon

御堂筋

20:36:17 @highemerly@handon.club
icon

いいよ!

20:36:45 @highemerly@handon.club
icon

Pairsエンゲージできないほう

20:38:22 @highemerly@handon.club
icon

iOSアプリの通知はToot!一択かな。

20:38:52 @highemerly@handon.club
icon

ごままさんも元彼女の話すればいいのでは(?

20:42:28 @highemerly@handon.club
icon

正しい意味のぬるぽだ…

20:43:05 @highemerly@handon.club
icon

るぅくん……

20:43:18 @highemerly@handon.club
icon

元カノ.club

20:47:46 @highemerly@handon.club
icon

自宅連れ込み太郎

21:26:41 @highemerly@handon.club
icon

瀧くん焼肉奢って

21:27:50 @highemerly@handon.club
icon

OKせいべ、机の位置を動かして!

21:27:58 @highemerly@handon.club
2019-07-11 21:27:29 りおつ님의 게시물 rio_tc@handon.club
icon

This account is not set to public on notestock.

21:29:06 @highemerly@handon.club
icon

テスト

21:29:44 @highemerly@handon.club
icon

え、ちょ

21:30:01 @highemerly@handon.club
icon

障害発生してる。タイムラインが遅延してる。

21:33:35 @highemerly@handon.club
icon

なんで???

21:33:56 @highemerly@handon.club
icon

Net::ReadTimeout: Net::ReadTimeout with #<TCPSocket:(closed)>

21:40:43 @highemerly@handon.club
icon

いまどうですか?

21:44:33 @highemerly@handon.club
icon

うーん分からん

21:45:21 @highemerly@handon.club
icon

全サービス再起動します。

21:47:40 @highemerly@handon.club
icon

動作テスト

21:48:50 @highemerly@handon.club
icon

改善無いんだけど

21:53:27 @highemerly@handon.club
icon

分かった気がする

21:53:56 @highemerly@handon.club
icon

えっこれどうしようもなくない!?!?!?

21:57:16 @highemerly@handon.club
icon

はい原因確定

21:58:08 @highemerly@handon.club
icon

すいませんがかなり無理矢理な措置をします。詳細は後で書きます。

22:07:54 @highemerly@handon.club
icon

うげえ長い

22:09:32 @highemerly@handon.club
【運営情報】 #handon_info ただいまTLが遅延する障害が発生しています。原因を特定し対処を仕込みましたので,概ね10分程度で正常に戻る見込みです。ご迷惑をおかけしております。
icon

■発生時刻: 2019/7/11 21:28〜(発生中)
■原因: 最優先で処理されるべきTL配信ジョブの遅延。
遅延が発生した根本の原因は,TootleのPush通知用のサーバが(中途半端な状態で)ダウンしており,Mastodon側が正常にタイムアウトの処理をできていないため,TL配信ジョブが開始出来ない状態となっていたため。
■影響範囲:TLの表示が遅延(投稿処理,他インスタンスへの配信処理には影響なし)
※ 本障害によるデータ消失はありません。
■対処: TootleのPush通知様サーバ( tootleformastodon.appspot.com)へのアクセスを一時的に全て禁止し,速やかにエラーとなるようにしました。これにより徐々にTL配信ジョブが正常に戻ります。

22:19:35 @highemerly@handon.club
他のMastodon管理者向けに詳細に説明
icon

defaultキューの大幅な処理遅延が発生していることを検知したため確認したところ,昨日よりWeb::PushNotificationWorkerのTCPタイムアウトが多発していました。失敗したPushNotificationWorkerに渡っている引数をいくつかサンプル調査したところ,すべてtootleっぽいURLに対するWebPushであることが分かりました。そのため,tootleのpushサーバが落ちていることが原因と判断し, /etc/hosts で無理矢理遮断しました。
青いグラフ(右軸)がdefaultキューのレイテンシで,最大60秒近くTLが遅延していたことが想定されます。
github.com/tootsuite/mastodon/

Attach image
Attach image
22:20:29 @highemerly@handon.club
他のMastodon管理者向けに詳細に説明
icon

一つ画像貼り忘れたけどまあいいや・・・

22:20:50 @highemerly@handon.club
icon

グラフをみて分かるとおり,本障害は復旧宣言してよさそうですね。

22:22:36 @highemerly@handon.club
icon

@zero_zaki_ghost Mastodonのタイムアウト処理はだいたいRubyのgem任せになっているのですが,それがいけてないという話なんですよね。タイムアウトのチューニングは検討したい(というか本家にissueとして上げたい)と思います。

22:23:24 @highemerly@handon.club
icon

キレてる

Attach image
22:24:30 @highemerly@handon.club
icon

Under Construction は草

22:27:37 @highemerly@handon.club
icon

部屋片付けたかったのに解析と対処で時間使ってしまった

22:28:17 @highemerly@handon.club
icon

本間本間

22:29:07 @highemerly@handon.club
icon

タイムアウトのチューニングは難しいからね、、

22:30:03 @highemerly@handon.club
icon

@osa9 永遠に何のレスポンスも帰ってこなかった(ただしHTTPSの認証までは正常だったせいでタイムアウトまで時間がかかった)

22:31:10 @highemerly@handon.club
icon

もちろん綺麗に落ちてくれれば一瞬で失敗するのでいいのですが、HTTPSコネクションまで確立したのにそのあと何も返してこないから永遠に待ち続けてしまうのですよ。中途半端に落ちる、とはそういう意味です。

22:33:11 @highemerly@handon.club
icon

個人的には、Cloudflareとか通してて、Always Online機能とか使われてると最悪だと思う。永遠に落ちてないように見えちゃう。

22:36:14 @highemerly@handon.club
icon

@norick 他のインスタンスやサービスから情報をpullされる方式ならいいのですけど、他人にpushする方式が主流になってるので、こういうことになります。でもそれは、タイムアウト処理を真面目に作り込めばいいだけなので、仕様的にしゃーないのではなく実装の問題かと思います(マジレスすいません

22:36:57 @highemerly@handon.club
icon

@osa9 mastodonっていうかruby gemsかなあ…

22:38:18 @highemerly@handon.club
icon

方式は悪くないけど実装がいけてないって言葉、仕事で1日100回は言ってる

22:41:09 @highemerly@handon.club
icon

他のインスタンスでも時限爆弾状態で、再試行キューにたくさん詰まってると思う。各所で多発するんじゃないかなーー。

22:41:57 @highemerly@handon.club
icon

って洗濯機回してたんやった!!!!!

22:50:09 @highemerly@handon.club
icon

干してきた

22:51:13 @highemerly@handon.club
icon

非常口くんを干した覚えはない

22:53:01 @highemerly@handon.club
icon

ゆのかさんごはんおごって

22:58:42 @highemerly@handon.club
2019-07-09 21:34:06 サイレン님의 게시물 S_iRe_N@handon.club
icon

This account is not set to public on notestock.

22:59:19 @highemerly@handon.club
icon

もっと参加して!!

22:59:49 @highemerly@handon.club
icon

そういえばdefault latencyはアラートの対象にしてなかったのでアラートの対象にします。

22:59:54 @highemerly@handon.club
2019-07-03 20:48:27 柚緋奈님의 게시물 yuhina@handon.club
icon

This account is not set to public on notestock.

23:06:46 @highemerly@handon.club
icon

え,アラート設定されてるのに何で発動しなかったんだ?と思って確認してたら全て理解した

23:07:28 @highemerly@handon.club
icon

@kuroshiba Amazonいっぱい送ってくれないと垢消しする

23:08:33 @highemerly@handon.club
icon

ところで明日夜は飯行けそうですがいかがか。

23:09:03 @highemerly@handon.club
icon

@kuroshiba そろそろドラム式洗濯機買うか・・・

23:09:48 @highemerly@handon.club
icon

せんぱいのアイコン,せんぱいと認識するのに時間かかる

23:09:54 @highemerly@handon.club
icon

サバ消し新しい

23:10:31 @highemerly@handon.club
icon

代わりにくろしばさんのアカウント消すか〜〜

23:11:01 @highemerly@handon.club
icon

せんぱい感はないけどいーちゃん感が出てきた(?)

23:13:37 @highemerly@handon.club
icon

@LeLievre うちくる?

23:13:56 @highemerly@handon.club
icon

尼崎までならいく

23:14:36 @highemerly@handon.club
icon

@LeLievre 別にいいよ。もし良ければダーツボードの設置手伝って貰うかもしれんけど・・・

23:15:42 @highemerly@handon.club
icon

トゥートのNGワード設定出来る機能できないかな。そしたら415なんとかって数字禁止するわ

23:15:46 @highemerly@handon.club
icon

@LeLievre あの

23:16:32 @highemerly@handon.club
icon

@LeLievre ハットトリック決めるまで帰れま10

23:16:58 @highemerly@handon.club
icon

いやサーバーレベルで禁止したい

23:17:12 @highemerly@handon.club
icon

@yuhina うける

23:17:35 @highemerly@handon.club
icon

@LeLievre 前の家同様に物干し竿があるから20トリプルは狙うのクソ難しい仕様だけど大丈夫?

23:18:26 @highemerly@handon.club
icon

@yuhina 諸事情は把握しておりますが・・・

23:21:32 @highemerly@handon.club
icon
Web site image
GitHub - highemerly/mastodon at handon-development
23:24:35 @highemerly@handon.club
icon

@yuhina えー本当に良いのならお邪魔したいですが

23:24:50 @highemerly@handon.club
icon

逆位置

23:27:55 @highemerly@handon.club
icon

@yuhina はーい,それでOKです!/本来なら手土産を持っていくところですがたぶんこのタイミングで何か持ってこられても困ると思うので手ぶらで行かせて貰いますね・・・

23:53:34 @highemerly@handon.club
icon

提出します。

Attach image