21:46:23 @takenoko@misskey.tech
icon

ュドウフ君がよしなにやってくれた?

21:46:09 @takenoko@misskey.tech
icon

あでも前に比べてカスタム絵文字重複しまくり状態が大分改善されてる

21:42:06 @takenoko@misskey.tech
icon

さっき分かったって言って貼っ付けた出まくりエラーはイカれポッドが吐いてたエラーだから、イカれた結果タイムアウト起こして吐いただけ説濃厚なので追っても意味なさげ

21:37:11 @takenoko@misskey.tech
icon

同じ現象がおこるのも時間の問題だわね

21:35:30 @takenoko@misskey.tech
icon

仮説レベルだけど一応辻褄は合う、ただもしそれが本当だとしても何故ゴミポッドが排除されなくなってしまったのかは謎

21:33:48 @takenoko@misskey.tech
icon

外部から来たQueueはロードバランサーで負荷分散されるはずなんだけど、ゴミポッドしか居ないと永遠にQueueが詰まったままで連合が死ぬ

21:31:53 @takenoko@misskey.tech
icon

さっきまでは多分100%ゴミポッドだったと思うけど、今は少し確立下がってるはず

21:31:37 @takenoko@misskey.tech
icon

正しくイカれてるわね(?)

21:31:18 @takenoko@misskey.tech
2023-03-14 21:31:02 Posting Is that a Supra?! omhnc@misskey.tech
icon

This account is not set to public on notestock.

21:30:22 @takenoko@misskey.tech
icon

ウィジェットにサーバーメトリクスを表示させて、MEM 227%みたいなイカれポッドを引き当てたらそいつがゴミポッド

21:29:36 @takenoko@misskey.tech
icon

今手動でスケーリングしたから正常なポッドと異常なポッドが混ざってるかも

21:24:24 @takenoko@misskey.tech
出まくりエラーがわかってきたかも
icon

e: RequestError: Timeout awaiting 'request' for 60000ms at ClientRequest. (file:///misskey/node_modules/.pnpm/got@12.5.3/node_modules/got/dist/source/core/index.js:789:61) at Object.onceWrapper (node:events:628:26) at ClientRequest.emit (node:events:525:35) at ClientRequest.emit (node:domain:489:12) at TLSSocket.socketErrorListener (node:_http_client:496:9) at TLSSocket.emit (node:events:513:28) at TLSSocket.emit (node:domain:489:12) at emitErrorNT (node:internal/streams/destroy:151:8) at emitErrorCloseNT (node:internal/streams/destroy:116:3) at process.processTicksAndRejections (node:internal/process/task_queues:82:21) at Timeout.timeoutHandler [as _onTimeout] (file:///misskey/node_modules/.pnpm/got@12.5.3/node_modules/got/dist/source/core/timed-out.js:42:25) at listOnTimeout (node:internal/timers:566:11) at process.processTimers (node:internal/timers:507:7) {

21:11:11 @takenoko@misskey.tech
icon

電源とネットワークが確保できたので本格的に調査する

21:03:27 @takenoko@misskey.tech
icon

不具合ノードを引き当ててそいつのログを追ってみるか

21:01:33 @takenoko@misskey.tech
icon

なんだこの現象

20:29:18 @takenoko@misskey.tech
icon

出先だから限界あるかもだけど原因調査するわ

20:29:04 @takenoko@misskey.tech
icon

良かれと思ってアプデするとこうなるので、やはりMisskeyのアプデ戦略はよほどまずい脆弱性とかじゃないかぎり慎重な方が良いわね…

20:02:12 @takenoko@misskey.tech
icon

品地が言ってた連合されない問題か

00:11:17 @takenoko@misskey.tech
icon

昨日のMisskeyの活動は

ノート: 5757(+29)
フォロー : 147(+0)
フォロワー :181(+0)

でした。
https://misskey.tools