icon

再現できればこんなのはちょろいんだよ.再現できないのがきつい

icon

バグみーっけ

icon

まだ今の段階ではservice-account-issuerを設定してくれるだけなのか

icon

IRSAのprovisioning試してみるかね

icon

あー全然ログが残ってなくて何が起こったのかが全然わからない,すべてが妄想の域でしかない

icon

朝からトラブル対応やぞ

icon

あーutilpointer使いてぇ

icon

なんでis_requiredみたいな,明らかにフラグっぽいものがintで定義されてるんだよ.何が入るんだよ

icon

まったくマジックナンバーばっかりで読みにくくてしょうがない,相変わらずのクソコードだ.なんでvalue objectとかちゃんと作れないのか

icon

なんで同じテスト回してるのに落ちるんだよ

icon

掃除したった

icon

珍しくassets:precompileで落ちとるー

icon

クラスタをアップデートした

icon

あーやっぱりそうだな.そうなるとetcdの台数は適当に増やせないのか

icon

etcdを5台定義したら5台いないと起動しないんだろうか

icon

なんかapiserverがよく死ぬな……

icon

あれ,transportが指定されたときはそれを使ってるけど,指定されてないときはキャッシュからとってないか?

icon

client-goのNewForConfigするとhttp.DefaultTransportの設定値が有効になっていない気がする

icon

今日まったくレビューしてないわ.ずっとtcpdumpしてる

icon

いい加減直し方はわかってきた.あとは原因だ.これなんでdefaultTransportを使うとtcpを貼り直さないんだろ

icon

ずっとtcpdumpしてる(

icon

http2を切ったとしても同じエラーが観測できる.つまりこれ自体はhttp2のhealth checkが問題ではない.http2を入れようが入れまいが,tcpのconnectionの貼り直しが発生していないのはなぜなんだ

icon

これかと思ったんだけど,原因はこれだけじゃないな.http2を使わなくてもconnectionは再利用されている.ログを見ればわかるけど,transportをnewするのは最初の1回だけで残りはキャッシュを使ってるのか
https://github.com/kubernetes/kubernetes/pull/95981

Web site image
Enables HTTP/2 health check by caesarxuchao · Pull Request #95981 · kubernetes/kubernetes
icon

ふぁーこれちょっとdebugして確認したいな

icon

ゾンビランドサガを見るぞ

icon

エラーメッセージをぐぐって,〇〇らしいよっていうことしかできない

icon

なんかそれっぽいのみつけたぞ

icon

あれ?もしかしてこれgRPCなんじゃね?

icon

IRSAのセットアップまで終わった.helmくらい入れるか

icon

kops 1.21からIRSAのセットアップが自動化されるの,まじで最高なんやが

icon

だいぶいいとこまできたな.LBまでは疎通してる.問題はLBがkeep-aliveに反応しているが,その裏側までリクエストが到達してない気がしてならない.少なくともkeep-aliveを短くすればそれで対応は可能だなぁ

icon

LBはack返してるな……どういうことじゃ

icon

あーいいよもうtcpdumpしよう(

icon

あーexecでpod内部でtcpdumpしながら出力を手元のwiresharkに食わせられるかな

icon

何も設定していないときにkeepaliveしてるなんてことないよな?idle connectionが普段どのくらい残ってるのか確認したいんだが

icon

このpodにwiresharkしてぇ……

icon

keepaliveが未指定の場合はkeepaliveしないのか?

icon

まじで全然わからん.これpod内に入っても正常に動いているし,エラーになったプロセス内でのみなにかがおかしい.何がおかしいんだよ

icon

いや,やはりLBのログが見たいな

icon

このLBがDSRしているのかどうかが気になるぞい

icon

これもしかしてlbのタイプを変えたらいけるのではっていう気がしてきたぞい

icon

だめだ,なんもわからん

icon

lbのmemberじゃないなぁ.これを正しくしても状況が変わらない

icon

やはりmasterだけで発生するな

icon

俺の勘が正しければ,これはetcdは関係なくてmasterが死んだときに確率的に発生するのではないかと思ってるんだけど,違うんだろうか

icon

ようやくレビューを一気に消化できた

icon

hogehogeStatusでintとか定義するのやめてくれないかな……全然value objectの意味を理解してないじゃん

icon

goのリリースバイナリをreleasesの添付ファイルにしているんだけど,これリリースタグ作ったらCIで自動ビルドして添付するようにできないかな

icon

ActiveRecordはActiveRecord型ORMの中の最高傑作だよ

icon

@marian @vic I created a pull request. How about this wording? Please review this.
https://github.com/h3poteto/whalebird-desktop/pull/2484

Web site image
refs #594 Update cancel too button texts by h3poteto · Pull Request #2484 · h3poteto/whalebird-desktop
icon

ほげーこれはなんかLBの問題な気がしてきたぞ.一回修正してみるかね

icon

あとはCNIが壊れてる可能性は否定できないな.それであるならクラスタ内からだけエラーになる理由も多少は説明がつく

icon

これ見た目的にはkube-apiserverまで疎通してない感じがするんだよなぁ.なんでなんだろ.ipは変わらないはずなのに.ちょっとdigし続けてみるかね……

icon

これはclientsetの生成に問題があるか,secretとかキャッシュされてないか?controllerのpodを再起動したら治るんだが

icon

うーん,再現しないぜよ

2018-08-15 15:55:43 ぐすくま@わかりみの投稿 guskma@abyss.fun
icon

このアカウントは、notestockで公開設定になっていません。

icon

ふぁー全然仕事できないぞ

icon

I released Whalebird version 4.4.1. I added filter settings. Filters will be synced with Mastodon/Pleroma server and it will be applied.


https://github.com/h3poteto/whalebird-desktop/releases/tag/4.4.1

Web site image
Release 4.4.1 · h3poteto/whalebird-desktop
icon

Whalebird 4.4.1をリリースしました.フィルタの設定画面が追加されており,フィルタがサーバ側と同期されて適用されるようになります.

https://github.com/h3poteto/whalebird-desktop/releases/tag/4.4.1

Web site image
Release 4.4.1 · h3poteto/whalebird-desktop
icon

@vic @marian Hmm..., what kind of wording do you think is appropriate?

icon

よしリリース準備すっぞ

icon

ん?これもしかしてキャッシュじゃないか?

icon

だめだ,今日は全然再現しないので直しようがない

icon

ぬーkubeletが起動しない

icon

あと真面目な話をすると,ホテルにしろ旅館にしろ仕事できるほどの椅子と机とインターネット回線が揃っているところが結構少ない

icon

温泉はめっちゃいいんですけど,温泉入って観光してると仕事しないんですね

icon

レビューしてるだけで1日終わる

icon

etcdとmasterを5台にしてみる

icon

とりあえず障害起こせるくらいまで試すことはできた

icon

あれ?InstanceProfileもtag持ってないか?

icon

よし捕まえた.これで治るぞ.寝られる

icon

資格……なんも持ってない……

icon

あーInstanceProfileを取得すれば紐付いてるRolesは取れる.つまりここのTagsをフィルタリングすればいける

icon

InstanceProfileってそれ自体にはtagはつかないのか.紐付いてるIAM Roleのtagで判断するしかないのかなぁ

icon

おしゃーようやくコンパイルできたぞ!

icon

おしゃーfilterいけた

icon

これはテスト書いたほうが楽なやつや

icon

古畑は面白かったぞ

icon

古畑見てる

icon

そしたら考えられるのは生成しているクライアントに問題があることくらいしかなくない?
あかん,何もわからなくなってしまった.迷子や

icon

手元から叩くと成功するということが判明してしまった.余計わけわからんわ,なんでcontrollerから叩くとタイムアウトするねん

icon

エラーが出ている箇所は特定できるが,なんでこれがエラーになるねん

icon

もしかしてこれetcd殺すだけでも行けるんじゃないか?

icon

etcdを殺したときにmasterが複数台エラーになるんだけど,その状態から復旧できないパターンがあるなぁ

icon

真面目にどこで詰まってるのか確認していくぞ

icon

これ順番に殺すと問題にならないな.タイミングか……

icon

エラーメッセージ的にはこれetcdを落としたら発生するんじゃねーか?

icon

etcdだけとかmasterだけ殺したときは死なないよな……?

icon

なぜetcdとmasterを同時に殺すとkube-apiserverが不通になるのか

icon

金曜にやらなきゃいけないことが大体終わった.ようやく遊べるどん!

icon

この件,codecovから顧客情報まで抜かれたの,結構珍しいと思ったけど,ソースコード上に顧客情報乗っかってたのね

icon

GitHubに上げてたソースコードに顧客情報が含まれてたんだ.それにしてもCodecovから漏れるのはすごいな / 他8件のコメント https://t.co/CStIReghs7 “「Codecov」への第三者からの不正アクセスによる当社への影響および一部顧客情報等の流出について | 株式会社メルカリ” https://t.co/q7ZvjrZrvD

Web site image
「Codecov」への第三者からの不正アクセスによる当社への影響および一部顧客情報等の流出について
icon

kubeletのオプションから--network-pluginとか--cni-conf-dirが非推奨になるけど,これってもともとdocker-shimsでしか使ってなかったの?ということはcontainerdやCRI-Oを使っている場合にCNIのconfとかってどうやっていじればいいんだ?これってCRIの方になにか定義されているの?それにしても,その設定値をkubeletからいじれなくていいのか?

icon

金曜日まじ忙しい

icon

しごとじゃ

icon

とりあえず多少のテストは追加したけど,CI入れないとだな

icon

@sandycorzeta Thank you! I will add it.

icon

テストデータをどうやって生み出すかは結構悩ましいな…….これによってcontextを分離したいねん

icon

不毛地帯にe2eテストを書くぞ

icon

普通にec2しか許可されてないし,これでduration分だけエラー起こすくらいしかできなかった

icon

あ,FISのapi-internal-errorって今の所ec2しかサポートしてないの

icon

あーFISでもapi-internal-errorとかだとdurationを指定できるので,これは一定時間エラーを出し続けることができる.難しいなぁ

icon

あーStop conditionはあくまで中止の条件であって,終了条件ではないのか.targetにしていたものがcompleteしたらstop conditionが上がってなくても終了しちゃう

icon

FISって終了条件がむずいな.インスタンスを殺し続けてほしい場合は単にStartするだけじゃダメなのか.現存するインスタンスを殺し終わった時点でexperimentがcompleteになってしまう.Stop conditionにcloud watch指定したらもっと長期間殺し続けてくれるかな

icon

AWSのFault Injection Simulator使ってみる

icon

自分で立ち上げればいいんだ!

icon

ああ,これだこれ.voluntasも良いこと言う
https://twitter.com/voluntas/status/1014316381041381376

icon

それはそう思う.自社サービスのスタートアップの場合,品質を上げて利益を得るのは将来の自分たちだけど,受託開発で品質を上げ続けてもそれが利益になるのか?というのは怪しい.受託の方は全然温度感わからないので,そういうのを評価してくれるところもあるのかもしれないが

icon

秤についてはt-wadaがいつもいいこと言ってるので,このへんに全部書いてあるとして.結局短期的な機能追加は得られても,長期的には品質を下げ続けるので,成長したときに苦労しろよって話でしかない
https://speakerdeck.com/twada/quality-and-speed-2020-autumn-edition

Web site image
質とスピード(2020秋100分拡大版) / Quality and Speed 2020 Autumn Edition
icon

でもマジで書かない派の人は平時に何言ってもあんまり響いてないので半分諦めている.そういう意味でも "でもそれは、スタートアップだからでもスピード優先だからでもない。自分達が未熟だからで、そこには向き合うべきだと考えます。" というところは同意.書かないのではない,未熟だから書「け」ないのである

icon

こういうのはいいんですよ,こういうのは.それは自分が楽な方を選んだら良い

icon

わろたwww確かにCTOがCIの変わりだわwww性能がCIより遥かに低い(待ち時間が長い)けど

icon

じゃんね

icon

それはまぁ一人で開発してるならそうだし,別にいいんだけど,仕事で複数人でやるとなると状況はまったく逆転するよ.他人がかいたコードを確認する時間でテストコード一つ書けるよ.っていうのが人数分発生する

icon

ほんとそれ

icon

実際最近副業で入ったスタートアップが,全然テストがない(テストがないからCIという概念もない)んだけど,そのくせパフォーマンスが悪いからリファクタリングしてほしいと言う.リファクタリングするのにテストがないとはどういうことなのか.
PRを出すと毎回CTOが手動でpullして本番DB相当のデータを用意してポチポチいじって「ここでバグりました」みたいな報告を上げてくる.これを修正するたびにやるので,普通に1PRをマージするのに1ヶ月以上かかる.こんなのでいいのかスタートアップ?と思ってるんだけど,本人は危機感がまったくないらしく,テストを書く気もないらしい

icon

一人ならともかく,複数人で開発するようになると,テストなしで他人のPRのレビューしてマージするのがかなり怖くなる.それをいちいち手元やdev環境用意して手動確認する暇がスタートアップにあるのか? / “「スタートアップだからテストを書かない」は正しいか - An Epic…” https://t.co/HvZV75BAjA

Web site image
「スタートアップだからテストを書かない」は正しいか
icon

fedibirdがemoji_reaction対応した結果,パースできないイベントがいっぱい飛んできている

icon

星野源といえばSAKEROCKやってたイメージしかないのに,いつの間にか結婚してたし,いつの間にか解散してた

icon
Web site image
きっとこれは契約結婚、きっとこれは契約結婚、きっとこれは契約結婚、きっとこれは契約結婚 - miki3k のブックマーク / はてなブックマーク
icon

kubeletの設定変えたらmasterが死んだ.なぜ

icon

ほげ,どういうことじゃ.sshできない.インスタンス死んだんじゃね.なにもしてないのに

icon

削除系のレビューは,削除範囲が正しいかの判定をするためにかなり広範囲のコード知識が要求されるんでむずかしいよね.とあるメソッドを削除しても問題ないかは,参照先をある程度把握してないと判断できない.

icon

健康診断された

icon

あーだめだ,deprecatedなフラグ使ってないと思って消したけど,やはりテストが通らない

icon

ちばしがさが

icon

ゾンビアイドルアニメ界の最高傑作やぞ

icon

ゾンビランドサガRが面白いよ

icon

おしゃーバグみーっけ

icon

あーちょっとわかった.これはちゃんと待たないとだめなんじゃないだろうか

icon

corednsが起動しない……相変わらずよろしくないな……

icon

今日も「ほげー」って言ってるだけで金もらってる

icon

ほげー(いろいろフィルタリングされた

icon

rktとか今使ってるところあるのか?

icon

kubeletのオプション変わってるので対応するぞ

icon

kube-apiserverの--client-ca-fileと--etcd-cafileって別のCAであっても問題はないよな?つまりクライアント認証に使っているCAと,k8s内のコンポーネント同士が通信する際のCAって別物でいいはずだよな

icon

今日は平和だ

icon

issueを見るだけで結構時間かかるんだよなぁ

icon

毎日PCの前で「ほげー」って言ってるだけで金もらってる

icon

おしゃー再現できたぞ.再現できたらだいたい治せるよな

icon

あーこれ名前が一致してない限り消されないのではっていう気がしてきたわ

icon

おしゃー10日以上戦ってようやくPRになる

icon

これぞゲーミング

icon

すべてのCIが失敗している…これはもしや何かしらのlimitに到達したのでは

icon

ようやく再現できたので対策はなんとかなるぞ.根本原因の修正は別だな……

icon

しかし復帰しているパターンもあるな……

icon

あーこれは再現するぞ!再現するぞー!!!
ようやく正式なissueを作れる

icon

これよ,これがわかりにくくしている諸悪の根源な気がする

icon

なるほど,この状態でもインスタンスが復旧すればクラスタ自体は戻るな

icon

お,少し進んだぞ.etcdより先にmasterを殺すとエラーになるのでは

icon

botの自動コミットによって差分が消失した.ってことはこれわざわざ人がやる必要もないんじゃん……

icon

風が強いな

icon

古いfilterが邪魔やな……これを綺麗に消すほうが難題だ

icon

あーわかっちゃーtruncateするときにschema_migrationsまでtruncateしてはいかん.これマジ大事

icon

なんかこれMakefileが普通に使いにくいな……なんでこんなことしてるんだろうな……

icon

Subway Tooterはいいぞ、いいぞ / 他37件のコメント https://t.co/961BZ9snMU “突然、紹介されるオススメAndroidアプリ集” (167 users) https://t.co/ByuLz4m8MV

Web site image
突然、紹介されるオススメAndroidアプリ集【追記あり】
icon

どうやってdbをtruncateするか……

icon

database cleaner相当のことをだれがどうやってやるかが悩ましいな

icon

なんでgoのバージョンこんなに古いんだよ……

icon

あーくそコードである.まじでクソである

icon

テストのときだけDBをすげ替えないとダメだなぁ……

icon

とりあえず認証を突破するところまでやらないとだな

icon

やらなきゃいけないことがようやくおわった.さぁE2Eテスト書くぞ

icon

俺も他人の金で寿司が食べたい

icon

pg_repackかける

icon

わろたwwww

icon

あー原因がわかった.これはhackneyまちですわ……

icon

sentryがphoenixのエラーを拾ってくれない

icon

ゆれゆれ

icon

etcdの台数増やしたら大丈夫な気がしなくもない.しかしそんなことをしたいんじゃないんだよ

icon

やはりetcdを殺すと巻き込みで一部のkube-apiserverも死んで一時的にmasterが死ぬな.問題は復旧しないパターンを見つけられてないということか

icon

いいねー

icon

distrolessでもdebugタグがついてるやつはshellが入っているのでデバッグに使うときには便利

icon

distrolessは入ってる依存が最低限だし,goはバイナリ吐き出しちゃえばだいだいこれで動くので,最高だぞ

icon

ナウいエンジニア

icon

debianもslimはよく使う.一時期alpineが多かったけど最近alpine勢はみんなdistrolessに移行しつつあるイメージ

icon

LLは別としてもgoは最近distrolessに詰め込んでしまうことが多い

icon

わかる.あとは2FA用にAuthyが動けばいい

icon

CNIの載せ替えは,新しいクラスタ作って中身を移し替えるのは楽にいける.live migrationはちょっとたいへん.でもflannel -> calicoは割とやりやすいほうかも

icon

ライブラリを更新するだけの仕事のはずなのに,依存関係解決できなくて全然ちょろくない

icon

やはりエラーになったインスタンスが補充されない,どうしたらええねん

icon

また無駄なインスタンスが増えておる……