01:53:36 @dk_k@fedibird.com
そぎぎ
icon

最近見つけたこの謎のbotすき

就活生アサギbot twitter.com/job_asagi_bot

Web site image
就活生アサギbot(@job_asagi_bot)さん | Twitter
02:06:07 @dk_k@fedibird.com
icon

scrapboxに特定のページだけnoindexつける機能とかないかなと探してみたけど無さそう
てかSPAでサイト内の一部リンクだけnoindexってどうやるんだ

02:10:39 @dk_k@fedibird.com
icon

suzukikenichi.com/blog/adding-
> たとえば noindex robots meta タグを JavaScript で挿入することができます。
> Google には認識されます。
> しかしながら、クライアントサイドでレンダリングさせる noindex タグの挿入を Google の John Mueller 氏は推奨していません。

付け外しのタイミングによってインデックスされたりしなかったりしそう

Web site image
JavaScriptによるnoindex挿入をGoogleは推奨せず、JSレンダリングはセカンドウェーブのインデックス
02:12:23 @dk_k@fedibird.com
icon

robots.txt でやればいいのかな? クロール全体を弾くのはあまりよくないけど

02:19:33 @dk_k@fedibird.com
icon

そもそもSPAを検索エンジンがどうクロールするのか知らないと解決しないな
全部のページでリクエストし直してくれるのか、JSで遷移するページはそれで済ませるのか
もし前者ならここまで考えなくてもよい