Google、robots.txtの仕様のWeb標準化を目指す
https://it.srad.jp/story/19/07/05/1344241/
Robots Exclusion Standard
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard
>"robots.txt" は、1994年ごろWebCrawlerという検索エンジンで働いていた Martijn Koster が考案したとされている。1994年6月に robots-request@nexor.co.uk というメーリングリストのメンバーが合意して生まれた[1]。
robots.txtさん25歳だったとは意外ですね。
Google主導なのはアレですが、まあ各検索エンジンがちゃんと仕様を守るようになるなら歓迎ですかね。
#Web標準化