Crawl-delayサポートしてて偉いと思ったが、設定してなかったら非常識的なリクエストを送って良いと判断されるの怖すぎる
anthropic社のガイドに倣い、robots.txtに、1秒のクロール遅延（Crawl-delay）を要求する設定を追加。https://support.anthropic.com/ja/articles/10023637-anthropic%E3%81%AF%E3%82%A6%E3%82%A7%E3%83%96%E3%81%8B%E3%82%89%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%AB%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E3%81%AE%E3%81%8B-%E3%81%9D%E3%81%97%E3%81%A6%E3%82%B5%E3%82%A4%E3%83%88%E6%89%80%E6%9C%89%E8%80%85%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC%E3%82%92%E3%83%96%E3%83%AD%E3%83%83%E3%82%AF%E3%81%A7%E3%81%8D%E3%82%8B%E3%81%AE%E3%81%8B
過剰なクロールの抑制する記述を試みました。
