検索エンジンの対象からはずすためのrobots.txtの書き方

ドメイン名のルートにrobots.txtを配置する

インターネット上に公開している Wagby アプリケーションを Google など検索エンジンの対象外とするには、ドメイン名のルートにrobots.txtを配置する必要があります。

https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ja

具体的な例を示します。次のようにrobots.txtを記述するとウェブサイト全体でクロールを禁止します。

User-agent: *
Disallow: /

なお https://xxxx.jasminesoft.jp/wagby/ にて公開している場合 https://xxxx.jasminesoft.jp/robots.txt という URL でこの内容を取得できるようにしてください。

運用中のサイトが Apache HTTP ServerやIISと連携している場合は、そちらの設定をご確認下さい。

Google社への連絡

このファイルは修正後すぐに影響するものではなく、検索エンジン（Googleなど）が不定期にアクセスしたタイミングで認識されます。

できるだけ早く Google 社に（更新した）robots.txt を認識してもらうために、同社への連絡方法が開示されています。