検索エンジンの対象からはずすためのrobots.txtの書き方
最終更新日: 2022年8月30日
インターネット上に公開している Wagby アプリケーションを Google など検索エンジンの対象外とするには、ドメイン名のルートにrobots.txtを配置する必要があります。
https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ja
具体的な例を示します。次のようにrobots.txtを記述するとウェブサイト全体でクロールを禁止します。
なお https://xxxx.jasminesoft.jp/wagby/ にて公開している場合 https://xxxx.jasminesoft.jp/robots.txt という URL でこの内容を取得できるようにしてください。
運用中のサイトが Apache HTTP ServerやIISと連携している場合は、そちらの設定をご確認下さい。
このファイルは修正後すぐに影響するものではなく、検索エンジン(Googleなど)が不定期にアクセスしたタイミングで認識されます。
できるだけ早く Google 社に(更新した)robots.txt を認識してもらうために、同社への連絡方法が開示されています。
この設定が有効かどうかを Google Search Console を使って調べることができます。
ドメイン名のルートにrobots.txtを配置する
User-agent: *
Disallow: /
Google社への連絡
Google Search Console
貴社の Googleアカウントでログオンし、検査するサイトが自分の管理であることを示す必要があります。詳細は Google Search Console のガイドをお読みください。