サポート > 運用ガイド(R6) > 検索エンジンからのアクセスを拒否させる

インターネットに公開するWebアプリケーションを運用する場合は、検索エンジンからのアクセスを拒否することが求められます。ここではその方法を説明します。

検索エンジンからのアクセスを拒否する理由

インターネットでは Google をはじめとするいくつかの検索エンジンが Web サイトを定期的に訪問し、検索の対象としています。そのため、次のような問題が発生します。

  • 自社専用のアプリケーションであっても外部の人の目に触れてしまう可能性がある。
  • 検索エンジンのアクセスによりウェブアプリケーションを運用しているサーバの負荷が上がる。

そこで本ページでは、検索エンジンによるアクセスを拒否させる方法を説明します。これによって上記の問題を解決できます。

robots.txtファイルの作成

  1. robots.txtという名称(すべて英小文字)のテキストファイルを作成します。内容は次のようにします。
    User-Agent: *
    Disallow: /wagby
    ここで "/wagby" と記載されている箇所は、貴組織で運用する Web アプリケーションの URL に置き換えてください。 一般には「プロジェクト名(英語)」がここに相当します。
  2. このファイルを Web サイトのルートディレクトリに保存します。具体的には次のようなアドレスでアクセスできるディレクトリになります。
    http://YOURDOMAIN/robots.txt
    UNIX 系 OS の場合、ファイルのパーミッションは 604 または 644 とするのが一般的です。