robots.txt の書き方
robots.txt とは、Googleなどの検索エンジンのロボットにサイトをクロールさせるかさせないかを決めるものです。
会員限定のコンテンツだったり、検索エンジンに見せたくない！というコンテンツがある場合は、robots.txtを利用して、検索に引っかからないようにしましょう。
ただ、robots.txtをそういったロボットが勝手に見に来て、Apacheのエラーログが
File does not exist: /var/www/***/public_html/robots.txt
で一杯になってしまったりする場合は、クロールしてほしくないページがない場合でも、サーバーにおいておいた方がいいかもしれません。
作り方です。
- テキストエディタでrobots.txtというファイルを作る。ちなみに私のおすすめテキストエディタはTeraPadです。
- 次のように書く
ここでは、/himitsu/を検索エンジンにクロールさせたくないとします。
User-Agent:* Disallow:/himitsu/