検索ロボット対策

サイト構築

授業でも出てきた検索ロボット対策ファイルを作成した

# Disallow all crawlers access to certain pages.

User-agent: *
Disallow: /css/*
Disallow: /detail/*
Disallow: /images/*
Disallow: /js/*
Disallow: /list/*
Disallow: /Script/*
Disallow: /swf/*

#User-agent: .*Baiduspider*
#Disallow: /*

# Sitemap files
#Sitemap: xml-file url

過去の記憶ですが、Baiduさんはこれを入れても検索エンジンが入ってきてしまうかも。。。
とりあえず空index.htmlで対策できたかな。。。そこまでの記憶がない。

さらに空index.htmlにもう一工夫

<meta http-equiv="refresh" content="0;URL=http://www.free-name-cardz.com">

これを入れることで空indexアクセスした瞬間にトップページに飛ぶ
URLの前はアクセス後の秒数。

本来は何かメッセージを入れるんですが、今回は入れていないので即リダイレクト！