2015年1月7日水曜日

robots.txtにサイトマップを指定する方法

検索エンジンのクローラにサイトマップの場所を教える方法です。

robots.txtに下記のように追加して、自分のサイトのsitemapの場所を指定します。

Sitemap: http://ore-tech.blogspot.com/sitemap.xml

全体的には、こんな感じでしょうか。

User-agent: *
Disallow: 

Sitemap: http://ore-tech.blogspot.com/sitemap.xml

補足

ウェブマスター ツールのrobots.txtの記事を読んでいたら下記の記載がありました。

robots.txt ファイルが必要になるのは、サイトに Google などの検索エンジンのインデックスに登録したくないコンテンツがある場合のみです。サイト全体が Google のインデックスに登録されるようにする場合は、robots.txt ファイルを(空のものでも)作成しないでください。

登録したくないコンテンツがある場合のみでだそうです。
Sitemap指定だけに作った方がよいのか不安になるところですが
私は、上記のように全て許可でSitemapを指定するようにしています。

robots.txtの指定の仕方によってはクロールが行われないこともありますので
取り扱いには十分注意してください。あくまで自己責任でお願い致します。

参考サイト

検索エンジンのクローラに通知

0 件のコメント:

コメントを投稿

statistics