検索エンジンのクローラにサイトマップの場所を教える方法です。
robots.txtに下記のように追加して、自分のサイトのsitemapの場所を指定します。
Sitemap: http://ore-tech.blogspot.com/sitemap.xml
全体的には、こんな感じでしょうか。
User-agent: *
Disallow:
Sitemap: http://ore-tech.blogspot.com/sitemap.xml
補足
ウェブマスター ツールのrobots.txtの記事を読んでいたら下記の記載がありました。
robots.txt ファイルが必要になるのは、サイトに Google などの検索エンジンのインデックスに登録したくないコンテンツがある場合のみです。サイト全体が Google のインデックスに登録されるようにする場合は、robots.txt ファイルを(空のものでも)作成しないでください。
登録したくないコンテンツがある場合のみでだそうです。
Sitemap指定だけに作った方がよいのか不安になるところですが
私は、上記のように全て許可でSitemapを指定するようにしています。
robots.txtの指定の仕方によってはクロールが行われないこともありますので
取り扱いには十分注意してください。あくまで自己責任でお願い致します。
0 件のコメント:
コメントを投稿