Search Consoleのクロールの統計情報

クロールとは

googleやyahooなどで検索すると、いくつもの検索結果が表示されます。検索結果はユーザーが欲している情報により近いものを上位に表示するようになっています。実はgoogleもyahooもgoogleの検索エンジンを使っています。yahooは、googleの検索エンジンから得た情報に、yahoo独自のフィルターをかけて検索結果として表示しています。

では、googleはどのように情報を得ているのでしょうか。情報を集めるロボットが世界中のwebサイトを回って情報を集めます。ロボットをクローラ（googlebot）と言い、その行為をクロールと言います。クローラはリンクを辿って、一日に何度もページを訪れます。

多くのページに訪れるためにはURLエラーはない方が良いでしょう。クローラが訪れる頻度をチェックすることも大事です。

クロールエラーでURLエラー404が表示された場合

URLエラーで「見つかりませんでした」という404エラーが表示されるということは、googleがアクセスしようとしたページが存在しない時です。その原因は以下です。

クロールエラーでURLエラー404の対処法

404エラーはgoogleの検索結果の掲載順位には影響ありません。しかし何が原因かがわかっていた方が良いと思います。以下のことをチェックしてみてください。

1. URLをクリック
2. リンク元タブを開き、無効なリンクがどこからのものかを確認する
3. リンク元をクリックし、リンクを修正または削除する

これはリンクの後ろに「%20%E2%80%8E」が付くというエラーで、 リンクは問題ないように見えますが、リンクの後ろに空白が入っているとエラーになります。

クロールの統計情報

クロールの統計情報には90日間のクローラーの働きがグラフでわかります。

「良好な」クロール数というものは存在しませんが、グラフは比較的平坦で、サイトの拡大に応じて上昇するべきです。

クロール速度が急激に増減した場合の対処

• robots.txtを見直し、ブロックされている状況を確認する
• クローラーがページを解析できているかを確認する
  クロールの統計情報レポートで、クロール履歴に関する統計情報がわかります。
• サーバーの処理速度に問題がないか確認する
  良い情報が多ければ、googlebotは頻繁に巡回します。しかしそれによって、サーバーに負担がかかります。また、サイトの反応が遅い場合は、googlebotはリクエストを制御します。
• エラーが多くないか確認する
  エラーが多い場合サーバーの負担を防ぐため働きを制御します。
• サイトは定期的に変更しているか
  変更がなければ、クロール頻度が低下します。

robots.txtテスター

• https://www.google.com/webmasters/tools/robots-testing-tool

robots.txtをで、Googleのウェブクローラーをブロックしていないかを確認できます。

Googleにクロールをリクエストする

重要なページを新しく作成して公開した、または重要なページを更新して公開した場合、そのページをすぐに Google に通知する必要があります。

Search Console

• URL検査ツール でインデクス登録をリクエストする
• サイトマップを送信

Googleにクロールをリクエストする方法は２つの方法があります。URL検査ツールで「[インデックス登録をリクエスト」を送る方法と、複数のURLの場合は「サイトマップ」を送信します。

URL検査ツールでクロールエラーする手順

1. URL検査ツール にアクセスする
2. 左側の項目よりURL検査をクリック
3. インデクス登録したいURLを入力する
4. インデクス登録をリクエストをクリックする

サイトマップ

1. 左側の項目から「サイトマップ」をクリック
2. 新しいサイトマップを送信に、XML sitemapのURLを入力する

XML sitemapのURL の例 「sitemap.xml」

googleで処理されるまでに時間がかかることがあります。

インデックス カバレッジ レポート

インデックス カバレッジ レポートで、登録されているページや問題のあるページを確認することができます。

Fetch as Google（過去に利用されていた方法です）