グーグルのクローラーの動き｜SEOにおけるクローリングとは何か？

クローラーの仕事

Googleクローラーの仕事はリンク（URL）を辿って世界中のサイトをクローリングして、得られた情報をGoogleのデータベースに届ける事です。

データベースは運ばれてきた情報を、登録（インデックス）します。

「データベース」という単語も聞き慣れないと思いますが、ここでは大きなパソコンだと思って頂ければ大丈夫です。インデックスは「保存」と読み替えても大丈夫です。

スカーレット

バイオレットちゃん

つまり、クローラーは、私たちのサイトの情報を、Googleが管理する大きなパソコンに保存しているのね！

すごく簡単に解説すると、そういう事だね！

スカーレット

検索ユーザーが検索をすると、このデータベースに登録された情報が検索結果に表示されます。

つまり、検索結果に私たちのサイトが表示されるのは、もとを辿れば、クローラーが私たちのサイトをクローリングしているからです。

私たちのサイト内での動き

クローラーは、XMLサイトマップや外部リンクから私たちのサイトへ訪問します。

豆知識

私たちのサイトは、ページ（記事）の集合体です。複数のページが集まって1つのサイトになります。

クローラーは私たちのサイト内でもリンク（URL）を辿って移動します。

上の画像で説明すると、私たちのサイトに2つのクローラーが訪問してきています。

1度の訪問でクローラーがクローリングするページ数は決まっています。上の画像の場合、クローラーAは、1度の訪問で、ページF、ページG、ページJの3ページをクローリングしました。

クローリングするページ数は、各サイトによって異なります。グーグルのアルゴリズム（計算方法）によって、1度の訪問で何ページクローリングするかが決まります。

参照サイト↓

Google の検索エンジンの仕組み、検索結果と掲載順位について

ページ（記事）内での動き

クローラーは私たちのページ（記事）を上から読んでくれます。

この、私たちのページを読んでくれる事（情報を取得する事）をクローリングと言います。

クローラーはクローリング中にページ内にリンクがあった場合は、現在のページを読み取った後、そのリンクを辿って他のページへ移動します。

SEO対策として、ページ内に内部リンクを配置しますが、その理由は、クローラーにより多くのページを読んで貰えるからです。

例えば、グーグルのアルゴリズムによって、私たちのサイトが1回の訪問で5ページクローリングして貰えるサイトだったとしても、内部リンクが無い事で、1ページのクローリングで終わってしまうかもしれません。

これはSEOに不利に働きます。ですので、各ページ内には、次のページのリンクや、関連ページのリンクを配置します。

逆に、検索上位に表示させなくても良いページ、優先順位の低いページにはリンクを貼らずに、限られたクローリング回数を他のページに譲ります。

こうする事で、意図して検索上位に表示させたいページにクローラーが集まり、より深くページ内容を読み込んでくれます。

クローラーは私たちのページのHTMLを読み込んでいる

普段の生活ではあまり見かけませんが、HTMLはこのようなものです。

私たちのページはHTMLというマークアップ言語で書かれています。

チェックポイント

Googleクロムのブラウザで、サイト上で右クリックをすると「ページのソースを表示」の項目があります。ページのソースを表示させるとHTMLが見れます。

クローラーは、このHTMLをクローリングしています。

クローラーがページのHTMLを読む理由は、HTMLに書かれた「テキスト」や「タグ」を取得したいからです。

グーグルの検索エンジンは、どのタグに、何が書かれているかを大切にしています。

「どのタグに、何が書かれているか？」は、グーグルが検索結果の順位を決める際（ランキング）に、特に重視しています。

参照サイト↓

Google 検索の基本事項

Google検索セントラルにも書いてある通り、ユーザーが検索するであろうキーワード（テキスト）は、ページ内で使うようにします。

また、ページ内で使用されている重要キーワードは、<title>要素、つまり、タイトルタグで囲まれたテキスト（ページタイトル）にも含まれていると、グーグルは、そのページの重要キーワードだと認識しやすくなります。

バイオレットちゃん

狙っているキーワードで検索結果の上位にサイトを表示させたい場合、<title>要素に、その狙っているキーワードを含めないと、検索上位に表示させるのは大変難しいです。

狙っているキーワードは、必ず<title>要素に含めて下さいね！

スカーレット

参考までに、「タグ」と「テキスト」と「要素」の関係性について解説します。

<title>これはtitleタグで囲まれたテキスト</title>

上は、HTMLで記述されていますが、「タグ」と呼ばれるのは、<title>と</title>です。

<title>は開始タグと呼ばれていて、</title>は終了タグと呼ばれています。

開始タグと、終了タグに挟まれている「これはtitleタグで囲まれたテキスト」が「テキスト」になります。

そして、「タグ」と「テキスト」が合体したものが「要素」です。

こういった専門的な内容を理解せずとも、ワードプレスなどのツールを使えばページを作成する事はできます。

ただ、ワードプレスのテーマやプラグインを選別する際や、SEOの深い知識を身につける際に、こういった知識があると、間違った選択を減らせるので、専門的な内容を見かけた時に、目を背けずに、軽くでも読んで頂くと良いです。