記事ページを表示中

グーグルのクローラーの動き|SEOにおけるクローリングとは何か?

記事No.84

更新日時2023年03月10日

バイオレットちゃん

最近、SEOの勉強をしているのですが、よくクローリングという単語を目にします。クローリングって何ですか?

クローリングとはクローラー(スパイダーと呼ばれる事もある)と呼ばれるプログラムが私たちのサイトの情報を取得する事を言うよ!SEOの分野だとGoogleクローラーが有名だけど、クローラーは誰でも作成、運用する事が出来るよ。

スカーレット

バイオレットちゃん

え!私たちのサイトの情報を勝手に取得するんですか!なんか恐い…

大丈夫、クローリングには、ちゃんとルールがあるから安心して。今回は、普段の生活では聞き慣れないクローラーについて解説するよ。

スカーレット

クローラーの仕事

Googleクローラーの仕事はリンク(URL)を辿って世界中のサイトをクローリングして、得られた情報をGoogleのデータベースに届ける事です。

データベースは運ばれてきた情報を、登録(インデックス)します。

「データベース」という単語も聞き慣れないと思いますが、ここでは大きなパソコンだと思って頂ければ大丈夫です。インデックスは「保存」と読み替えても大丈夫です。

スカーレット

バイオレットちゃん

つまり、クローラーは、私たちのサイトの情報を、Googleが管理する大きなパソコンに保存しているのね!

すごく簡単に解説すると、そういう事だね!

スカーレット

検索ユーザーが検索をすると、このデータベースに登録された情報が検索結果に表示されます。

つまり、検索結果に私たちのサイトが表示されるのは、もとを辿れば、クローラーが私たちのサイトをクローリングしているからです。

コメントフォーム

私たちのサイト内での動き

クローラーは、XMLサイトマップや外部リンクから私たちのサイトへ訪問します。

豆知識

私たちのサイトは、ページ(記事)の集合体です。複数のページが集まって1つのサイトになります。

クローラーは私たちのサイト内でもリンク(URL)を辿って移動します。

上の画像で説明すると、私たちのサイトに2つのクローラーが訪問してきています。

  • クローラーAの動き…XMLサイトマップから入ってきて、その次にページFへ移動し、ページGへ移動し、ページJに移動した後に私たちのサイトから出ていっています。
  • クローラーBの動き…外部サイトのリンクを辿りページHから入ってきて、その次にページKへ移動し、私たちのサイトから出ていっています。

1度の訪問でクローラーがクローリングするページ数は決まっています。上の画像の場合、クローラーAは、1度の訪問で、ページF、ページG、ページJの3ページをクローリングしました。

クローリングするページ数は、各サイトによって異なります。グーグルのアルゴリズム(計算方法)によって、1度の訪問で何ページクローリングするかが決まります。

コメントフォーム

ページ(記事)内での動き

クローラーは私たちのページ(記事)を上から読んでくれます。

この、私たちのページを読んでくれる事(情報を取得する事)をクローリングと言います。

クローラーはクローリング中にページ内にリンクがあった場合は、現在のページを読み取った後、そのリンクを辿って他のページへ移動します。

SEO対策として、ページ内に内部リンクを配置しますが、その理由は、クローラーにより多くのページを読んで貰えるからです。

例えば、グーグルのアルゴリズムによって、私たちのサイトが1回の訪問で5ページクローリングして貰えるサイトだったとしても、内部リンクが無い事で、1ページのクローリングで終わってしまうかもしれません。

これはSEOに不利に働きます。ですので、各ページ内には、次のページのリンクや、関連ページのリンクを配置します。

逆に、検索上位に表示させなくても良いページ、優先順位の低いページにはリンクを貼らずに、限られたクローリング回数を他のページに譲ります。

こうする事で、意図して検索上位に表示させたいページにクローラーが集まり、より深くページ内容を読み込んでくれます。

コメントフォーム

クローラーは私たちのページのHTMLを読み込んでいる

普段の生活ではあまり見かけませんが、HTMLはこのようなものです。

私たちのページはHTMLというマークアップ言語で書かれています。

チェックポイント

Googleクロムのブラウザで、サイト上で右クリックをすると「ページのソースを表示」の項目があります。ページのソースを表示させるとHTMLが見れます。

クローラーは、このHTMLをクローリングしています。

クローラーがページのHTMLを読む理由は、HTMLに書かれた「テキスト」や「タグ」を取得したいからです。

グーグルの検索エンジンは、どのタグに、何が書かれているかを大切にしています。

  • タグの種類
  • 書かれている内容

「どのタグに、何が書かれているか?」は、グーグルが検索結果の順位を決める際(ランキング)に、特に重視しています。

Google検索セントラルにも書いてある通り、ユーザーが検索するであろうキーワード(テキスト)は、ページ内で使うようにします。

また、ページ内で使用されている重要キーワードは、<title>要素、つまり、タイトルタグで囲まれたテキスト(ページタイトル)にも含まれていると、グーグルは、そのページの重要キーワードだと認識しやすくなります。

バイオレットちゃん

狙っているキーワードで検索結果の上位にサイトを表示させたい場合、<title>要素に、その狙っているキーワードを含めないと、検索上位に表示させるのは大変難しいです。

狙っているキーワードは、必ず<title>要素に含めて下さいね!

スカーレット

参考までに、「タグ」と「テキスト」と「要素」の関係性について解説します。

<title>これはtitleタグで囲まれたテキスト</title>

上は、HTMLで記述されていますが、「タグ」と呼ばれるのは、<title>と</title>です。

<title>は開始タグと呼ばれていて、</title>は終了タグと呼ばれています。

開始タグと、終了タグに挟まれている「これはtitleタグで囲まれたテキスト」が「テキスト」になります。

そして、「タグ」と「テキスト」が合体したものが「要素」です。

こういった専門的な内容を理解せずとも、ワードプレスなどのツールを使えばページを作成する事はできます。

ただ、ワードプレスのテーマやプラグインを選別する際や、SEOの深い知識を身につける際に、こういった知識があると、間違った選択を減らせるので、専門的な内容を見かけた時に、目を背けずに、軽くでも読んで頂くと良いです。

コメントフォーム

著者情報

名前:スカーレット
2010年からWEBサイトやWEBアプリを作成しています。最初は趣味でブログを書いていましたがSEOを勉強するのが楽しくなり、そのままブロガーとして独立しました。その後、記事を書くだけでは物足りなくなり自分でWEBアプリの作成をスタート。現在はブロガー兼プログラマーとして活動しています。このWEBアプリ(ブロトーク)もDjangoで自作しました。ブロトークはブログとSNSを合体させたようなWEBアプリです。ブログを読んで気づいた事や感想などあれば、気軽にメッセージを送って頂ければと思います。WEB技術を一緒に勉強していけたらと思います。