検索エンジンにおけるクローラーの仕組み-なぜ自社サイトの検索順位が上がらないのか

Googleなどの検索エンジンはクローラーというWeb上を巡回するロボットがテキストや画像などの情報データを収集し、検索エンジンのデータベースに情報を蓄積しています。 クローラーはWeb上の全てのページを同じ頻度で巡回しません。ページの情報をいち早く検索エンジンのデータベースに提供し、検索ランキングに反映させるためには、早く、高頻度でクローラーに巡回させる必要があります。
クローラーの巡回を促す適切な対策方法は、手動によるインデックス送信やサイト内リンク構造の最適化があります。Googleに向けた「SEO対策の方法」に書かれている通り、ユーザーとクローラー両面からの対策が必要です。

検索エンジンにおけるクローラーの仕組み

自然検索経由でのアクセスを狙うのならば、そもそも検索エンジンに自身のWebサイトのコンテンツが登録されていなければなりません。そして、Web上に公開されている記事を検索エンジンが探すときに使用しているのが「クローラー」です。
この 検索エンジンとクローラーの仕組みを理解することがSEO対策における基本です。 

検索エンジンの仕組み

インターネットの黎明期には検索エンジンに対してサイトの所有者が手動でサイト登録を行っていましたが、技術の発展と共にユーザーが手動で登録し検索エンジンが審査する形から、クローラーと呼ばれるプログラム(ロボット)が自動で収集する方法がスタンダードになりました。
日本においては、Yahoo！とGoogleが二大検索エンジンと考えられますが、YahooはGoogleの検索エンジンの仕組みを採用しているので、実質的にはGoogleの検索エンジンについて理解すればよいと考えられます。
Googleの検索エンジンにおいて、Webページが検索結果に表示されるようになるまでには「クローラーの巡回」→「ページのインデックス」→「順位決定」の3つの過程が必要になります。
「クローラーの巡回」とはWebサイトにクローラーが辿りついてそのWebページを読み込むこと、「ページのインデックス」とは読み込んだページを解析して検索エンジン側で情報を登録しておくこと、「順位決定」とはどのようなキーワードの何番目にインデックスしたWebページを表示するか決定することを指します。

クローラーの仕組み

検索エンジンの仕組みを考えたときに「クローラーの巡回」がなければそもそも検索エンジンにWebページの存在すら認識されません。よって、自社サイトにクローラーが辿りつくための対策が必要でしょう。
また、クローラーはWebサイト内のリンクを伝ってそのサイトがどのようなページで構成されているのかを認識しているので、サイトの構成が複雑で到達しにくいWebページがあると、そのページにクローラーが到達できず検索エンジンにインデックスされない可能性もあります。
ちなみに、クローラーの活動は完全にWebサイト所有者側で一定程度コントロールできます。クローラーにサイトの巡回を促したり、インデックスして欲しくないページを指定したりと一定の制御は可能です。

クローラー巡回の確認方法

クローラーが自社Webサイトをいつ巡回したかは、Googleサーチコンソールというツールを使用すれば確認できます。
GoogleサーチコンソールとはGoogleがWebサイト所有者に無料で提供しているツールで、Googleのクローラーに巡回を申請したり、問題のあるページが存在するかをチェックしたり、どのような検索キーワードで検索結果に表示されているのかを分析したりできるSEO対策における必須級のツールです。
Googleサーチコンソールで自社のWebサイトを登録、サイトマップをサーチコンソール上に登録しておけば定期的にクローラーがサイトを巡回します。

メニューバーの「インデックス」欄の「サイトマップ」のページにサイトマップが登録されており、定期的に「送信」、「最終読み込み日時」が更新されていれば問題なくクローラーが自社サイトを巡回してくれています。

クローラーに対する適切な対策方法

クローラー対策としては、 Webサイトに定期的に巡回してもらうようにする、クローラーが巡回してきたときにきちんとWebサイトの全貌を理解できるようにする ことの大きく分けて2つの対策があります。

サイトマップの送信

Googleのクローラーの効率性を高めるためにサイトマップを作成して、サーチコンソールから登録しておきましょう。
通常は「sitemap.xml」といったファイルをトップディレクトリに置いておきます。xml形式のサイトマップは自分で一から記述しなくてもWeb上でサイトマップ作成ツールのような補助ツールが公開されていますし、WordPressならばサイトマップを生成するプラグインも公開されています。

また、サーチコンソールにサイトマップを登録する場合はメニューバーの「インデックス」欄の「サイトマップ」の部分を開いて、サイトマップのURLを入力、送信します。
一度登録しておけば、サイトマップのURLが変わらない限り自動でサイトマップを定期的にチェックしてくれます。

SearchConsoleの機能「URL検査ツール」の活用

【サーチコンソール画像】
ピンポイントのWebページの登録状況が知りたい、巡回を促したい場合はサーチコンソールの「URL検査ツール」を使用します。
サーチコンソール上部の検索欄にチェックしたいWebページのURLを入力すると、Googleのインデックス情報が取得できます。
まだ、インデックスされていない場合はその旨が表示されるので「インデックス登録をリクエスト」をクリックして、クローラーの巡回を促してください。ただし、リクエストからインデックスにはタイムラグがあるので注意してください。
ページを更新したり、エラーを直したりして早期に反映したい場合は、登録済みのページでも再度インデックス登録をリクエストすることができます。

シンプルなURLとディレクトリ構造

WebページのURLはシンプルな方が良いとされています。例えば、2021年のおすすめデートスポットを紹介するページの場合
http://…/datespot-2021
http://…/datespot/2021(datespot階層をわざわざ作っている)
http://…/163819(←記事の通し番号)
http://…/iwh74024rjo24r(←完全にランダムな文字列)

そもそも内容とURLが一致しない)

のように様々なURLの設定が考えられますが一番上のように人間がURLを読んでも内容が何となくわかる、シンプルなURLかつディレクトリを設定するのが良いとされています。

参考SEOを考慮したカテゴリ分けの方法

パンくずリストの設定

パンくずリストとはユーザーが見ているページがサイト全体でどのような位置にあるのかを分かりやすく示したリストのことを指し、通常はコンテンツの最上部に表示します。
パンくずリストの設置はユーザーがサイトの全体構造、閲覧しているWebページを認識、他のページに回遊しやすくなるという点でユーザビリティの向上につながりますが、クローラーがパンくずリストを通じてサイト内を巡回しやすくなるという点においてはSEO対策上のメリットも期待できます。
特にコンテンツマーケティングを実施する場合はWebページの数が膨大になりクローラーがサイト全体を十分に巡回できないことも考えられるので、パンくずリストを設置して回遊性を高めた方が良いでしょう。

アンカーテキストの最適化

アンカーテキストの最適化もクローラー対策としては有効です。アンカーテキストとはリンクを設定したテキストのことを指します。アンカーテキストについてはテキストを見ればどのようなURLにリンクされているのか理解できるように記述したほうが良いでしょう。
例えば、「川釣り」に関するWebページからルアーについて詳しく説明した別Webページにアンカーテキストでリンクを貼る場合、

• 「おすすめルアーについてはここをみてください。」
• 「川釣りのおすすめルアーをチェックしてください」

上記2つを比べて見ると後者のほうがリンク先にどのようなコンテンツがあるのかわかりやすくなります。
アンカーテキストだけでどのようなコンテンツなのか理解できるように記述することはユーザビリティだけではなくクローラーの巡回しやすさにもつながります。

Googleのクローラーの特徴

GoogleのクローラーはGooglebotと呼ばれていて、リンクをたどってWebサイトを自動検出してスキャンしています。また、画像用、ニュース用、動画用など用途によって違うタイプのbotが運用されています。
Googleが運用しているbotの種類については「Google クローラの概要（ユーザー エージェント）」で公開されています。
クローラーのWebサイト内での巡回についてはrobots.txtをサイト内に設置することにより一定の制御が可能です。

クローラーと検索エンジンの仕組みを理解してSEO対策を

クローラーが巡回しやすいようにすることはSEO対策において基礎中の基礎です。
クローラーの巡回しやすさとは、そもそもクローラーがサイトを巡回しに来ること、巡回してきたときにWebサイト内をスムーズに巡回できることも2つの要素があります。
前者についてはサーチコンソールを活用してサイトの更新を伝えること、後者についてはコーディングする際にクローラビリティを考慮することがポイントとなります。

参考インデックス数が増えない原因と対策