検索エンジンの仕組みは、一般公開されたWebページの情報をクローラーが収集し、データを取り出しやすいようにインデックス(情報を整理してサーバーに保管)し、サーチャーにより検索結果が表示されるという3プロセスとアルゴリズムで成り立っています。

参考Google検索の仕組み

検索エンジンの仕組みが理解できれば、オウンドメディアやブログで効果的なSEO対策を施すことができます。その際は、「SEO対策の具体的な施策」の記事もご確認ください。

検索エンジンの仕組み-ランキングが決定するまでの流れ

ランキング決定するまでの流れ

ランキング決定するまでの流れ

検索エンジンの仕組みは、「情報収集」「情報管理」「順位決定」という3つの流れによって成り立っています。

  1. クローリングによるWebページ情報の収集
  2. インデックスによる情報の整理とサーバーでの保管
  3. サーチャーによる検索ランキングの反映

1.クローリングによるWebページ情報の収集

検索エンジンは、まずクローリング(またはクロール)でWebページ情報の収集を行います。Web上には、クローラーと呼ばれる巡回ロボットが存在し、世界中のWebページの情報を集めています。

クローラーはHTML構造化データなどのテキストデータ情報を主に収集する

クローラーはHTMLや構造化データなどのテキストデータやページを表示したときの画面情報を収集し、ユーザービリティの高いページかどうかを判断するために必要な情報も収集しています。

クローラーが集める情報

  • HTML
  • 構造化データ
  • ユーザー行動データ
  • JavaScriptで生成されるリンク
  • WordやPowerPointなどのMicrosoft Officeによって作成されたファイル
  • PDF など

クローラーが巡回する仕組み

クローラーは、Webページに記載されているリンクをたどり、様々なサイトや情報を発見しています。

参考検索エンジンにおけるクローラーの仕組み

クローラーは世界中のWebサーバーと通信を行い、あらゆるWebページをスクレイピングし、情報を取得します。ページ内に「a href=“~~”」の記述があればHTTPプロトコルを取得し、ステータスコードを使って処理します。

ステータスコードがWebサーバーのリクエスト受付成功を表す「200」であれば、クローラーが「リンク先にWebサイトが存在する」と判断します。一方「404」だと、「Webサイトが存在しない」と判別されるため検索エンジンに掲載されることはありません。

過剰なクローラーの巡回はWebページの表示速度を低下させます。よって、GoogleのクローラーはWebページ巡回の速度を最適化させています。

Googleボットがクローリング停止作用を働かせる条件

  • Webページの表示速度が遅い
  • ユーザーの訪問が少なく、情報の鮮度が低い

また、自社サイトの各ページをクローリングしてもらえるよう、サイト内のリンク構造を最適化する必要があります。同一ドメインの場合、クローラーは内部リンクをたどって各ページを発見するため、適切なリンク構造を行っておく必要があります。

内部リンク構造については、「SEOに効果的なカテゴリー設計」の記事でも詳しく解説しています。

2.インデクサによる情報の整理とデータベース保管

クローラーが収集した情報はインデクサにより情報整理され、データベースに保管されます。

インデクサによる情報の整理とデータベース保管

インデクサによる情報の整理とデータベース保管

クローラーが集めた情報は、まず「インデクサ」を経由します。インデクサは、検索アルゴリズムが処理しやすいよう、情報ドキュメントをデータ形式に変換する中間処理の役割を持ちます。この中間処理を行っておくことでページ解析やリンク解析が容易となり、後のランキング化を行うときに高度な処理が可能となります。

中間処理を終えたインデクサは、情報データを単語やHTML要素ごとのブロックに分け、最終的にインデックスに格納します。

3.サーチャーによる検索ランキングの反映

検索エンジンでは、検索キーワードをトリガーとしたサーチャーがランキング化(格付け)し、各情報ページの検索順位が決定します。

検索エンジンは、ユーザーが検索した情報を検索クエリ(要求)として判別します。検索クエリを受け取った後、サーチャーはクエリに関連するすべてのWebページを参照し、ユーザーのリクエストに対して最適な情報を返します。

ユーザーの検索意図に沿ったコンテンツが上位に表示されるよう、検索エンジンは様々な要素でランキングを形成しています。

Googleには、2019年10月時点で200種類を超える検索アルゴリズムが存在し、これらの要素によってページの総合点を決め、各ページのランキングを決定します。

Googleがランキングに反映させる評価基準

  • Needs Met(クエリに対する関連性)
  • Page Quality(情報の信頼性(被リンクやサイテーション、単語の組み合わせ解析など))
  • ユーザビリティ(スマートフォンでWebサイトを閲覧する際、ユーザーが見やすく操作しやすいかどうか)
参考一般ガイドライン|static.googleusercontent.com

検索エンジンは、ユーザーファーストを追い求めて改善されている

Googleは信条として、検索ユーザーにとって最適な情報を提示することを掲げています。2018年は3,234回のアルゴリズムを改正していることからも分かる通り、常にユーザーの役に立つ検索エンジンへと進化しています。

効果的なSEO対策を実施するには、この検索エンジンの仕組みを理解することが欠かせません。Webサイトを制作する際はユーザーファーストを心がけ、Googleおよびユーザーにとって評価の高い施策を行いましょう。より具体的なSEO対策については、「SEO対策の具体的な施策」をご覧ください。