SEO対策の為のロボット型の検索エンジンの基礎知識
ロボット型の検索エンジンの概要
ロボット型検索エンジンは、クローラー/スパイダーと呼ばれるプログラム等があり合計5個のプログラムがあるといわれていて、ウェブ上のドキュメントを定期的に巡回しています。
まず、スパイダーがウェブページをダウンロードし、クローラーがページのリンクを追跡します。そしてインデクサがそのページを解析し索引付けデータベースでダウンロードしたページを処理した情報をためて、リザルトエンジンが保存されたデータベースから検索結果を探し出してくれる。
検索キー/クエリが与えられると、それぞれ検索エンジンの検索アルゴリズムを基にデータベースの中を検索し、与えられた検索キーワードに対する適合度の高い順に、URLをリストします。
このように、ロボット型検索エンジンの運営プロセスには複数の段階があり、それぞれを受け持つ技術の違いなどが、各検索エンジンの検索結果の違いに現れてくるのです。
SEO,検索エンジン最適化やウェブポジショニングでは、これらの運営プロセスのすべての要素に関して最適化を施し、ウェブページの検索性を高めていきます。
以下では、ロボット型検索エンジンの運営プロセスごとに分けてもう少し説明します。
ロボット型検索エンジンの概要2 クロール
ロボット型検索エンジンのクローラー/スパイダーは、ハイパーリンクをたどってWWW上を巡回します。また、URL登録などのリクエストがあった場合にも、そのURLを訪れます。
サイト作成者としては、クローラー/スパイダーが確実に巡回できるようなドキュメント作りを心がけることで、次のプロセスにつなげることができます。
ロボット型検索エンジンの運営プロセス2 - インデックス
ロボット型検索エンジンのクローラー/スパイダーによって巡回を受けたWWW上のドキュメントは、インデクサによってデータベースに格納されます。この作業は「インデックス」、「インデクシング」などと呼ばれます。
検索エンジンにとって扱いやすいデータに変換してデータベースにインデックスしておくことで、検索結果として適合するURLを高速かつ正確に検索結果として返すことを可能にするための技術です。
形態素解析を用いて単語ごとの切り出しを行ったり、キーワード出現頻度を求めたり、タグごとの重み付けを適用したりと、各検索エンジンがさまざまなな技術を使って、検索エンジンにとって扱いやすいデータを作ります。
サイト運営者としては、インデクサが正常にインデックスを作成できるようにHTMLの知識を持ち、正確なページ作成をしましょう。
ロボット型検索エンジンの運営概要3 - 検索機能
ロボット型検索エンジンを使用する際に、ユーザーの目に触れるのがこの検索機能です。
検索エンジンは、ユーザーが入力した検索リクエスト（検索キー/クエリ）に対して、適合度の高い順にURLをリストします。
ロボット型検索エンジンが適合度を求めるプログラムの検索アルゴリズムには、テキストマッチ、キーワード出現頻度、タグごとの重み付け、要素内でのキーワード出現位置、キーワードの近接度、クリック人気、リンクポピュラリティー、サイトテーマなど、さまざまな要素が考慮されています。
ロボット型検索エンジンで提供されている検索機能では、これらの要素を総合して検索結果スコアリングを行い、適切な検索結果を導きます。