クロール

クロールとは、クローラー（スパイダー、ロボットとも呼ばれる）プログラムの動作のことを言う。

クローラーは、あるHTML文章のリンクを辿って、次のHTML文章を探し、またそこからリンクを辿るという動作を繰り返す。

このときに、以前サーチした事のあるHTMLに最新の文章を要求し、データベース化していく。

また、新しいHTMLがあったときにはデータベースに追加し、昔あったHTMLが無くなっているときには、データベースから削除していく。

こうして、データベース化されたネット上のHTMLの構造は、検索エンジンなどに利用される。