検索エンジンが世界中のホームページを巡回して情報収集するためのプログラム（bot）です。検索エンジンは巡回して収集したデータを蓄積して、ユーザーが検索したキーワードに対して、順位づけした回答を表示しています。クローラーが巡回する行為をクロールと呼びます。
このクローラーは検索エンジンごとに種類が異なっており、GoogleならGooglebot、BingならBingbot、中国のBaidu（百度）はBaiduspiderというそれぞれ独自のクローラーを使っています。Yahoo!はGoogle検索を利用しているので、Web検索におけるクローラーは存在していません。
ホームページが検索結果に表示される前提条件として、まずクローラーに巡回してもらわなければなりません。通常クローラーはホームページのリンクを辿って移動しています。新しく制作したホームページは他のページからのリンク導線が無いので、GoogleであればGoogle Search Consoleのようなツールを用いて、クロールしてもらえるように管理画面で申請をします。
クロールされた情報が検索エンジンにインデックス（登録）されれば、ようやく検索結果に表示される可能性が生まれます。しかし、どのような順位で表示されるかは全く別の問題で、ホームページの情報の質や量などの複雑なアルゴリズムに依存しています。