Czym są roboty wyszukiwarek?

Odnalezienie danej strony internetowej za pomocą wyszukiwarki nie jest rzeczą trudną z punktu widzenia końcowego użytkownika. Wystarczy jedynie wpisać określoną frazę, kliknąć przycisk „Szukaj” i w jednej chwili mamy przed sobą setki potencjalnie interesujących wyników. Jednak patrząc na tę kwestię od zaplecza, nie jest już ona tak klarowna.

Głównym narzędziem, którym posługują się wyszukiwarki są specjalne roboty, zwane również botami, crawlerami czy pająkami. To wirtualni „użytkownicy”, którzy skanują globalne zasoby sieci w poszukiwaniu nowych domen. Nieustannie przeszukują one internet i cały czas trafiają na nowe serwisy, które są przez nie indeksowane i dodawane do bazy odnośników wyszukiwarki.

Gdy robot już znajdzie się na wybranej stronie, nie ogranicza się tylko do jej treści. Bada także umieszczone na niej linki i uwzględnia w swoim indeksacyjnym dziele. Znaczenie robotów jest ogromne, bo bez nich stron WWW nie dałoby się katalogować tak szybko i podsuwać użytkownikom pod nos atrakcyjnych i wartościowych treści.