Sposób działania robotów

Robot przebywający na stronach internetowych indeksuje je, kataloguje i kieruje do bazy danych wyszukiwarki. To podstawa sukcesu, bo jeśli witryna nie trafi do bazy, nie będzie możliwości jej późniejszego pozycjonowania, a odbiorcy nie dotrą do niej za pomocą Google czy Yahoo. Oprócz aktualnej wersji serwisu roboty okresowo zapisują również kopie z różnych okresów. Dzięki temu można „cofnąć się” do archiwalnej wersji strony, na przykład w celu zweryfikowania wcześniej zamieszczonych informacji.

Dla zachowania pełnej aktualności zasobów, a także uwzględniania w wynikach nowych podstron i wiadomości, na podstawie ustalonego algorytmu roboty wracają na zindeksowane serwisy. W przypadku często odwiedzanych i wielokrotnie aktualizowanych witryn, zwłaszcza portali informacyjnych, boty potrafią je odwiedzać nawet co kilka minut. Pozwala to użytkownikom wyszukiwarek szybko docierać do nowych przekazów. Analogicznie strony aktualizowane rzadziej nie goszczą botów tak często, co ma także wpływ na tempo indeksowania.