Нека опишем какво имаме в предвид. „Бот” е парче от софтуер от търсеща машина която е построена да преминава през всяка страница от вашия сайт, да я категоризира и да я постави в базата от данни.
Google има три добре познати ботове: Adsense bot, Freshbot и DeepCrawl.
Adsense ботът, както можете да предположите, е използван за издателите, които имат Adsense на техните сайтове. Когато нова страница е създадена, Javascript кода във Adsense кода изпраща съобщение до Adsense бота, и той ще дойде до 15 минути да индексира страницата, така че да може да предостави най свързаните реклами.

Но, нека да се концентрираме върху DeepCrawl и FreshBot.

Freshbot индексира най популярните страници на вашия сайт. Няма значение ако това е една или хиляди страници. Сайтове като Amazon.com и CNN.com имат страници които се индексират на всеки десет минути, откакто Google е научил че онези страници имат количество многократни промени. Типичен сайт трябва да очаква посещение от FreshBot на всеки 1 до 14 дена, в зависимост от това колко популярни са тези страници.
Какво става когато Freshbot посети сайта ви и открие всички дълбоки линкове във вашия сайт ? Той разполага линковете в базата данни, така че когато DeepCrawl дойде, той има връзка.
Веднъж месечно, DeepCrawl посещава твоя сайт и върви по всички линкове, които FreshBot е открил. Това е причината, защо може да отнеме до месец за вашия цял сайт да бъде индексиран в Google – дори със добавка като Google Sitemap.
Така че, бъдете търпеливи и продължавайте да добавяте съдържание към вашия сайт, и работете по взимането на ценни линкове към вашия сайт – Google ще ви награди за това.