Google Search
Google Search (Търсачката на Google) е най-популярната търсачка за уеб съдържание в света, разработена и поддържана от компанията Google. Тя служи за индексиране и организиране на информация в световната мрежа с цел бърз и улеснен достъп за крайните потребители.
Принцип на работа
Търсачката разчита на автоматизирани системи (роботи или crawler-и, като Googlebot), които непрекъснато сканират интернет пространството, откриват нови или актуализирани уеб адреси и ги записват в обща база данни (индекс).
Контрол върху индексирането
Собствениците на уеб сайтове и платформи могат да контролират дали определени страници да бъдат показвани в резултатите от търсенето чрез:
robots.txt: Файл с инструкции, указващ кои директории не бива да се сканират.- Мета таг
noindex: Директива в HTML кода на конкретна страница, която изрично забранява нейното запазване в индекса на Google Search. - Ограничения на достъпа: Поставяне на парола или изискване за автентификация, което механично възпрепятства достъпа на търсещите роботи.