Скачать Robots Exclusion Checker для Chrome V 1.2.0.13

Это расширение SEO для Google Chrome, которое полезно для любого разработчика веб-сайтов, чтобы проверить, блокируется ли их веб-сайт роботами. txt или meta robots.

Роботы Проверка исключений — очень популярная функция, широко используемая веб-мастерами для управления поиском. движок роботы и поисковые роботы, которые просматривают веб-сайты. Роботы используются поисковыми системами для индексации и каталогизации веб-страниц на веб-сайте. Они не могут читать HTML или другой код на веб-сайте. Роботы используются для определения того, заблокирован ли веб-сайт файлом robots.txt.

Кроме того, существует пользовательский агент особенность. Вы можете выбрать пользовательский агент для поисковых систем для тестирования веб-сайтов. Используя это, вы сможете определить, к какому роботу имеют доступ поисковые системы. Это полезно для любого разработчика, которому необходимо знать, блокируется ли веб-сайт роботами.