Тестер robots.txt
Онлайн тестер robots.txt від SiteHub завантажує та розбирає файл robots.txt вашого сайту, перевіряє його синтаксис, показує знайдені Sitemap та дозволяє перевірити, чи дозволено конкретному пошуковому боту сканувати вказану адресу.
Основні директиви robots.txt
| Директива | Призначення |
|---|---|
User-agent | Вказує, до якого пошукового бота застосовуються наступні правила. |
Disallow | Забороняє сканування вказаного шляху (порожнє значення дозволяє все). |
Allow | Явно дозволяє сканування шляху, навіть якщо він потрапляє під ширше правило Disallow. |
Sitemap | Вказує адресу файлу Sitemap.xml для пошукових систем. |
Crawl-delay | Рекомендована затримка між запитами бота (підтримується не всіма пошуковими системами). |
Файл robots.txt розташовується в кореневому каталозі сайту (наприклад, example.com/robots.txt) і повідомляє пошуковим роботам, які розділи сайту можна, а які не можна сканувати. Помилка в robots.txt — наприклад, випадкова заборона сканування всього сайту (Disallow: /) — може призвести до повного видалення сайту з результатів пошуку.
При визначенні правила для конкретного бота пошукові системи обирають найбільш специфічне (найдовше) співпадіння шляху; якщо довжини співпадінь однакові — перевагу має Allow.
Онлайн-інструменти SiteHub
Безкоштовні утиліти для власників сайтів, SEO-спеціалістів і адміністраторів доменів.