Закрыт ли сайт от индексации?

06.01.2022 Добавлен функционал проверки сайта на закрытие от индексации. Теперь Robochecker проверяет есть ли в файле robots.txt строка "disallow /" которая запрещает индексацию всего сайта.
Потребность такого функционала может возникнуть если у Вас разрабатывается второй сайт на тестовой копии и при переносе сайта на боевой домен веб-мастер забывает удалить эту строку. Если это произойдёт Ваш сайт может резко упасть в рейтинге.