И, наконец, есть возможность указать, где находится карта сайта или карты сайта , в данном случае я привожу вам в качестве примера то, что у нас есть на сайте raiolanetworks.es:
Карта сайта:
Карта сайта:
Карта сайта :
Как вы можете видеть своими глазами, синтаксис robots.txt не сложен , у него не так много параметров, а те немногие, которые у него есть, легко настраиваются, если мы немного интересуемся темой и умеем работать с ботами или пауками (также называемые краулеры) работают ).
Плагины для изменения robots.txt в WordPress
Возможность изменить или создать файл robots.txt на веб-сайте база данных номеров whatsapp в нидерландах с помощью FTP-клиента для доступа к серверу или хостингу всегда доступна (или должна быть доступна), но мы также можем изменить файл robots.txt из WordPress, используя для этой цели плагин. .
В этой статье мы собираемся перечислить несколько плагинов, которые позволят вам изменять robots.txt веб-сайта или блога WordPress, не выходя из серверной части CMS :
перезапись txt
Virtual Robots
Файл WordPress Robots
Некоторые важные плагины, такие как Yoast SEO или All in One SEO Pack, также имеют модули для изменения файла robots.txt в большей или меньшей степени из панели администрирования WordPress , поэтому мы также должны учитывать их при поиске решения: Почему. собираемся ли мы установить еще один плагин, если у нас уже есть тот, который позволяет нам делать то, что нам нужно.
Файл robots.txt для WordPress
Файл robots.txt , который создается после установки WordPress, со временем менялся по мере развития версий WordPress. Фактически, до недавнего времени файл robots.txt был более полным, чем текущий, но по причинам, связанным с «делайте то, что хочет Google». Некоторые правила, которые были включены по умолчанию в версию WordPress 4.4, были удалены .
Файл WordPress robots.txt в настоящее время имеет версию 4.7 (на момент написания):
Запретить
Разрешит
Хотя мы создали robots.txt для вашей установки WordPress , гораздо более полный файл robots.txt с блоками ботов , которые бесполезны, хотя вы должны просмотреть его целиком и адаптировать к своему сайту, то есть изменить URL-адреса, поскольку мы использовали наш веб-сайт в качестве примера.