Как Добавить файл Robots.txt в Blogger?

    Файл Robots.txt в блоге Blogger играет жизненно важную роль в поисковой оптимизации (SEO). Этот файл, несомненно, приведет к улучшению поисковой оптимизации вашего блога, если его составить надлежащим образом.

    Robots.txt можно настроить в новом интерфейсе Blogger. Многие блоггеры используют файл Robots.txt, чтобы скрыть некоторые части своих блогов от поисковых роботов.







    Файл Robots.txt сообщает поисковому боту, какие части блога должны быть доступны или заблокированы для индексации. Всякий раз, когда робот сканирует Ваш блог, то первым делом проверяет файл Robots.txt и следуют всем инструкциям, которые даны в этом файле.

Как Добавить файл Robots.txt в Blogger?

    Войдите в Blogger и перейдите в раздел Настройки >> Настройки поиска.

    В подразделе Поисковые роботы и индексация найдите опцию Пользовательский файл robots.txt и нажмите Изменить.

    Нажмите кнопку Да, и у Вас появится окно как на картинке ниже

    Теперь скопируйте следующий ниже код и вставьте его в поле:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap:http://blogger-he-lp.blogspot.ru/feeds/posts/default?orderby=UPDATED

    Замените адрес моего блога (выделен красным цветом) на адрес Вашего блога.

    Затем нажмите на кнопку Сохранить изменения.

    Изучим некоторые части файла Robots.txt

User-agent: *
Disallow: /

 
    Директива User-agent: Mediapartners-Google определяет доступ поискового робота Google, а User-agent: * всех поисковых роботов (Google, Yahoo, Bing, Yandex и др.).

    Директива Disallow: / запрещает поисковым роботам сканировать какие-либо конкретные страницы или каталоги, существующие на Вашем блоге. Например, код ниже запрещает доступ поисковым роботам к странице images.html

User-agent: *
Disallow: /images.html

 
    Подробно об использовании файла Robots.txt можно почитать здесь или здесь.