вторник, 26 марта 2013 г.

Как Добавить файл Robots.txt в Blogger?


Как Добавить файл Robots.txt в Blogger?
    Файл Robots.txt в блоге Blogger играет жизненно важную роль в поисковой оптимизации (SEO). Этот файл, несомненно, приведет к улучшению поисковой оптимизации вашего блога, если его составить надлежащим образом.

    Robots.txt можно настроить в новом интерфейсе Blogger. Многие блоггеры используют файл Robots.txt, чтобы скрыть некоторые части своих блогов от поисковых роботов.







    Файл Robots.txt сообщает поисковому боту, какие части блога должны быть доступны или заблокированы для индексации. Всякий раз, когда робот сканирует Ваш блог, то первым делом проверяет файл Robots.txt и следуют всем инструкциям, которые даны в этом файле.

Как Добавить файл Robots.txt в Blogger?


    Войдите в Blogger и перейдите в раздел Настройки >> Настройки поиска.

    В подразделе Поисковые роботы и индексация найдите опцию Пользовательский файл robots.txt и нажмите Изменить.

    Нажмите кнопку Да, и у Вас появится окно как на картинке ниже

Как Добавить файл Robots.txt в Blogger?


    Теперь скопируйте следующий ниже код и вставьте его в поле:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap:http://blogger-he-lp.blogspot.ru/feeds/posts/default?orderby=UPDATED

    Замените адрес моего блога (выделен красным цветом) на адрес Вашего блога.

    Затем нажмите на кнопку Сохранить изменения.

    Изучим некоторые части файла Robots.txt


User-agent: *
Disallow: /
 
    Директива User-agent: Mediapartners-Google определяет доступ поискового робота Google, а User-agent: * всех поисковых роботов (Google, Yahoo, Bing, Yandex и др.).

    Директива Disallow: / запрещает поисковым роботам сканировать какие-либо конкретные страницы или каталоги, существующие на Вашем блоге. Например, код ниже запрещает доступ поисковым роботам к странице images.html

User-agent: *
Disallow: /images.html
 
    Подробно об использовании файла Robots.txt можно почитать здесь или здесь.

3 комментария:

  1. Здравствуйте. Пожалуйста помогите, у меня появилась одна проблема: Почему-то blogspot не принимает robots.txt с указанием главного зеркала. Пишет: содержимое robots.txt не соответствует правилам форматирования. Вот как выглядит мой robots.txt:

    User-agent: *
    Disallow: /search
    User-agent: Mediapartners-Google
    Disallow:

    Sitemap: http://мой сайт.ру/sitemap.xml

    Объясните пожалуйста. Куда надо вставлять директиву "host" чтобы она заработала.

    ОтветитьУдалить
  2. Новости Украины online-novosti.jimdo.com

    ОтветитьУдалить
  3. А зачем ссылка внизу на feed подписку, вроде туда надо карта сайта?

    ОтветитьУдалить