среда, 29 февраля 2012 г.

Первое создание файла Robots.txt с нуля



Robots.txt
Создание файла robots.txt. Основные команды и директивы. Поднимаем рейтинг сайта. Статья для новичков, которые совсем недавно начали осваивать создание и продвижение сайтов, простой видео-урок от Валентины Монеткиной.



Первое создание файла robots.txt с нуля


Что такое Robots.txt
Robots.txt - важный элемент каждого сайта

Существует специальный файл в корневой папке многих сайтов для установки правил индексирования поисковыми машинами, принято его называть “robots.txt”. Основные его задачи: закрыть от индексации определенные страницы, показать, где находится файл sitemap и указать местоположение зеркала сайта. Открытые для индексации технические страницы с программным кодом могут быть заблокированы поисковыми роботами, а вместе с ними случайно и полезные страницы. Так же правильная настройка “robots.txt” помогает избежать утечки секретных данных.


Основные команды


Основные команды Robots.txt
Robots.txt - Allow / Disallow / User-agent

Для создания файла robots.txt не обязательно применять специализированные программы, достаточно обыкновенного блокнота. Разместите созданный файл в корневом каталоге сайта. Именно с его инструкций начнет индексирование поисковый робот. Основные команды при настройке: Disallow и User-agent. Disallow указывает, что следующую после него страницу не стоит индексировать, а User-agent определяет поискового робота. Создание файла robots.txt редко обходится без директивы Allow, являющейся противоположностью Disallow, то есть определяет какие именно страницы следует индексировать. Не стоит прописывать несколько путей к страницам в одной строке, так как это вообще не будет работать.

Дополнительные команды


Дополнительные команды Robots.txt

При создание файла для роботов используются дополнительные команды. Host - определяет наличие у вашего сайта главного зеркала, если их несколько. Sitemap - директива показывающая поисковой машине местоположение вашей карты сайта. Crawl-delay применяется при создании задержки перед загрузкой страницы поисковым роботом. Данная команда будет полезна лишь для сайтов с большим количеством страниц. Для примера: Crawl-delay: 10 - задержка между загрузкой страниц составит 10 секунд. Request-rate позволяет установить периодичность загрузки страниц. Например, Request-rate: 1/2 загружает одну страницу каждые две секунды. Visit-time дает возможность разрешать поисковому роботу индексировать только в строго отведенное время по Гринвичу.

Для чего нужен Robots.txt


Для чего нужен Robots.txt

Неправильное создание файла robots.txt может привести к тому, что ваш сайт вообще не будет проиндексирован поисковиками и соответственно потеряет львиную долю посетителей. Или же наоборот - будут проиндексированы нежелательные данные, конфиденциальные данные ваших клиентов станут доступны широкому кругу людей. Для проверки своего файла воспользуйтесь сервисом Яндекс.Вебмастер, который называется Анализ robots.txt.

10 коммент.:

damir-tote комментирует...

Я тоже как и irjkz не понимаю, для кого ты пишешь??? Ты сам в этом не опытен, но пытаешься обучить. Вообщем рерайт...

Сергей Монеткин комментирует...

У Спота есть свой Robots.txt, правда он не доступен к редактированию, к тому же он здесь и не нужен, под крылом у поисковой системы Google сежу всё-таки ;) Надеюсь никаких претензий по этому поводу от товарища Google не будет.

Сергей Монеткин комментирует...

Дамир прям в плохом настроении ;D это не я пишу, это мне пишут, так что претензии не ко мне, в этом деле я подкован побольше чем ты уж поверь ;)

Просто в данный момент мне писать самому лень, по этому размещаю гостевые посты от создателей видео, которое ты видишь в самом верху поста. Никого рерайта от меня нет, всё делают за меня, остаётся только разместить новость.

В данный момент мой блог в "стадии разработки", ничего с ним не делаю, да и времени у меня не так уж и много, так что смотрите видео и не пи%%ите на меня ;)

aldous комментирует...

Для блогспот есть специальные метатеги и robots.txt можно не трогать, а писать условные конструкции.

aldous комментирует...

-1. Видео - баянистый не уникальный контент, доступ к которому могут в люое время запретить. А статья может тоже распространяться не в единичном экземпляре. Ты бы лучше потратил минут десять и переписал её свои языком, как я переписываю свои анонсы же для разных социалок: меняю слова, разбиваю предложения, убираю, дописываю.

А так надеяться на какую-то сомнительную контору, только блог гробить, и рерайт хорошо чувстствуется в их исполнении.

Сергей Монеткин комментирует...

Да вы умны Aldous, текст мне предоставляют Уникальный на 110% сам проверяю, переписывать мне лень, в силу того, что в данный момент я очень занят и времени вести блог совсем нет ;)

irjkz, если читаете данный комментарий, я вас прошу прекратите спамить и набивать Dofollow ссылки, а то мне придётся спамить ваш блог xD

aldous комментирует...

Я знаю, что он уникальный. А вдруг через два месяца окажется, что нет?)

Сергей Монеткин комментирует...

А вдруг сталин воскреснет и поведёт всех вперёд xD По этому поводу я могу сказать только одно, ребят ведут себя адекватно и пишут статьи исключительно для меня. Анализируя других подобных мне блогеров, которые размещают статьи с видео я заметил, что статьи схожи, но НЕ одинаковы ;)

Так сказать, тема одна а текст совершенно разный. Спасибо aldous за дельную мысль, но я пожалуй откажусь от переписывания уникальным текстом, ибо, опять же - лень гложет меня изнутри.

Киберспортсмен комментирует...

В панели яндекс вебмастера недавно сообщение с новостью пришла, о новом способе обработки файла роботом. Что то связанное с директивами allow и disallow. Якобы на одной странице их запрещено использовать. Объясните пожалуйста это как?

Любитель кино комментирует...

На своем блоге сначала не сделал файл robots, а потом спохватился и вовремя позакрывал все дубли страниц на wordpress

Отправить комментарий