Как создать правильный robots txt для CMS MODx

Всем привет друзья! Продолжаю вместе с вами осваивать премудрости системы управления сайтом под названием MODx и сегодняшний урок я вместе с вами решил посвятить созданию файла robots txt для нее.

Скажу честно, эта CMS немного непонятная…была, как мне показалось, но как только стал в ней «ковыряться», крутить болтики и гаечки, то все вроде как стало на свои места.

Ничего сложного никогда не бывает, только в самом начале пути, а потом все нормально.

Итак, будем вместе составлять правильный robots txt для поисковых роботов яндекса и гугла, чтобы наш сайт на MODx быстрее проиндексировался и в него попали только страницы с информативным содержанием.

У меня есть клиентский сайт интернет магазин автомагнитол у него имеется вот такая структура файлов и папок.

Файловая структура сайта на MODx

 

Для этого сайта мой правильный robots для modx был вот таким:

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Host: ms-autotech.ru
Sitemap: http://ms-autotech.ru/sitemap.xml

Обязательно сделайте sitemap, чтобы поисковый робот занес к себе в базу нужные страницы.

Далее все просто. Сохраняете выше приведенную инструкцию в файлик с расширением robots.txt и заливаете его в корень вашего сайта, как это показано у меня вот здесь:

Загружаем robots txt в корень сайта MODx

И с последующей переиндексацией служебные и ненужные страницы не будут ранжироваться и показываться во всех поисковых системах, поскольку вы указали следующее правило

User-agent: *

 , эта запись говорит, что содержимое должны сканировать все без исключения роботы.

Важно! Если вы не используете на своем сайте файл robots.txt, то вы сильно рискуете в продвижении своего проекта в интернете. В индекс будет попадать весь «мусор» и поисковые системы просто будут понижать вас в выдаче и не давать вашему сайту пробиться в ТОП. Внимательно отнеситесь к этому.

На этом урок завершен. Записал небольшое короткое видео для любителей посмотреть все в живую. Всем спасибо и до встречи в следующих выпусках!

Самые читаемые:

Vk Music Downloader – скачивай музыку из ВКонтакте, пока бесплатно
Приложений для...
Navmax Навигация GPS еще один бесплатный навигатор для iPhone
Мы неоднократн...
Лучшие навигаторы для iphone чем пользоваться в наших краях
Сначала я хоте...
Режим энергосбережения iphone как это работает
Наверное, мног...
Как включить точное отображения уровня сигнала сотовой сети
Многие наверно...
Полиглот 16 Продвинутый курс английского языка по методике Дмитрия Петрова для iPhone
Сегодня у нас ...
Перемотка бесколлекторного мотора
Почти все авиам...
Как активировать Windows 7 с помощью ключа
Всем привет, ка...
Как восстановить реестр Windows 7
Системный реест...
Макдональдц закрывается!
В мире творитс...
Я вернулся!
И так, Я верну...
500р в подарок! Забираем на СПА эксперименты!!!
Новая СПА сеть...
Как создать сайт в блокноте?
В веб среде хо...
Как стать профессиональным копирайтером?
Копипаст, Рера...
Мельдоний/Милдронат мой отзыв о препарате
Помню ещё пару...
Гуф умер
Гуф умер Всем п...
Взлом вконтакте
Взлом вконтакте...
9 полезных фишек и хаков для настройки htaccess
Всем привет дру...
Привет от reg. ru
Привет от reg.r...
Пора сделать перерыв
Пора сделать пе...
I’ll be back
I’ll be back Вс...
Апдейт Google PR от 07-08.11.2012
Апдейт Google P...
Видео уроки и семинары по Форекс на Welltrade. ru
Одними из соста...
Про тег div замолвим мы слово
Добрый день дру...
Похожие записи для каждого блога WordPress
Отображение п...
Лучший плагин для WordPress против спама!
Я был удивлен....
SEO блоги и АГС как так?
Блог дело тонк...
Борьба за любоффф
Коварство любв...

Оставьте первый комментарий

Оставить комментарий

Ваш электронный адрес не будет опубликован.


*