Как создать правильный robots txt для CMS MODx

Всем привет друзья! Продолжаю вместе с вами осваивать премудрости системы управления сайтом под названием MODx и сегодняшний урок я вместе с вами решил посвятить созданию файла robots txt для нее.

Скажу честно, эта CMS немного непонятная…была, как мне показалось, но как только стал в ней «ковыряться», крутить болтики и гаечки, то все вроде как стало на свои места.

Ничего сложного никогда не бывает, только в самом начале пути, а потом все нормально.

Итак, будем вместе составлять правильный robots txt для поисковых роботов яндекса и гугла, чтобы наш сайт на MODx быстрее проиндексировался и в него попали только страницы с информативным содержанием.

У меня есть клиентский сайт интернет магазин автомагнитол у него имеется вот такая структура файлов и папок.

Файловая структура сайта на MODx

 

Для этого сайта мой правильный robots для modx был вот таким:

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Host: ms-autotech.ru
Sitemap: http://ms-autotech.ru/sitemap.xml

Обязательно сделайте sitemap, чтобы поисковый робот занес к себе в базу нужные страницы.

Далее все просто. Сохраняете выше приведенную инструкцию в файлик с расширением robots.txt и заливаете его в корень вашего сайта, как это показано у меня вот здесь:

Загружаем robots txt в корень сайта MODx

И с последующей переиндексацией служебные и ненужные страницы не будут ранжироваться и показываться во всех поисковых системах, поскольку вы указали следующее правило

User-agent: *

 , эта запись говорит, что содержимое должны сканировать все без исключения роботы.

Важно! Если вы не используете на своем сайте файл robots.txt, то вы сильно рискуете в продвижении своего проекта в интернете. В индекс будет попадать весь «мусор» и поисковые системы просто будут понижать вас в выдаче и не давать вашему сайту пробиться в ТОП. Внимательно отнеситесь к этому.

На этом урок завершен. Записал небольшое короткое видео для любителей посмотреть все в живую. Всем спасибо и до встречи в следующих выпусках!

Самые читаемые:

Hello Pal – общайся с миром!
Самый лучший с...
Делаем игру для iPhone в стиле Mega Jump – Часть 3
Добро пожалова...
IA Writer удобный текстовый редактор
Привет! Я част...
Установка Windows 8 с флешки
Операционная си...
Что это за клавиша Numpad 1
Компьютерная кл...
Если компьютер не видит внешний жесткий диск
Как известно со...
Новое видео от isepool Как развивались поисковые системы
Новый выпуск Б...
Как провел этим летом или Хайпы
Статья для сам...
Как я накопил
Если это шеф, Д...
Комментарии WordPress руководство для новичков
WordPress комме...
Полный список доменных имен RU, SU, РФ
Полный список д...
Плагин Shortcodes Ultimate на все случаи жизни
Невозможно пр...
15000 ТИЦ
15000 ТИЦ Хотит...
Зарабатываем на вложении в недвижимость за границей
Основной принци...
Доход от инвестиций в фондовые рынки
Основной принци...
Удаленное ведение бухгалтерии для фирм и компаний
Принцип работы....
Интересное видео про поднятие ТИЦ
Интересное виде...
Компрометирующие сведения в борьбе с конкурентами методом черной PR кампании
Всем привет дор...
Оптимизация картинок на сайте с помощью полезных сервисов и программ
Всем привет дру...
Добавляем метрику на CMS Megagroup
Всем снова боль...
HTML, CSS, jQuery: Меню для мобильных сайтов. Обучение
Одна из распр...
Карта сайта xml для wordpress
Я ярый фанат д...
Я вижу контент повсюду Сеомоз видео
Новое видео от...
Опыт по выходу из Google Penguin
Ещё один очень...
Дайджест событий по середине августа
Привет тебе чи...
Моя мотивашка для конкурса Войди в историю
В рамках конку...
Посещалка на блоге
На скрине посе...
«Зачеркнутый текст» используем теги HTML
Для зачеркиван...

Оставьте первый комментарий

Оставить комментарий

Ваш электронный адрес не будет опубликован.


*