boxcode logo mini
Система управления сайтом
Создание сайтов
Вход в аккаунт
Регистрация на сайте
/ Все статьи / Полезная информация / Файл robots.txt для CMS boxcode.ru

Файл robots.txt для CMS boxcode.ru

Файл robots.txt для CMS boxcode.ru

Файл robots.txt нужно грамотно составить для лучшей индексации сайта поисковыми системами. Во-первых, нужно запретить к индексации страницы, на которых контент может дублироваться, а также страницы, которые содержат не особо нужный  для индексации контент. Во-вторых, нужно прописать параметры Host и Sitemap. В дальнейшем, возможно, потребуется еще дополнить файл другими инструкциями.

В продуктах boxcode.ru есть 2 варианта файла: robots.txt и robots_v2.txt. Второй вариант содержит расширенное количество инструкций. Если захотите использовать 2-ой вариант файла, то нужно будет удалить файл robots.txt и переименовать robots_v2.txt в robots.txt. Эти файлы содержат минимальный список каталогов и файлов (в основном это служебные каталоги и файлы), которые необходимо запретить к индексации.

В этих файлах также есть закомментированные параметры Host и Sitemap, то есть вначале строк будет символ решетки (#). Чтобы раскомментировать эти параметры, нужно будет удалить вначале строк символ решетки (#).

После установки CMS на хостинг, нужно настроить файл robots.txt для своего сайта.


Для скрипта доски объявлений файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category
Disallow: /advert
Disallow: /myadverts
Disallow: /deladv
Disallow: /searchadv
Disallow: /advmetka
Disallow: /edit
Disallow: /mark_advert
Disallow: /advobject
Disallow: /boardrss
Disallow: /advuser
Disallow: /successadv.html
Disallow: /failadv.html
Disallow: /categoryct
Disallow: /objectcat
Disallow: /myobjectcat
Disallow: /delobjectcat
Disallow: /searchobjct
Disallow: /objcatuser
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

В данном варианте файла robots.txt запрещены к индексации служебные (системные) каталоги, страницы с профилем пользователей, страницы на которых дублируются объявления, объекты, статьи, а также страницы с мало значимым контентом для СЕО.

Убедитесь, что строчки с параметрами Host и Sitemap не закомментированы, то есть не должно быть символа решетки в начале строки (#). При этом, в параметрах Host и Sitemap нужно будет заменить сайт.ру на домен вашего сайта. Также определитесь, будет ли у домена часть www или нет. Если не будет, то нужно будет удалить «www.» в этих строчках.

Также нужно определиться с протоколом сайта - будет http (незашифрованное соединение) или https (зашифрованное соединение). Если протокол будет https, то нужно будет заменить http на https, а также в параметре Host для сайта нужно будет указать префикс https. То есть, параметры Host и Sitemap должны будут принять следующий вид:

Host: https://www.сайт.ру
Sitemap: https://www.сайт.ру/sitemapindex.xml

Поясню одну очень важную инструкцию:

Disallow: *?*

Эта инструкция запрещает к индексации страницы, в адресе которых идут дополнительные параметры после знака вопроса (?). В основном, это страницы поиска, сортировки объявлений, объектов и статей. Такие страницы не нужно индексировать, так как они содержат дублирующий контент.


Для скрипта интернет-магазина файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /product
Disallow: /ishcategory
Disallow: /productrss
Disallow: /myorders
Disallow: /ishpayment
Disallow: /wishlist
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.


Для бесплатной CMS файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.

 

Комментарии
Комментариев нет...
Добавить комментарий
Хостинг для сайтов

Для сайтов на CMS boxcode.ru рекомендуется удобный и проверенный хостинг

Хостинг sprinthost.ru для сайтов

Готовые продукты
Новости сайта
  • 11.03.2024
    В новой версии CMS v30 есть несколько важных доработок. Была выполнена интеграция с Яндекс и Google картами, данная возможность позволит указать расположение компании, офиса или магазина на карте, к примеру, на странице «Контакты». Доработаны модули «Рассылка» и «Рекламная система». Есть другие доработки.
  • 05.03.2024
    В новой версии скрипта интернет-магазина сделана интеграция с Яндекс и Google картами. С помощью данной возможности можно, к примеру, на странице «Контакты» указать расположение компании или места выдачи заказов на карте. Также в новой версии есть доработки модулей «Рекламная система» и «Рассылка». Есть другие небольшие доработки.
  • 04.03.2024
    В новой версии скрипта доски объявлений была продолжена работа направленная на оптимизацию движка, а также есть доработки связанные с функционалом. Некоторые доработки: переработано подключение Яндекс и Google карт, в модуле «Доска объявлений» добавлен новый способ очистки устаревших объявлений - «интеллектуальная очистка», доработан функционал модулей «Рассылка» и «Рекламная система». Также есть другие доработки.
Последние публикации в каталоге статей
Будьте в курсе событий и акций нашего сайта