boxcode logo mini

Файл robots.txt для CMS boxcode.ru

Файл robots.txt нужно грамотно составить для лучшей индексации сайта поисковыми системами. Во-первых, нужно запретить к индексации страницы, на которых контент может дублироваться, а также страницы, которые содержат не особо нужный  для индексации контент. Во-вторых, нужно прописать параметры Host и Sitemap. В дальнейшем, возможно, потребуется еще дополнить файл другими инструкциями.

В продуктах boxcode.ru есть 2 варианта файла: robots.txt и robots_v2.txt. Второй вариант содержит расширенное количество инструкций. Если захотите использовать 2-ой вариант файла, то нужно будет удалить файл robots.txt и переименовать robots_v2.txt в robots.txt. Эти файлы содержат минимальный список каталогов и файлов (в основном это служебные каталоги и файлы), которые необходимо запретить к индексации.

В этих файлах также есть закомментированные параметры Host и Sitemap, то есть вначале строк будет символ решетки (#). Чтобы раскомментировать эти параметры, нужно будет удалить вначале строк символ решетки (#).

После установки CMS на хостинг, нужно настроить файл robots.txt для своего сайта.


Для скрипта доски объявлений файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category
Disallow: /advert
Disallow: /myadverts
Disallow: /deladv
Disallow: /searchadv
Disallow: /advmetka
Disallow: /edit
Disallow: /mark_advert
Disallow: /advobject
Disallow: /boardrss
Disallow: /advuser
Disallow: /successadv.html
Disallow: /failadv.html
Disallow: /categoryct
Disallow: /objectcat
Disallow: /myobjectcat
Disallow: /delobjectcat
Disallow: /searchobjct
Disallow: /objcatuser
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

В данном варианте файла robots.txt запрещены к индексации служебные (системные) каталоги, страницы с профилем пользователей, страницы на которых дублируются объявления, объекты, статьи, а также страницы с мало значимым контентом для СЕО.

Убедитесь, что строчки с параметрами Host и Sitemap не закомментированы, то есть не должно быть символа решетки в начале строки (#). При этом, в параметрах Host и Sitemap нужно будет заменить сайт.ру на домен вашего сайта. Также определитесь, будет ли у домена часть www или нет. Если не будет, то нужно будет удалить «www.» в этих строчках.

Также нужно определиться с протоколом сайта - будет http (незашифрованное соединение) или https (зашифрованное соединение). Если протокол будет https, то нужно будет заменить http на https, а также в параметре Host для сайта нужно будет указать префикс https. То есть, параметры Host и Sitemap должны будут принять следующий вид:

Host: https://www.сайт.ру
Sitemap: https://www.сайт.ру/sitemapindex.xml

Поясню одну очень важную инструкцию:

Disallow: *?*

Эта инструкция запрещает к индексации страницы, в адресе которых идут дополнительные параметры после знака вопроса (?). В основном, это страницы поиска, сортировки объявлений, объектов и статей. Такие страницы не нужно индексировать, так как они содержат дублирующий контент.


Для скрипта интернет-магазина файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /product
Disallow: /ishcategory
Disallow: /productrss
Disallow: /myorders
Disallow: /ishpayment
Disallow: /wishlist
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.


Для бесплатной CMS файл robots.txt можно отредактировать следующим образом:

Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml

User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html

Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.

 

Комментарии к публикации
Комментариев к публикации нет...
Добавить комментарий
Новости сайта