Создание сайтов
Файл robots.txt для CMS boxcode.ru
Файл robots.txt нужно грамотно составить для лучшей индексации сайта поисковыми системами. Во-первых, нужно запретить к индексации страницы, на которых контент может дублироваться, а также страницы, которые содержат не особо нужный для индексации контент. Во-вторых, нужно прописать параметры Host и Sitemap. В дальнейшем, возможно, потребуется еще дополнить файл другими инструкциями.
В продуктах boxcode.ru есть 2 варианта файла: robots.txt и robots_v2.txt. Второй вариант содержит расширенное количество инструкций. Если захотите использовать 2-ой вариант файла, то нужно будет удалить файл robots.txt и переименовать robots_v2.txt в robots.txt. Эти файлы содержат минимальный список каталогов и файлов (в основном это служебные каталоги и файлы), которые необходимо запретить к индексации.
В этих файлах также есть закомментированные параметры Host и Sitemap, то есть вначале строк будет символ решетки (#). Чтобы раскомментировать эти параметры, нужно будет удалить вначале строк символ решетки (#).
После установки CMS на хостинг, нужно настроить файл robots.txt для своего сайта.
Для скрипта доски объявлений файл robots.txt можно отредактировать следующим образом:
Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml
User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category
Disallow: /advert
Disallow: /myadverts
Disallow: /deladv
Disallow: /searchadv
Disallow: /advmetka
Disallow: /edit
Disallow: /mark_advert
Disallow: /advobject
Disallow: /boardrss
Disallow: /advuser
Disallow: /successadv.html
Disallow: /failadv.html
Disallow: /categoryct
Disallow: /objectcat
Disallow: /myobjectcat
Disallow: /delobjectcat
Disallow: /searchobjct
Disallow: /objcatuser
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html
В данном варианте файла robots.txt запрещены к индексации служебные (системные) каталоги, страницы с профилем пользователей, страницы на которых дублируются объявления, объекты, статьи, а также страницы с мало значимым контентом для СЕО.
Убедитесь, что строчки с параметрами Host и Sitemap не закомментированы, то есть не должно быть символа решетки в начале строки (#). При этом, в параметрах Host и Sitemap нужно будет заменить сайт.ру на домен вашего сайта. Также определитесь, будет ли у домена часть www или нет. Если не будет, то нужно будет удалить «www.» в этих строчках.
Также нужно определиться с протоколом сайта - будет http (незашифрованное соединение) или https (зашифрованное соединение). Если протокол будет https, то нужно будет заменить http на https, а также в параметре Host для сайта нужно будет указать префикс https. То есть, параметры Host и Sitemap должны будут принять следующий вид:
Host: https://www.сайт.ру
Sitemap: https://www.сайт.ру/sitemapindex.xml
Поясню одну очень важную инструкцию:
Disallow: *?*
Эта инструкция запрещает к индексации страницы, в адресе которых идут дополнительные параметры после знака вопроса (?). В основном, это страницы поиска, сортировки объявлений, объектов и статей. Такие страницы не нужно индексировать, так как они содержат дублирующий контент.
Для скрипта интернет-магазина файл robots.txt можно отредактировать следующим образом:
Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml
User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /product
Disallow: /ishcategory
Disallow: /productrss
Disallow: /myorders
Disallow: /ishpayment
Disallow: /wishlist
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html
Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.
Для бесплатной CMS файл robots.txt можно отредактировать следующим образом:
Host: www.сайт.ру
Sitemap: http://www.сайт.ру/sitemapindex.xml
User-Agent: *
Disallow: /addapplication
Disallow: /config
Disallow: /config_save
Disallow: /dans
Disallow: /dirdownfiles
Disallow: /generalscript
Disallow: /moduls
Disallow: /script
Disallow: /tmp
Disallow: /modcom
Disallow: /stpoisk
Disallow: /category_article
Disallow: /article_item
Disallow: /myarticle
Disallow: /delarticleitem
Disallow: /searcharticle
Disallow: /articleuser
Disallow: /manager.html
Disallow: /readme.html
Disallow: /registr
Disallow: /smsbilling.html
Disallow: *?*
Disallow: /none.html
Аналогично, как и для скрипта доски объявлений, нужно будет отредактировать параметры Host и Sitemap.
- Статью добавил пользователь
- Категория
- Дата размещения 12.02.2019, просмотров 2004
-
08.07.2024В новой версии бесплатной CMS сделана новая галерея изображений, оптимизирован шаблон. Также есть другие небольшие изменения.
-
04.07.2024В новой версии скрипта интернет-магазина сделана новая галерея изображений, доработан функционал страницы корзины, оптимизирован шаблон и переделана интеграция с платежными системами. Есть другие небольшие изменения.
-
03.07.2024В новой версии скрипта доски объявлений сделана новая галерея изображений, доработана интеграция с платежными системам и оптимизирован шаблон. Есть другие небольшие доработки.
