Как избавиться от дублей joomla

Дубли страниц в Joomla 3 – как от этого избавиться?

Доброго всем времени суток, если Вы читаете данную статью, значит, у Вас, как и у множества начинающих веб-разработчиков возникает вполне законный вопрос – как бороться с дублями страниц в Joomla.

В данной статье я постараюсь ответить на этот вопрос. Для начала поговорим о том, чем грозит появление дублей страниц на сайте, следом посмотрим готовые решения борьбы с дублями и напоследок разберем альтернативные способы борьбы с дублями страниц.

Почему стоит избавляться от дублей страниц?

Не для кого ни секрет что Joomla, как и любая другая система управления контентом в процессе своей работы создает одинаковые страницы доступные по разным адресам сайта – дубли. Для посетителей Вашего сайта эти самые страницы безвредны, они могут даже не догадываться об их существовании.

Однако безобидные для посетителей дубли могут существенно повлиять на позиции сайта в поисковой выдаче. Почему так происходит?

Давайте представим ситуацию – Вы написали несколько уникальных материалов и опубликовали на своем сайте. Поисковые роботы их проиндексировали, все хорошо, но спустя некоторое время поисковый робот находит дубли этих страниц. Поисковый робот не понимает что это дубль, для него это две совершенно разные страницы, в результате изначально уникальный материал уже таковым не является.

В результате появления на сайте большого количество идентичных страниц (дублей) могут сильно «просесть» позиции сайта в поисковой выдаче. Именно поэтому от дублей страниц стоит избавляться как можно быстрее.

Почему появляются дубли?

Дубли в CMS Joomla появляются в результате установки дополнительных расширений. Но это далеко не единственная причина их образования.

Не менее распространенная причина образования дублей страниц это не продуманная структура сайта. Как это может быть связано, спросите Вы? Да очень просто – вы создали на сайте несколько категорий имеющих одну родительскую категорию, в этих категориях разместили материалы. Внутри материалов Вы делаете ссылки на ранее созданные материалы и так далее. Для примера посмотрите на скриншот:

Если не создавать меню для категорий, то адрес страницы может получиться таким:

Адрес далек от совершенства и Вам захотелось избавиться от цифр в адресной строке. Для этого Вы создаете пункты меню для категорий и материала. После этого адрес получился более привлекательным:

И все бы хорошо, но старые адреса страницы никуда не делись, они остались в качестве дублей. В результате одна и та же страница у нас может иметь сразу несколько адресов:

Не приятная ситуация не так ли, кроме того поисковые роботы все эти страницы считаю совершенно разными.

Способы борьбы с дублями страниц

Конечно, лучше всего избегать появления дублей страниц еще на начальном этапе – заранее продумать структуру сайта, создать необходимые категории и пункты меню. Но как показывается практика, так поступают далеко не все и со временем встает вопрос о том, как удалить дубли из поисковой выдачи.

Вариантов борьбы с дублями существует несколько:

• Использование специальных расширений
• Файл Robots.txt
• Redirect 301 в файле htaccess
• Воспользоваться панелью Вебмастера для удаления ненужных адресов
• Компонент «Перенаправление»

Плагин JL No Doubles для борьбы с дублями страниц

Самый простой и в то же время достаточно действенный способ борьбы с дублями страниц это использования расширений. Одним из таких расширений является плагин JL No Doubles.

Плагин очень легкий и не нуждается в особых настройках. Все что потребуется сделать это скачать данный плагин, установить и включить. Всю остальную работу он проделает самостоятельно.

Плагин JL No Doubles убирает дубли страниц в более чем двадцати компонентах, в том числе и в компоненте com_content. Можно настроить вывод 404-й ошибки либо 301 редирект на правильную страницу сайта. Страница с настройками плагина выглядит следующим образом:

Параметров для настройки плагина всего пять:

• Лицензионный ключ – для активации работы плагина с компонентами k2, Virtuemart, Zoo.
• Кратность лимитов – настройка для категорий материалов Joomla. Вы можете настроить редирект при формировании ссылок типа /advanced?start=3. Все что необходимо сделать, это указать количество материалов выводимых в категории.
• Использовать 301 редирект – можно включить возможность использования редиректа на правильную страницу либо (если установлено «нет») выдавать 404-ю ошибку. Если Ваш сайт существует достаточно долгое время и на его страницы ссылаются другие сайты, то рекомендую поставить редирект, чтобы не потерять вес страниц.
• Алиас – настройка, которая подставляет алиас к ссылкам вида component/content/article (по умолчанию home).
• Стоп слова – это строки, встречающиеся в адресе страницы которые не следует обрабатывать.

С основными настройками разобрались, теперь давайте перейдем на вкладку «Компоненты»:

На данной вкладке выбираем компоненты, которые используются на сайте и доступны для индексирования. По умолчанию уже выбран компонент com_content. Не стоит выбирать все возможные компоненты, особенно если Вы их не используете, это создаст лишнюю нагрузку на Ваш сайт.

Использование файла Robots.txt

Каким бы не был замечательным плагин для перенаправления страниц, от всех дублей избавиться не получится. В таком случае можно запретить поисковым роботам индексировать те или иные страницы сайта, другими словами закрыть к ним доступ.

Обо всех тонкостях настройки файла Robots.txt мы уже говорили в данной статье. Кратко скажу только что для закрытия части Вашего от «глаз» робота существует директива Disallow.

301 редирект и файл htaccess

Другой распространенный способ борьбы с дублями это настройка перенаправления, другими словами 301 редирект на правильную страницу. Это можно сделать в файле «.htaccess».

Для создания переадресации необходимо использовать директиву RewriteRule, но надо убедиться, что на хостинге подключен модуль mod_rewrite.

Допустим нам надо сделать редирект со страницы joom4all.ru/index.php на страницу joom4all.ru, для этого в файле «.htaccess» после директивы RewriteEngine On пишем следующую строку:

Более подробно работу с файлом «.htaccess» мы разбирали в данной статье.

Компонент «Перенаправление»

Достаточно полезный и в то же время встроенный в Joomla 3 компонент, который позволяет вручную настроить перенаправление страниц. Данный компонент использует для своей работы специальный плагин, который по умолчанию отключен.

Изначально надо включить плагин, благо искать его среди прочих не приходится, ведь после перехода на страницу «Компоненты» -> «Перенаправление» вы получите сообщение, что необходимо включить плагин и ссылку на его активацию.

После того как плагин будет включен можно создавать перенаправление указав начальный (старый) и конечный (новый) адрес страницы:

Данный метод хорош в том случае, когда дублей страниц не слишком много.

Подведем итоги

В заключении хочу сказать, что хоть Joomla и славится созданием дублей страниц, существует достаточно много способов от них избавиться. Какой из способов лучший Вы можете решить сами, но могу сказать, что комплексный подход к решению данной проблемы будет предпочтительней. И начать стоит с правильного подхода к созданию структуры сайта.

Источник

Как избавиться от дублей joomla

Дублирование страниц является одним из проблемных мест на работающих сайтах. По умолчанию проблема дублей страниц актуальна для всех CMS. Эта проблема не обошла CMS Joomla, где одно из слабых мест — дублирование страниц. Увидеть дубли можно, если на сайте одна и таже страница имеет разные ссылки. В большинстве случаев новичок, создавший сайт на Joomla не подозревает, что с появлением нового сайта, появились дубли созданных страниц. Осознание приходит со временем и опытом. К сожалению, нельзя создав сайт, не получить дубли страниц, но можно с этим поработать.

Прежде всего надо понимать, что дубли страниц мешают оптимизации сайта, а значит и его продвижению. Робот, проходящий по сайту, обнаруживает страницу и инексирует ее c определенной ссылкой. Затем снова встречает страницу с тем же содержанием, но имеющую уже другую ссылку. Возникает путаница. Какую ссылку выдавать по одному и тому же запросу. Поэтому поисковые системы стараются игнорировать дублированные страницы. Возможно будет происходить следующая ситуация, когда ссылка на страницу будет временами меняться, что сразу же повлечет за собой потерю трафика.

При создании сайта важно определиться с его структурой, с именами, которые вы даете меню, категориям, подкатегориям и именам статей. Это нужно для того, чтобы впоследствии не менялись соответственно имена ссылок на сайте. Нужно определиться, в каком виде должна быть конечная ссылка на статью. Далее нужно определиться с сайтом, будет это www, просто http или https.

Соответственно боремся с дублями страниц в CMS Joomla:

1. Прежде всего используем файл .htaccess, благодаря которому можно производить дополнительную конфигурацию веб-сервера (меняем название site.ru на свое имя).

RewriteEngine On

# перенаправление с www на https (если сайт доступен по https)
RewriteCond % ^www\.(.*) [NC]
RewriteRule ^(.*)$ https://%1/$1 [R=301,L]

# перенаправление с http на https:
RewriteCond % ^ site \ . ru [NC]
RewriteCond % ^http$
RewriteCond % off
RewriteRule (.*) https://%% [R=301,L]

# убираем полный дубль по адресу site.ru/index.php
RewriteCond % ^[A-Z]<3,9>\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http:// site.ru / [R=301,L]

# 301 редирект на окончание .html
REDIRECTMATCH 301 (.*/[^/.]+)($|\?)$ http:// site.ru $1.html

# 301 редирект с .html на без .html
REDIRECTMATCH 301 (.*)\.html$ http://site.ru$1

2. Используем файл robot.txt, благодаря которому можно ограничить доступ роботу к содержимому сайта.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*sovety-k/
Disallow: /*sovety/

User-agent: Yandex
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /log/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /*tag
Disallow: /*print=1
Disallow: /*sovety-k/
Disallow: /*sovety/

Host: site.ru
Sitemap: https:// site.ru /sitemap.xml

Можно использовать различные плагины для Joomla.

Источник

Дубли страниц Joomla – как избавиться

Создание и раскрутка сайтов на статичном html всё менее популярна, и большинство веб-мастеров переходит на современные CMS, в частности на Joomla, которая в нагрузку к своим плюсам может и огорчить пользователя, прежде всего, дублированием страниц. Дубли страниц в Joomla это своеобразный бич веб-мастера, хотя, положа руку на сердце, грешат этим многие системы автоматизации сайтов.

Поиск дублей

Во-первых, давайте посмотрим, как определить дубли страниц и почему они негативно сказываются на процессе продвижения сайта. Самый простой способ определения дублирования – это воспользоваться расширенным поиском на Яндексе, где в строчку «сайт» забиваем свой проект, а в поисковую строку тот или иной запрос. В результате можно видеть страницы сайта по мере их релевантности, тут же водятся и дублирующие друг друга страницы. Ещё проще воспользоваться пауком Netpeak Spider, который выгрузит страницы и найдёт в них дубли в один клик.

Второй немаловажный вопрос, почему поисковые системы относятся к этому негативно, ведь это не умышленная попытка обмана поисковиков, а технические проблемы CMS, о который, в принципе роботы должны знать. В том то и дело, что именно роботы могут определить такие страницы, как умышленный спам, ведь фактически по двум разным адресам предоставляется один и тот же материал. Попытки переписки со службой поддержки Яндекса ни к чему не приводят, поэтому надо стараться избегать дублей страниц Joomla.

Удаление дубли

Если сайт небольшой, то можно закрыть дублирующиеся материалы через robots.txt, но это всё равно не выход, а лишь лишний геморрой в копилке оптимизатора. Говорить об этом могу с уверенностью, так как сам прошёл через это, хотя и использовал десятки вариантов для борьбы с дублированием. Сегодня могу поделиться, как можно побороть то, что негативно отражается на раскрутке. Полный бан за такие дубли Joomla получить маловероятно, но добиться пессимизации сайта вполне возможно, поэтому для начала я закрыл в robots.txt все технические и второстепенные страницы массово –

Таким образом, отсекается основная складская база, куда Joomla может запихивать дубли. Если кому очень надо открыть некоторые страницы, например, для компонента xmap, то есть для того, чтобы добавить в панель вебмастера карту сайта, то нужные страницы легко открываются с помощью директивы Allow: , которая ставиться перед Disallow:.

Однако лично мне не давали жизни дубли страниц Joomla типа

И долгие поиски ни к чему положительному не приводили, кроме как закрывать сотни левых ссылок вручную в robots.txt. Однако однажды ответ пришёл, как озарение и открыл глаза на простейшие вещи, с которыми, знаю точно, сталкивался не я один. Многие сегодня практикуют (и правильно делают) продвижение сайта в социальных сетях, посредством установки кнопок для интеграции. При этом не все обращают внимание, что некоторые плагины при интеграции в Twitter просто обрезают ссылку и для решения проблемы надо настроить или заменить плагин, так как роботы идут по ссылки «твиттнуть» и попадают на её обрезанный вид, который и заносят по своему электронному незнанию в индекс.

Проблема оказалась проста, как медный таз, жаль, что таким образом убирается только часть дублей, правда эта-то часть меня больше всего и волновала. Оказывается, часть ошибок оптимизации всё-таки происходит по совокупности недосмотра веб-мастера и недоработок CMS, так что с этим можно и нужно бороться. Удачи.

Если же Вас не радуют дубли типа /sobstven-sate/eksperiment-seo/383.html, то есть сокращённые адреса страниц, используйте плагин для Joomla Shnodoubles , найти который можно погуглив или отписавшись мне в комментариях, с ним я полностью решил проблему на считанные минуты. Подумав и устав отписываться я предлагаю скачать nodoubles для Joomla прямо с сайта.

Также предлагаю видео по удалению дублей в Joomla посредством 301-го редиректа —

Вопросы-ответы

Можно ли избавить от дублей на автомате?

Отсутствие дублей на 90% гарантируется в автоматическом режиме. Для Joomla достаточно настроить robots и htaccess, а также разобраться со склейкой страниц на основную навигационную. Однако в процессе расширения сайта дубли могут появляться, поэтому отслеживайте их через паука Netpeak Spider.

Неужели пауки ПС не понимают, что дубли на Joomla – это ошибка разработчиков?

А почему эта ошибка не исправляется владельцем? Если вы купите машину с дефектом, то не станете же вы жаловаться, что ваc штрафует ГИБДД за, то что не горят фары или не соответствуют нормам выхлопные газы? В поддержку обращаться смысла нет, так как CMS не платная.

Сейчас сильно жёстко штрафуют за дубли редко, но… Если по запросу, например, дублирование страниц у вас присутствуют в поиске 3-4 документа с одинаковым контентом, но разными урлами, то, как вы думаете статический вес будет на каждой из них максимальный, или размажется? В конце концов это вам решать, нужен ли вам декоративный мусорный сайт или вы хотите делиться с пользователями информацией и получать за это профит при правильной настройке CMS.

Источник