Прежде, чем знакомиться с методами поиска дублей сайтов, следует понимать в первую очередь их механизм работы и как они влияют на seo продвижение сайта.
Повышенное число дублей сайтов может привести к потере позиции и трафика сайта.
Существует три основных способа поиска дублей сайта.
Первые два метода — google веб-мастер и программа Xenu популярны, но будьте готовы к тому, что они не помогут определить частичные дубли, в отличие от третьего метода поисковой выдачи.
Итак, начнём с наиболее популярного способа, а точнее, с программы Xenu. Полное название этой программы Xenu Link Sleuth. Помимо того, что она участвует в техническом аудите, программа Xenu находит дублирующие заголовки. Всё, что требуется сделать — просканировать текст и распределить результаты по заголовку. Дальше зрительно будут видны заголовки, где есть совпадения. Этот способ очень удобен в использовании, но, как говорилось выше, здесь нет возможности определения частичных дублей.
Следующий способ — гугл-вебмастер.
Для этого метода нужно зайти на панеле Google для веб-мастеров в пункт Оптимизации HTML. Эта функция количественно покажет повторения заголовков TITLE и мета-описаний.
Этот способ даёт возможность отыскать абсолютные дубликаты.
Поисковая выдача позволяет отразить отношение поисковой системы к сайту. Чтобы найти дубли, следует в Google воспользоваться специальным запросом, состоящим из двух индексов. Один из них отвечает за страницы данного сайта в индексе Google, а второй — за участвующие в поиске страницы.
Благодаря поисковой выдаче определяются неинформативные страницы и те частичные дубли, которые мешают страницам продвигаться на высоких позициях.
После определения всех дублей, их можно удалять.
