Санкции поисковых систем — новый виток борьбы

27 ноября 2014

«IBC Russia»Интернет и Бизнес

Дмитрий Севáльнев2

О спикере

Ведение и контроль более 150 сайтов по рекламе в интернете и SEO на постоянной основе.

Ведущий передач «Практика SEO»,«Аналитика SEO» и «Познай ТОП»на MegaIndex.tv.

Участие в развитии более 550 проектов.

Выступления на отраслевых конференциях: РИФ+КИБ, СПИК, AllinTopConf, SEO 2013, SEO 2014, MegaIndex, BalticDigitalDays и др.

«Личный блог» www.pixelplus.ru/samostoyatelno/

Лайфхак и спам…О где та грань?

Сэр Исаа́к Нью́тон

«Любому действию всегда есть равное и противоположное противодействие»

Барон Мюнхгаузен вытаскивает себя и коня из болота за волосы.

Типичная ситуация в XXI веке.

План доклада4

1. Основные типы санкций

а) Текстовое содержимое в Яндексе• «Переспам», «Переоптимизация», «Новый» текстовый фильтр.

б) Накрутка внешних ссылочных факторов• Алгоритм «Пингвин» в Google.• Примеры применения и снятия.

в) Санкции за накрутку поведенческих факторов• Позиция поисковых систем, историческая справка.• Применение санкций в 2014 году.

г) Понижение сайтов с избыточным рекламным содержимым, группы аффилиатов, фильтр на одинаковые сниппеты

2. Проявление санкций и диагностика сайта

а) Диагностика сайта и алгоритм последовательного «исключения» фильтров различных типов из рассмотрения

б) Автоматизация

Основные типы санкций5

За текстовое

содержимое

За ссылочную

составляющую

За поведенческую

информацию

Ассоциированность

сайтов в группу

За рекламную

составляющую

За «взрослое»

содержимое

За общее качество

содержимого

За направленность

ресурса

За явный обман

поисковой системы

Текстовые фильтры6

«Переспам» (портяночный)

Проявление• резкое проседание одного

запроса• документ нормально ранжируется

по другим запросам• сайт резко растет в выдаче при

модификации запроса

Как бороться• разбавка чистых вхождений• уменьшение объема текста• разбавление «сухого» текста:

картинки• проверка входящих ссылок и

увеличение числа безанкорных

Проявление• резкое проседание всего

документа• документ теряет большую часть

поискового трафика с Яндекса• документ плохо ранжируется даже

по длинным запросам (4-6 слов)

Как бороться• полная переписка (рерайт) текста• текст = польза для читателя• исправление ошибок,

корректорская проверка• удаление избыточных акцентов

(<b>, <h1>-<h6> и др.)

«Переоптимизация»

[1] pixelplus.ru/samostoyatelno/stati/tekstovaya-optimizatsiya/tekstovie-filtry-v-yandex.html

«Новый» текстовый фильтр7

Базовая сводка

• Дата внедрения близка к дате «отмены» ссылок, что может приводить к трудностям диагностики истинных причин потери позиции (совпадение ли?).

• Наблюдается в Москве, как по запросам с СНСС, так и без СНСС, а также диагностируется и в других регионах России, следовательно — не связан с «отменой» ссылочного.

• Потеря позиций расширяет ранее наблюдаемый диапазон 5-40 пунктов (и часто составляет более 100 пунктов), что позволяет говорить о «Новом» антиспам-алгоритме.

«Новый» текстовый фильтр8

Проявление фильтра

• Резкое проседание запроса (до 100+ позиций)

• Чаще — проседание группы запросов на страницу

• Потеря трафика по запросу

Пример

«Новый» текстовый фильтр9

В разрезе списка поисковых запросов

Поисковые запросы 14 июля 7 августа Динамика

кредиты в санкт петербурге 2 100+ -98

кредиты санкт петербург 8 100+ -92

микрозаймы санкт петербург 12 55 -43

микрозаймы в санкт-петербурге 30 100+ -70

микрозаймы в спб 3 77 -74

Обнаружение «Нового» фильтра10

Последовательность действий

1. В Яндекс задается анализируемый поисковый запрос.

2. Проверяется текущая позиция сайта по нему.

3. Исключаются прочие причины данного поведения: фильтра аффилированности, фильтра на одинаковые сниппеты, ошибки ответа сервера, …

4. С помощью операторов расширенного поиска, позиция сайта сравнивается с сайтами на 1-15 позиций выше исследуемого в общей выдаче.

5. В случае наличия явных отличий в ранжировании документов в общей выдаче и в суженной до нескольких сайтов —диагностируется факт наложения фильтра.

Снятие «Нового» фильтра11

Рекомендации для снятия фильтра

1. Уменьшить длину и спамность заголовка окна браузера Title.

2. Уменьшить число чистых вхождений продвигаемого запроса в текст документа (изначально — двукратно).

3. Пересмотреть проценты вхождений слов из данных продвигаемых запросов в сторону уменьшения (изначально — двукратного).

4. Отправить текст на корректорскую проверку, то есть — устранить все несогласованные словосочетания, трудночитаемые предложения, орфографические и пунктуационные ошибки.

5. Уменьшить объем текста (изначально — на 15-30 процентов).

6. Устранить избыточное использование html-тегов логического выделения — <b>, <strong>, <em>, <i>, <u>, <h1>-<h6>.

7. Добиться равномерного распределения ключевых фраз в контенте.

= Иногда, проще переписать текст =

Санкции за внешние ссылки12

Фильтр «Пингвин» в Google

• 1.0 — запуск алгоритма, 24 апреля 2012.• 1.1 — обновление (по ряду наименований версия 2), 26 мая 2012.• 1.2 — обновление (по ряду наименований версия 3), 5 октября 2012.• 2.0 — новая версия (по ряду наименований версия 4), 22 мая 2013.• 2.1 — обновление (по ряду наименований версия 5), 4 октября 2013.• 3.0 — новая версия (по ряду наименований версия 6), 21 октября 2014.

Снятие фильтра «Пингвин»13

1. Выгрузка полного списка ссылок ведущих на сайт. Рекомендуется использовать все доступные источники внешних ссылок на сайт, от панелей вебмастера Google и Яндекс, до используемых ссылочных бирж и сторонних сервисов (ahrefs, LinkPad, MegaIndex).

2. Проверка ссылочных доноров по ряду ключевых показателей:

• Положение ссылки на странице-доноре.

• PR главной страницы и PR страницы-донора.

• Число уникальных исходящих ссылок на сторонние сайты, деленное на общее число страниц в индексе Google (без учёта поддоменов).

• Посещаемость донора в месяц (уникальных посетителей).

• Наличие в контенте и анкорах страницы-донора стоп-слов из взрослой лексики.

• Число уникальных получателей ссылок (акцепторов).

Снятие фильтра «Пингвин»14

3. Выделение по фильтрам с применением логики оператора ИЛИ:• Положение кода со ссылкой на странице ниже 90% всего кода

документа.• PR главной страницы менее PR страницы-донора.• Число уникальных исходящих ссылок на сторонние сайты,

деленное на число страниц в индексе более 1.• Посещаемость в месяц 900 уникальных посетителей.• На странице-доноре встречаются слова из списка стоп-слов.• На странице-доноре более семи внешних исходящих ссылок.

4. Приведение всех выявленных доноров к виду — domain:site.ru и формирование txt-файла, где каждый донор указан с новой строки.

5. Проверить, что процент чистых вхождений продвигаемых фраз в новом анкоре-листе не превышает 3-5%.

6. Отклонение полученного списка доноров посредством инструмента Disavow Links.

Проверка инструмента Disavow Links15

А работает ли Disavow Links?

1. Выбирается уникальный анкор.

2. Донор отклоняется посредством инструмента.

3. Проверяется ранжирование сайта-донора и акцептора по данному анкору.

Санкции за накрутку ПФ16

Историческая справка. Кажется, мы всё это уже проходили? 2011 год и операция «Чистый поиск»

Дата/Позиция

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

Санкции за накрутку ПФ: 201417

Санкциям подвергаются сайты, которые

1. Оказываются последними в поисковой сессии пользователя осуществляющего накрутку.

2. Имеют повышенные показатели таких метрик, как (относительно других сайтов в поисковой сессии):

• Число просмотренных страниц на сайте.

• Время, проведенное пользователем на сайте после захода из выдачи.

• Процент возвратов на выдачу.

Следует из текущий алгоритмов работы сервисов по накрутке поведенческих факторов.

Проявление и диагностика фильтра18

Диагностика

• Факт наложения фильтра подтверждается сотрудниками службы поддержки Яндекса.

Проявление

• Хорошее ранжирование только по витальным, навигационным и запросами вида «URL с сайта».

Срок санкций и их снятие

• Санкции применяются на срок от 6 месяцев. Снимаются в случае отсутствия следов дальнейшей накрутки.

Жёсткий бан или фильтрация?19

Типы санкций20

[2] pixelplus.ru/samostoyatelno/stati/prodvizhenie-saytov/vernut-sait-v-top-yandex.html и др. статьи

За текстовое

содержимое

За ссылочную

составляющую

За поведенческую

информацию

Ассоциированность

сайтов в группу [2]

За рекламную

составляющую [2]

За «взрослое»

содержимое [2]

За общее качество

содержимого [2]

За направленность

ресурса [2]

За явный обман

поисковой системы [2]

Краткая сводка: реклама, Непот, …21

Прочие, скажем, «Непот» (внутренний и внешний)

• Неучёт исходящих ссылок (PR и анкоры)

• Диагностика возможна, но затруднительна.

Группы аффилиатов

• Группировка сайтов по владельцу на выдаче.

• Возможна диагностика с исключением сайта и снятие санкций.

Понижение сайтов с избыточной рекламой

• Возможна диагностика.• Понятен/Очевиден

алгоритм снятия («лечения») сайта.

Фильтр на одинаковые сниппеты

• Возможна диагностика с применением «rd=0».

• Понятен алгоритм действия для обхода пост-фильтра.

План доклада22

1. Основные типы санкций

а) Текстовое содержимое в Яндексе• «Переспам», «Переоптимизация», «Новый» текстовый фильтр.

б) Накрутка внешних ссылочных факторов• Алгоритм «Пингвин» в Google.• Примеры применения и снятия.

в) Санкции за накрутку поведенческих факторов• Позиция поисковых систем, историческая справка.• Применение санкций в 2014 году.

г) Понижение сайтов с избыточным рекламным содержимым, группы аффилиатов, фильтр на одинаковые сниппеты

2. Проявление санкций и диагностика сайта

а) Диагностика сайта и алгоритм последовательного «исключения» фильтров различных типов из рассмотрения

б) Автоматизация

Алгоритм диагностики сайта23

1. Проверка проиндексированновости документа, кода ответа сервера, отсутствия запрета на индексацию, meta-тега robots, link rel="canonical".

2. Производится проверка прохождения документом кворума и привязки к заданному региону (с настройками семейного поиска). К запросу добавляется оператор «url:».

3. В случае подозрения на adult-фильтр предыдущая проверка повторяется, но вместо настроек семейного поиска задается фильтр без ограничений.

4. Проверка возраста документа в индексе, если документу менее 3 месяцев, выводится предупреждение.

5. Проверка фильтра на одинаковые сниппеты, в случае резкого роста позиции документа с разгруппировкойрезультатов — выводится сообщение о найденном фильтре.

Алгоритм диагностики сайта24

6. Производится последовательное исключение сайтов из выдачи с целью поиска сайта-аффилиата.

7. Осуществляется поиск дублей документа на сайте в индексе поисковой системы, для этого используются операторы «title:» и «site:».

8. Поисковый запрос незначительно модифицируется (перестановка двух слов или изменение одного из окончаний).

9. Позиции сайта сравниваются с документами, найденными выше продвигаемого. При сравнении позиций исследуемый сайт оказывается выше, диагностируется текстовый фильтр.

10. Если у документа соблюдены все требования поисковой оптимизации он может быть передан на ручной анализ SEO-аналитику, подготовлено письмо в техподдержку.

Выводы26

1. Произведена систематизация многочисленных фильтров поисковых систем по изначальной причине применения санкций. Рассмотрены, как санкции Яндекса, так и Google.

2. Приведены алгоритмы диагностики фильтров: текстовый «Переспам» и «Новый», фильтра аффилированности, фильтра на одинаковые сниппеты, adult-фильтра, за накрутку ПФ.

3. Предложены алгоритмы по снятию санкций различного типа, как в поисковой системе Яндекс (текстовые фильтры и прочие), так и Google («Пингвин»).

4. Предложен алгоритм автоматизации диагностики сайта по входным данным: запрос, документ, регион и последовательного исключения санкций различного типа.

Полезные ссылки27

1. Текстовые пост-фильтры Яндекса — переспам и переоптимизация, pixelplus.ru/samostoyatelno/stati/tekstovaya-optimizatsiya/tekstovie-filtry-v-yandex.html

2. Как понять, почему просел сайт, и быстро вернуть его в ТОП-10 Яндекса, pixelplus.ru/samostoyatelno/stati/prodvizhenie-saytov/vernut-sait-v-top-yandex.html

3. Инструмент Disavow Links, google.com/webmasters/tools/disavow-links-main

4. Операция «Чистый поиск» (газета Ведомости), vedomosti.ru/newspaper/article/263903/operaciya_chistyj_poisk

5. Официальные заявления Яндекса по поведенческим факторам, webmaster.ya.ru/10399, webmaster.ya.ru/10738, webmaster.ya.ru/18816, webmaster.ya.ru/19329

6. Когда страница считается оптимизированной под запрос, pixelplus.ru/samostoyatelno/stati/vnutrennie-faktory/trebovaniya-optimizacii-stranicy.html

28

Будем рады ответить на ваши

вопросы по докладу

Вопросы по докладу

manager@pixelplus.ru, seo@pixelplus.ru

Отдел продаж: +7 (499) 346-21-31

Основной офис в Москве:115419, Москва, ул. Шаболовка, дом 34

Санкции поисковых систем — новый виток борьбы

27 ноября 2014

«IBC Russia»Интернет и Бизнес