Непот фильтр яндекса. Выявление непот-фильтра, или непот где-то рядом

Вместе с тем в ответе на один из вопросов к этому посту в твиттере Гэри признал, что если запретить к индексации бесполезные страницы, то краулинговый бюджет будет «возвращен» (« will gain back »), открытым для индексации полезным страницам:

Все эти «словесные кульбиты» натолкнули меня на мысль порассуждать на тему краулингового бюджета и его эффективного использования. Оговорюсь сразу, что тема оптимизации краулингового бюджета актуальна только для сайтов с достаточно большим числом страниц – счет должен идти на десятки, а то и сотни тысяч. Небольшим сайтам заморачиваться на эту тема смысла не имеет – поисковики их будут переиндексировать довольно шустро в любом случае.

Итак, вводные данные следующие. Мы определились, какие страницы на сайты мы считаем полезными для индексации, а какие – бесполезными, т.е. по сути мусором, который, находясь в индексе, может являться источником различного рода проблем. В терминах Google это называется low-value-add URL . И наша задача – убрать из индекса бесполезные страницы наиболее эффективным образом. В том числе и с точки зрения оптимизации краулингового бюджета.

Для начала уточним, что же подразумевается под краулинговым бюджетом? Если коротко, то это число страниц с кодом статуса 200 ОК , которое индексирующий робот поисковой системы отсканирует за одну сессию. Это число (равно как и частота сканирования) зависит от различных факторов, например, таких как популярность сайта, уже имеющееся число страниц в индексе и т.п.

Судя по всему, Гэри Илш, говоря, что запрещенные к индексации файлом robots.txt страницы никак не влияют на краулинговый бюджет, имел в виду то, что, так как поисковая система заведомо знает о том, что они запрещены к индексированию (а значит, индексирующему роботу не нужно их сканировать), то никоим образом не учитывает их при расчете краулингового бюджета.

В ситуации же описываемой в последующем вопросе, когда осуществляется запрет к индексации уже известных поисковой системе страниц, на которые в том числе расходовался краулинговый бюджет, произойдет следующее – выделенный краулинговый бюджет начнет расходоваться только на страницы, которые не запрещены к индексации. Это Гэри Илш и называет «возвращением» бюджета полезным страницам, т.к. в вопросе явно указано, что происходит закрытие бесполезных страниц. Кстати, теоретически при закрытии страниц от индексации краулинговый бюджет в абсолютных цифрах может и уменьшиться, т.к. уменьшится число проиндексированных страниц на сайте, но он будет расходоваться более эффективно именно для полезных страниц.

Поэтому для оптимизации краулингового бюджета может быть действительно хорошим вариантом закрытие к индексации файлом robots.txt бесполезных страниц, имеющих код статуса 200 ОК . Однако здесь могут быть нюансы. Так, например, если какие-то их этих страниц имеют входящие ссылки или ненулевой целевой трафик, то исключение таких страниц из индекса повлечет исключение из ранжирования этих значений, что теоретически может негативно сказаться на расчетных показателях релевантности проиндексированных страниц сайта. В общем, запрет для индексации в файле robots.txt может быть хорошим решением только для тех URL, которые с точки зрения ссылочных и поведенческих факторов абсолютно неинтересны.

Также следует иметь в виду, что запрет к индексации страниц с помощью мета-тега robots со значением noindex на оптимизацию краулингового бюджета существенно не повлияет. Потому что этом случае закрываемая от индексации страница имеет код статуса 200 ОК , и поисковик исключит ее из индекса только после того, как индексирующий робот ее просканирует. И в последующем индексирующий робот будет все равно вынужден такие страницы переобходить. Единственное, на что можно надеяться – так это на то, что он это будет делать с меньшей частотой чем для страниц, которые не были запрещены к индексированию с помощью мета-тега robots . Ну, хотя бы по крайней мере для тех страниц, которые имеют такой запрет на индексацию на протяжении нескольких сканирований подряд. Хотя, на мой взгляд, подобные надежды основываются на очень зыбкой почве.

Поэтому, на мой взгляд, наилучший способ исключить бесполезные страницы из краулингового бюджета – это изменить для них код статуса с 200 ОК на 301 Moved Permanently с редиректом на разрешенную к индексации полезную страницу, имеющую отклик 200 ОК . В таком случае страница с кодом статуса 301 должна «подклеиться» к странице, на которую ведет редирект с нее, причем с передачей некоторых характеристик, которые относятся к нетекстовым факторам ранжирования (например, такие как ссылочные или поведенческие). Google называет это консолидацией URL . Запомним этот термин и будем его в последующем применять. Кстати, в случае Яндекса необходимо иметь в виду следующий нюанс – подклеить страницу к странице, расположенной на другом поддомене сайта, в общем случае не получится.

Да, пожалуй, это было бы идеальное решение, оптимально закрывающее две задачи – избавления индекса от бесполезных страниц и оптимизации краулингового бюджета. Например, оно хорошо применимо для решения проблемы устаревших страниц, которые когда-то имели трафик и до сих пор имеют входящие ссылки. Но, к сожалению, оно применимо далеко не во всех случаях. Есть масса вариантов, когда страница с точки зрения владельца сайта должна по той или иной причине иметь код статуса 200 ОК , но при этом с точки зрения поисковика ее можно считать бесполезной, например:

дубликаты четкие, например, отличающиеся только наличием get-параметров в URL, которые важны владельцу сайта с точки зрения веб-аналитики;

дубликаты нечеткие, например, результаты многокритериальной фильтрации листингов товаров интернет-магазина, по факту слабо отличающие друг от друга по набору удовлетворяющих различным значениям фильтров товаров;

страницы пагинации листингов товаров в интернет магазинах

и т.п.

С точки зрения склейки страниц с сопутствующей ей консолидацией тут есть прекрасный заменитель 301 -му редиректу – директива canonical . Однако с точки зрения краулингового бюджета это не самый оптимальный вариант, т.к. неканоническая страница должна иметь код статуса 200 ОК .

В этом случае краулинговый бюджет можно оптимизировать с помощью специальной обработки запросов от поисковика, имеющих заголовок If-Modified-Since . Алгоритм действий следующий – убедившись, что поисковик посчитал конкретную страницу неканонической (это можно сделать через сервисы Яндекс.Вебмастер и Google Search Console), необходимо запомнить дату, и в последствии на запросы индексирующего робота с заголовком If-Modified-Since , содержащим дату позднее запомненной, отдавать код статуса Кстати, тот же самый прием можно применить для оптимизации краулингового бюджета в случае, о котором я писал несколько выше – когда бесполезные страницы по той или иной причине закрываются от индексации с помощью мета-тега robots со значением noindex. В этом случае нам нужно запомнить дату, когда поисковик исключил запрещенную к индексации страницу из индекса, чтоб потом использовать ее при специальной обработке запросов от индексирующего робота с заголовком If-Modified-Since .

В общем-то, специальная обработка запроса If-Modified-Since очень полезна с точки оптимизации краулингового бюджета и для полезных страниц с сайта, для которых известна дата последнего изменения их контента. Всем запросам индексирующих роботов поисковых систем с заголовком If-Modified-Since , содержащим дату позднее известной нам даты последнего изменения контента страницы, следует отдавать код статуса 304 Not Modified . Однако тут тоже есть один нюанс – такие страницы лишаются возможности попадать в так называемую «быстроботовскую» примесь для свежих результатов. Поэтому для тех страниц, которые релевантны запросам, имеющим быстроботовскую примесь, все-таки я бы рекомендовал отдавать всегда код статуса 200 ОК . Ибо возможность попадания в топ выдачи как свежий результат намного важнее оптимизации краулингового бюджета.

(если быть точнее, то это платное наращивание ссылочной массы). Любые массовые работы, позволяющие искусственно повышать позиции сайта в поисковой выдаче, оказывают не самое лучшее воздействие на ранжирование . Ввиду этого разработчиками Яндекса предпринимаются специальные меры борьбы с данным инструментом продвижения. Именно такой мерой является наложение непот-фильтра, который позволяет не принимать во внимание ссылки с определенных доноров при подсчете уровня релевантности веб-документа.

Итак,непот представляет собой фильтр поисковой системы Yandex , который был специально создан для того, чтобы уменьшать влияние SEO-ссылок на на результаты поисковой выдачи. Наложение непота может быть вызвано нарушением лицензии на использование Яндекса (пункт 3.5. "Поисковый спам").

Под данный фильтр попадают те ресурсы, которые слишком много и, как правило, не моделируемо продают ссылочные места на своих страницах.

Известно две версии Непот-фильтра:

• версия 1.0 – для обнаружения некачественных ссылок и последующего снижения их веса;
• версия 2.0 – это обновленная версия 1.0 с добавлением новых критериев выявления плохих по качеству ссылок. К примеру, частота изменения ссылок с одной страницы, их положение на ней, число и качество и пр.

Факторы попадания под Непот-фильтр

Все возможные факторы известны лишь самому поисковику Яндекс, однако некоторые отличительные особенности все-таки можно определить:

• число ссылок различного вида и их расположение на странице;
• частая смена ссылок;
• тема ссылок и самого сайта-донора;
• практически полное отсутствие между ссылками контента .

Как выбраться из-под действия фильтра?

Как только будут устранены ошибки в сайте (неестественные ссылки будут удалены или изменено их положение), фильтр автоматически исчезнет. Другой способ – написать службе поддержки Yandex, чтобы вам сняли непот, если автоматического снятия его не произошло.

Оформление блока ссылок

Важно, чтобы продажные ссылки не отличались от естественных . Это можно сделать, основываясь на следующем:

• поддержание одинаковой тематики ссылок и сайта;
• один блок не может содержать свыше пяти ссылок;
• блоки следует размещать в основной части веб-страницы;
• между ссылками обязательно ставятся разделительные знаки или текст;
• ссылки не должны сливаться с фоном веб-страницы, поэтому их следует выделять другим цветом;
• чем меньше будет ссылок, тем лучше.

Непот-фильтр накладывается на сайты-доноры, однако

Данная статья больше похожа на гипотезу, но я недавно на своем опыте я еще раз убедился, что нужно внимательно следить за тем, на какие сайты ссылаешься и стоит ли это делать.

На своем основном сайте www.artem-kashkanov.ru я создал блок ссылок "Мои проекты", в котором поделился ссылками на свои "дочерние" проекты - сервис О-Дело данный сайт и еще несколько ресурсов. Сделал это не ради накрутки ТИЦ и PR (который, к слову сказать, недавно отменили), а просто чтобы посетители сайта ознакомились с ними и, возможно заинтересовались и зарегистрировались. Ссылки были проставлены в сайдбаре сквозняком почти по всему сайту, естественно, с атрибутом nofollow. Но этого оказалось мало...

Ни с того ни с сего трафик с Яндекса упал почти в 2 раза! Причем, что интересно, позиции по основным ВЧ-запросам остались без изменений - они приводили на "мощные" статьи, которые я написал давно и поддерживал в актуальном состоянии годами, отвалились в основном новые и не имеющие большой популярности старые публикации, на которые приходили по НЧ-запросам.

Когда я зашел на Xtool и проверил сайт на "вшивость", то инструмент с радостью сообщил, что сайт получил непот-фильтр:

Непот-фильтр - это санкция, которую Яндекс накладывает за некачественные исходящие ссылки, чтобы у веб-мастера, имеющего много сайтов на разные тематики не было соблазнов активно перелинковывать их друг с другом для накрутки ТИЦ. Само название фильтра происходит от английского nepotism - кумовство, наверное это слово обо всем говорит.

Естественно, я сразу снял данные ссылки, но сайт пребывал под фильтром примерно две недели, а потом постепенно начал из-под него выходить. Прошло уже больше месяца, но трафик с Яндекса так и не восстановился до прежнего уровня, хотя положительная динамика заметна и это радует.

Мои наблюдения и выводы

1. Залететь под фильтр гораздо проще и быстрее, чем выйти из-под него - это факт, в котором я много раз убеждался. Чтобы не попасть под непот-фильтр, трижды подумайте, прежде чем ставить сквозную ссылку на "рекомендуемый" сайт или "сайт партнера". Даже если сделать эту ссылку "nofollow" - это не поможет, сквозным внешним ссылкам не место на вашем сайте! Если хотите познакомить посетителя со своими другими проектами, создайте отдельную внутреннюю страницу и ссылайтесь с нее, но не нужно ставить сквозные внешние ссылки.

2. Скорее всего, непот-фильтр (как и все остальные) работает по накопительной схеме - если приторговываете ссылками, Яндекс терпит до последнего, но когда терпение лопнет и сайт попадет под фильтр, вам придется основательно вычищать продажные ссылки, чтобы восстановить доверие. Я отделался сравнительно легко, у меня эти ссылки были собраны в одном месте и мне достаточно было просто убрать модуль с ними. А есть веб-мастера, которые продают вечные ссылки годами, размещая их внутри статей - им придется "перетряхивать" весь сайт.

3. Существуют "двойные стандарты" - если Яндекс считает страницу действительно ценной, то он готов простить пару-тройку левых ссылок внутри нее. Один из признаков ценности материала - долгое нахождение страницы в Топ10 по какому-либо популярному запросу. Если же страница новая и/или не слишком популярная, она скорее всего будет значительно понижена в выдаче даже по НЧ-запросам.

Как повлияли установка/снятие ссылок на сайты-акцепторы?

Никак! Если следить за динамикой посещаемасти сайта, на котором вы сейчас находитесь, то не видно никаких заметных всплесков и явных провалов не наблюдалось - все в пределах суточной погрешности (при низкой посещаемости такие всплески нормальны). То есть исходящие "непот"-ссылки ничего не дают - ни положительного, ни отрицательного эффекта, они просто не учитываются.

Таким образом, напрашивается еще два вывода:

1. Вебмастер, размещающий нетематические внешние ссылки рискует загнать свой сайт под фильтр, выйти из-под которого может быть проблематично.
2. Оптимизатор, покупающий ссылки на нетематических или условно околотематических ресурсах почти всегда выкидывает деньги на ветер.

Привет, друзья! В этой статье словаря я хотел бы поговорить о непоте - еще об одном фильтре поисковых систем. Какими особенностями он обладает, как определить его наличие на том или ином сайте. Все это будет довольно подробно разобрано в данной записи.

Как и в случае , все карты и 100% точная информация находится в руках поисковиков (в частности яндекса, так как именно на его примере будет разбираться работа фильтра). В общем случае непот - это фильтр, который занижает до нуля вес исходящих ссылок.

Как известно, входящие ссылки на сайт достаточно сильно влияют на его ранжирование в поисковых системах. Каждая проиндексированная ссылка передает какое-то количество веса веб-проекту, на который она ссылается. Непот-фильтр занижает до нуля этот вес. Другими словами, теперь сайт, на который наложены санкции не передает вес по ссылкам на другие проекты.

В непоте оказываются документы, то есть отдельные страницы. Хотя может быть, что и весь ресурс будет находится под этим фильтром. Иногда складывается такая ситуация, что с одной страницы вес от ссылки передается, а уже с другой нет.

Выше я написал, что на сайт накладываются санкции. А так ли это на самом деле? Если веб-ресурс оказывается под непотом, то конкретно на нем это никак не отражается. Он не теряет позиции в поисковых системах, не теряет количество проиндексированных страниц и так далее, то есть продолжает жить своей жизнью. Тут обратная сторона медали. Проблемы получают проекты, на которые ссылается занепоченный сайт. Ссылка размещена, а толку от нее нет.

Фильтр непот, несмотря на то, что был создан еще в конце 20 века на западе, в России активизировался с бурным развитием ссылочных бирж типа sape.

Почему мой сайт попал фильтр?

В первую очередь фильтр борется с ссылками, которые поставлены не из-за целесообразности и полезности, а из-за какой-то выгоды: нетематический обмен ссылками, их продажа и так далее. В связи с этим алгоритмы поисковых систем стараются вычислить документы, на которых они размещены и не учитывать их при ранжировании. Если на практике ручной даже нетематический обмен (конечно, небольшими объемами), не приводит к наложению непота, то продажа ссылок в автоматических системах (например, в той же sape), увеличивает эту вероятность. Если вы долго продаете ссылки и вас не тронул АГС, то проверьте свой сайт на этот фильтр. Большая вероятность того, что он там находится.

Как определить, что проект под непотом?

Точной схемы определения не существует, но большую вероятность дают следующие шаги.

1) Имеется 2 страницы разных сайтов, которые проиндексированы в яндексе. Можно взять и без индекса, но тогда в конце эксперимента они точно должны там оказаться.

2) На сайте, который необходимо проверить на непот, размещается ссылка с уникальным анкором, например, что-то неопределенного вида "jhkljjswe" или нового слова "кардиблестность".

4) Если при в яндексе по этому уникальному анкору выдается только сайт, на котором размещена ссылка, то это говорит о том, что этот ресурс под непотом.

Здесь не надо забывать, что 2 страницы должны быть проиндексированы в поисковой системе и должна быть уверенность, что размещаемая ссылка также в индексе.

Как выйти из под фильтра?

Непот - скорее всего, автоматический фильтр. Сайт автоматически под него попадает, также автоматически он и снимается. Если ваш проект продает ссылки, то уберите их и подождите некоторое время. Возможно, он снимется сам.

Кстати проверку на наличие сайта в непоте делает биржа размещения статей навсегда miralinks. Это не обязательно, но желательное требование к ресурсам, которые находятся в их каталоге.

Если делать вывод, то можно сказать, что фильтр для сайта, на которого он наложен безвреден. Он приносит некоторые проблемы проектам, которые купили (приобрели, разместили) ссылки на нем.

Но она была общей, сейчас мы добавим конкретики и рассмотрим один из фильтров, которые стоят на вооружении у Яндекса – это фильтр непот. Я постараюсь раскрыть все важные моменты, включая то, как защитить от этого недуга свой сайт. В статье будут освещены следующие вопросы:

Что такое “Непот”?

Это, странное на первый взгляд, слово “непот” своим происхождением обязано латинскому словечку nepos (или nepotis в родит. падеже). Его настоящее значение – это племянник и внук. Сам “непотизм” соответственно означает покровительство родственникам или друзьям. В российском лексиконе словом, обозначающим это понятие, является “кумовство”.

В сфере Интернета этим словом стали именовать ссылки, ведущие на ресурсы, которые не связаны общей тематикой со страницей, на которой они проставлены. Непот значительно помогает в деле быстрого наращивания ссылочной массы продвигаемым ресурсам, а страницам донорам позволяет легко зарабатывать, размещая за плату такие непот-ссылки. В итоге, в сети растут, как грибы после дождя, не нужные для людей ресурсы, а на тех, что все-таки сделаны для людей – появляются такие рубрики, как полезные ссылки, наши друзья и т.д. и т.п. Все это усложняет и искажает релевантность выдачи.

Как работает “Непот-фильтр”?

Ведущие поисковые машины для устранения описанного негативного влияния применяют непот-фильтры. На практике это означает – выявление непот-ссылок и их блокировку. Каждая поисковая машина применяет собственные алгоритмы реализации этого фильтра, но общие принципы можно сформулировать, не боясь очень сильно ошибиться.

Итак, фильтр может сработать на нетематичность, на сгруппированное расположение ссылок (блочность), повторяемость, массовость, на явное выделение ссылки из главного текста по формату и содержанию. Попав под действие непот-фильтра, ссылка снижается в значимости или вовсе отключается из ранжирования. Может попасть под санкции как просто сама ссылка или их блок, так и вся страница. Наложение фильтра делается автоматически.

Как определить наличие непот фильтра?

Как можно проверить включена ли санкция по определенной ссылке или не включена? Точного и однозначно верного решения этой задачи нет. В сети есть программы, которые автоматически выявляют, есть ли непот по ссылке или нет. Они работают по простому методу, который можно использовать и вручную. Как правило, он дает верные результаты.

У поисковой машины запрашивается текст требуемой ссылки и в результатах выдачи проверяют, находятся ли сайт-акцептор (на кого ведет проверяемая ссылка) и сайт-донор (на котором размещена ссылка, проверяемая на непот-фильтр). Для того, чтобы исключить разные случайные попадания страниц, можно использовать необычное ключевое слово (можно даже несуществующее). Например, вы придумали несуществующее слово, разместили его на сайте акцепторе, затем, с сайта донора проставили ссылку с этим же несуществующим словом. Когда обе страницы будут проиндексированы, ищем их по этому несуществующему слову.

Если найдутся оба сайта – вероятность того, что действует ограничение, практически исключена, если будет найден только один, то, скорее всего, фильтр к ссылке применен. Исключение может быть лишь в случае, если ссылка на сайте-доноре еще не проиндексирована или сам акцептор по каким-то иным причинам не в индексе или под другими санкциями.

Как обойти непот-фильтр?

Непот-фильтр существенно влияет на продвижение сайта. Обходить его сложно, но существуйте ряд правил, применение которых поможет избежать санкций.

• Старайтесь делать ссылку естественной, она должна гармонировать с окружающим текстом, в первую очередь, по смыслу.
• Не выделяйте ссылку из окружающего текста ни размером, ни цветом, ни шрифтом.
• Располагайте ссылки равномерно по тексту, а не блочно.
• Рядом со ссылками очень уместна будет контактная информация, какие-то названия, связанные со ссылкой или акцептором.

В общем, подтверждайте в глазах поисковиков естественность ссылки, и тогда ей не будут страшны никакие санкции.

Если ваш сайт уже попал под этот фильтр, то необходимо исправить его по тем же правилам. Этот фильтр не такой жесткий как АГС, поэтому, вести из под него ресурс вполне реально. Хотя и АГС не приговор – я писал как вывел из под него один из своих сайтов.