Мифы и реальность бана поисковых систем
После последней конференции Search Engine Strategies в Сан-Хосе я получила массу обращений с просьбой вывести сайты из бана Google и других ведущих поисковиков. Сначала я подумала, что обращаются бывшие клиенты черных оптимизаторов, сайты которых перешли к десерту: после эксплуатации поисковых систем к ним были применены санкции.
В ходе нескольких консультация я поняла, что некоторые сайты вообще не подвергались санкциям за поисковый спам. Я поняла, что людям свойственны завышенные ожидания от видимости сайта в поисковиках, ограниченные знания о технологических аспектах веб-сайтов и крайне размытое представление механизма работы поисковых машин.
Паук vs. Индекс
Я всегда получаю большое удовольствие от конференции не только как оратор, но и как участник. Я часто сажусь в задних рядах и прислушиваюсь к вопросам участников. Они показывают, насколько плохо люди разбираются в процессе оптимизации. Поэтому я намерена раскрыть часть информации.
Самые большие недоразумения на нынешней конференции возникали вокруг процессов сканирования и индексирования. Индекс можно назвать подмножеством паука поисковой системы. Машины получают доступ к контенту в процессе сканирования. Потом они отфильтровывают дубликаты и прочий некачественный контент и формируют индекс.
Возможно, профессиональные оптимизаторы, владельцы сайтов, профессиональные маркетологи и эксперты по юзабилити не понимают указанной концепции в силу того, что делают слишком большой акцент на ключевых словах. Прежде, чем создать сайт, необходимо провести исследование ключевых слов. Оно необходимо для того, чтобы понять, как люди описывают и структурируют продукцию/услуги, прежде чем строить навигацию по сайту. Можно до посинения размышлять о ключевых словах. Но поисковые системы не увидят эти замечательные ключевые слова до тех пор, пока вы не откроете доступ к ним.
Сайт может быть просканирован, но не внесен в индекс.
Вместо того, чтобы слишком много думать о ключевых словах, подумайте о доступе. Многие владельцы сайтов убеждены, что их детища подвержены санкциям поисковых систем, тогда как в действительности боты просто получили ограниченный доступ, либо вообще не получили доступа к контенту.
Санкции, или нет?
Прежде чем утверждать, что сайт подвержен санкциям, попробуйте рассмотреть технические причины, по которым он мог не быть включенным в индекс.
Просмотрите файл robots.txt и ограничивающие активность ботов мета-тэги. Обновлялась ли ваша система управления контентом? Правильно ли сделаны 301-е редиректы? Отдает ли сервер корректные коды HTTP-статуса?
301-й редирект указывает, что страница навсегда перемещена на новый адрес. Если бот не получил полного доступа к новому адресу, не факт, что страница будет отображаться в результатах поиска. Ко всему, если 301-е редиректы сделаны некорректно, они сведут на нет все усилия, направленные на получение ссылок.
Еще один технический момент – ссылочная структура. Линкфармы – подвид поискового спама. Владелец сайта в большинстве случаев не может влиять на то, как ссылаются на его сайт. Зато он имеет полный контроль над тем, каким образом он ссылается на другие сайты. Следовательно, поисковые системы редко применяют санкции к сайтам за то, каким образом на них ссылаются, за исключением линкфармов. Кроме того, сопровождая все исходящие ссылки со страницы атрибутом nofollow, владелец понижает рейтинг данной страницы. А это может негативно отразиться на видимости в поисковых системах.
После того, как рассмотрены все возможные технические причины, по которым сайт не сканируется/не индексируется, можно задуматься о санкциях. Вывод сайтов из бана – не самый веселый процесс. Нередко на устранение всего вреда, причиненного черными оптимизаторами, уходят месяцы.
Недавно я натолкнулась на сайт, забаненый за действия участников его партнерской программы. Собственно главный сайт не участвовал в линкопомойке, но многие партнеры участвовали в линкфармах. В результате Google забанил и аффилиатов и главный сайт.
Заключение
И слишком часто главной причиной, по которой люди начинают думать о санкциях поисковых систем, становятся их нереальные ожидания. Поисковики изменчивы. Не имеет никакого значения, были ли страницы вашего сайта в топ-10 на протяжении пяти последних лет. Ни один сайт не закрепляется в топе навсегда.
В Сети ежедневно появляются новые сайты. Иногда эти сайты предлагают пользователям контент и удобства, которые гораздо лучше ваших. В результаты поиска попадают дорвеи и прочий спам. И, наконец, алгоритмы поисковых систем далеко не всегда идеальны. Анализ ключевых слов, развитие сайта, юзабильность и поисковая оптимизация – бесконечный процесс. Постоянный качественный трафик с поисковых систем и других уважаемых ресурсов получат те сайты, которые работают в этом направлении.
Неавторизованный перевод отсюда
