В сфере поисковой оптимизации существует такой термин, как клоакинг. Как и большинство других терминов, касающихся интернет-технологий, этот тоже позаимствован из английского языка и переводится дословно как «скрывать», «прятать» или «маскировка». Клоакинг — это стратегия оптимизации сайтов, которая подразумевает показ поисковому роботу оптимизированной страницы, в то время как вниманию реального пользователя предоставляется совершенно другая страница.
В большинстве случаев эти две страницы в корне отличаются друг от друга – для робота создается страница с очень высокой степенью оптимизации. К примеру, для робота выдается страница, содержащая список самых популярных музыкальных композиций (MP3-файлов), а в ответ на запрос пользователя выводится страница, на которой предлагается посетить интернет-магазин музыкальной тематики. В результате пользователи глобальной сети, которые искали новые композиции в виде MP3-файлов, попадают на совершенно другой ресурс, преследующий свои коммерческие цели – продажу компакт-дисков, например.
Сам клоакинг основан на результатах работы специальных скриптов и программ, которые функционируют на серверной стороне. Эти скрипты генерируют исходный код страницы на основе данных, которые могут меняться в зависимости от запрашивающей стороны: параметры HTTP-запроса, системные переменные сервера и окружения, а также другие показатели. После детального анализа ряда данных определяется источник запроса – поисковый робот или реальный пользователь. И в результате такой идентификации формируется код необходимой страницы, в каждом случае разной.
Реализовать клоакинг средствами, использующимися на стороне клиента (HTML и JavaScript), невозможно. На первый взгляд может показаться, что нет методов выявления клоакинга, ведь реальная страница доступна только пользователям, а оптимизированный вариант выдается только по запросу робота. Но все же существуют способы определения наличия клоакинга. Эта тема будет раскрыта ниже.
Как же установить, что запрос был отправлен от робота поисковой системы? Для этого используются два способа:
- Проверка поля User-agent заголовка.
- Проверка исходящего IP-адреса.
Клоакинг на основе User-agent
Это самый простой способ клоакинга, в ходе которого происходит проверка данных, вводимых в поле User-agent. Именно в этом месте, как правило, размещаются строки, содержащие данные, идентифицирующие робота. Скрипт, реализующий клоакинг (подменяющий страницы), имеет доступ к списку этих строк или подстрок. Программа сравнивает данные из своей базы данных и строку из поля User-agent и генерирует оптимизированную страницу, причем возможна выдача каждому роботу своего варианта оптимизированной страницы.
Такой вид клоакинга определяется довольно просто. Для этого необходимо с помощью расширений к веб-браузерам или специально разработанных программ сделать необходимые изменения в запросе к серверу, представившись роботом. В результате, если имеет место клоакинг, в ответ вы получите оптимизированную страницу.
Клоакинг на основе IP-адреса
Более изощренный способ основан на идентификации IP-адреса стороны, выполняющей запрос. IP-адрес – это параметр, который практически не поддается подделке. Все поисковые системы обладают диапазонами адресов своих корпоративных подсетей.
Имея базу данных с соответствующими адресами, можно выборочно генерировать оптимизированные веб-страницы любому веб-клиенту из зарегистрированных подсетей. Но даже при этом, казалось бы, более хитроумном способе можно определить клоакинг. Для этого достаточно воспользоваться прокси-сервером, использующим IP-адреса из другого диапазона. К тому же большинство поисковых систем предоставляют к услугам пользователей возможность просмотра сохраненных поисковыми роботами копий веб-страниц. Воспользовавшись таким сервисом, рядовой пользователь может увидеть оптимизированный вариант страницы, что позволит выявить клоакинг.
Комплексный подход
Для определения поискового робота можно применять оба метода одновременно. На первом этапе определяется принадлежность IP-адреса к определенному диапазону адресов, затем выполняется проверка поля User-agent.
Клоакинг во благо
Принцип обработки запроса к серверу, на котором основан клоакинг, можно использовать и в благих целях. В качестве примеров можно назвать: выдачу определенного варианта веб-страницы в зависимости от языковых настроек браузера; в зависимости от географического положения пользователя он перенаправляется на ближайшее зеркало сайта; решение вопросов кроссбраузерности – выдача варианта веб-страницы, который корректно отображается в определенном браузере, и другие варианты.
Как яркий пример белого клоакинга можно назвать поисковик Google, который на основе региональных и языковых настроек браузера перенаправляет пользователя на соответствующий локализованный вариант главной страницы.
Заключение
Применяя клоакинг или другие подобные ему методы, необходимо иметь в виду, что именно явные попытки обмана поисковых систем могут послужить причиной для бана. А в том случае, если клоакинг используется с целью заботы о пользователе, то такой подход не сможет причинить вред вашему ресурсу.
Также стоит отметить, что по запросу поискового робота ему предоставляется лишь одна версия страницы из всех возможных. Так, к примеру, при генерации разноязычных версий поисковый робот Google получит англоязычный вариант и не узнает о существовании страниц на других возможных языках, а роботу Яндекса для индексации достанется русскоязычная версия. Остальные же версии будут недоступными до тех пор, пока на них не сослаться явно.
