Благодаря удобному и надежному инструментарию для веб-мастеров от поисковой системы Google — Google Webmasters Tools вы в любой момент можете получить актуальную информацию об индексации вашего сайта, о том, какие ошибки были обнаружены на нем, возникали ли проблемы при обращении поискового робота к различным страницам, по каким поисковым запросам пользователи приходят на сайт и какие ресурсы на него ссылаются, а также многое другое. За последний год инструменты для веб-мастеров от Google изменились, появились новые функции и возможности.
В первую очередь для работы с Google Webmaster Tools вам понадобится создать учетную запись на Google, войти под своим логином и активировать инструменты веб-мастера для вашего аккаунта. Уже на следующем шаге работы с сервисом вы сможете добавить адрес своего сайта через специальную форму.
Еще до прохождения проверки на принадлежность сайта вы получите доступ к сводной информации, которой располагает Google о данном ресурсе: какие страницы проиндексированы, когда в последний раз поисковый робот посещал сайт, страницы каких сайтов содержат ссылку на ваш, анализ robots.txt.
Для получения более детальной статистики нужно подтвердить, что сайт, адрес которого вы внесли в ваш инструментарий для веб-мастера, действительно принадлежит именно вам. Для этого есть два простых (для владельца сайта) способа. Во-первых, можно установить в блоке заголовков <head> </head> специальный мета-тег вида <meta name="verify" content="уникальный код для вашего сайта" />, который будет считан роботом Google. Во-вторых, предусмотрена возможность доказать принадлежность вам сайта посредством загрузки на сервер специального html-файла.
После прохождения сайтом проверки вы получите полный доступ ко всей имеющейся у Google информации о нем. Работа со статистикой сайта ведется в шести общих разделах: «Общая информация» (Overview), «Диагностика» (Diagnostics), «Статистика» (Statistics), «Ссылки» (Links), «Карты сайта» (Sitemaps), «Инструменты» (Tools).
Общая информация о сайте
Первый раздел — «Общая информация» — содержит такие данные, как доступность сайта для поискового робота Google, наличие проиндексированных страниц сайта в поисковой выдаче, доступность для считывания для робота карт сайта (sitemap) и подробную информацию об ошибках, возникших при обращении кроулера к сайту. Эти ошибки разделены на следующие категории: нерабочие ссылки из карты сайта (Errors for URLs in Sitemaps), ошибки протокола HTTP (HTTP errors), отсутствующие страницы (Not found), нерабочие ссылки (URLs not followed), ссылки, переходы по которым запрещены в файле robots.txt (URLs restricted by robots.txt), страницы, обращение к которым не было завершено по тайм-ауту (URLs timed out), недоступные страницы (Unreacheable URLs). В случае если в базе данных Google имеется информация об ошибках любого из приведенных выше типов, то здесь же, в сводной информации по сайту, имеется ссылка на страницу с подробностями о возникшей проблеме.
Раздел «Диагностика» (Diagnostics) содержит более подробную информацию о проблемах, возникающих у поискового робота при обращении к страницам сайта (Web Crawl), перечисление потенциальных проблем с мета-данными сайта (Content Analysis), такими как заголовки и описания страниц (meta title, meta description), а также данные о проблемах, возникающих у кроулера при обращении к страницам, созданным специально для просмотра с мобильных устройств (Mobile Crawl).
Именно в подразделе Web Crawl содержится расшифровка ошибок, приведенных в разделе «Общая информация». Здесь вы узнаете, какие именно страницы были недоступны для робота, содержали битые ссылки, были запрещены к индексации, а также данные о страницах, на них ссылающихся, дату обращения робота к проблемной странице, код полученной ошибки.
Подраздел Mobile Crawl располагает информацией об ошибках обращений к файлам форматов CHTML и WML/XHTML. А благодаря подразделу Content Analysis вы сможете оптимизировать заглавия и описания имеющихся на сайте страниц таким образом, чтобы поисковая машина Google могла наиболее точно определить тематику сайта и извлечь максимум необходимой для ранжирования страниц информации. Здесь перечислены такие возможные недостатки мета-данных, как пропущенные или дублирующиеся заглавия (Missing title tags, Duplicate title tags), слишком длинные или, наоборот, слишком короткие заглавия страниц (Long title tags, Short title tags), неинформативные заголовки (Non-informative title tags), а также приведены проблемы с описаниями страниц (Meta description issues) и примеры возможно неиндексируемых страниц сайта (Non-indexable content issues).
Раздел «Статистика» (Statistics) содержит на данный момент такую информацию: поисковые запросы, по которым пользователи наиболее часто попадают на ваш сайт (Top search queries); дистрибутивные данные о сайте (Crawl stats); для сайтов, распространяющих информацию в виде фидов, — данные о подписчиках в iGoogle, Google Reader и Orkut (Subscriber stats); детальные данные о том, как именно бот Google «видит» ваш сайт (What Google bot sees); подробности об индексации сайта (Index stats).
В подразделе Top search queries имеется две таблицы: 20 поисковых запросов, по которым ваш сайт наиболее часто появлялся в поисковой выдаче, и 20 поисковых запросов, по которым пользователи чаще всего переходили на ваш сайт. В обоих таблицах также показано место в выдаче, которую занимал сайт по текущему запросу. Эти же данные можно получить для различных промежутков времени, для региональных разделов Google, а также конкретизировать область исследования: общая поисковая выдача, поиск в картинках, поиск с мобильных устройств.
В подразделе What Googlebot sees в виде таблиц приведена информация о том, какие активные тексты используются во внешних ссылках на ваш ресурс, — клик по приведенным фразам покажет также вариации текстов, встречающиеся на различных сайтах; какие ключевые слова наиболее точно соответствуют вашему сайту с точки зрения Google как в его описаниях на сторонних ресурсах, так и из собственного содержимого. Также здесь в графическом виде представлена информация о том, какие кодировки встречаются на сайте и документы каких форматов проиндексированы.
В подразделе Crawl stats в виде диаграмм представлены сведения о том, сколько страниц было считано роботом в день, сколько килобайт информации загружено, сколько времени в миллисекундах затрачено на скачивание страницы за последние девяностно дней. Здесь же вы получите наглядное представление о распределении PR (Google page rank) по страницам вашего сайта, а также о том, какая из страниц сайта обладала наивысшим показателем за последние три месяца.
Подраздел Index stats содержит общедоступную информацию: сколько страниц вашего сайта проиндексировано, какие сайты ссылаются на его главную страницу, вид кешированной главной страницы на текущий момент, общая информация, которой располагает Google о сайте, и данные о страницах, похожих на главную страницу вашего ресурса.
В подразделе Subscriber stats вы узнаете, сколько подписчиков на ваши фиды имеется в iGoogle, Google Reader, Orkut. Так как существует множество альтернативных сервисов чтения новостных лент, общее число читающих пользователей может быть намного больше.
Что такое Sitelinks и как это выглядит
Раздел Links предоставляет веб-мастеру информацию об имеющихся в поисковом индексе Google внешних ссылках на сайт, внутренней перелинковке сайта и так называемых sitelinks. Sitelinks (ссылки сайта) — это дополнительные ссылки, которые Google иногда генерирует из содержания вашего сайта с целью облегчить пользователю поиск информации на вашем сайте. Список ссылок создается динамически, поэтому может изменяться, соответствуя изменениям на вашем сайте.
Протокол SiteMap позволяет проинформировать поисковые системы об имеющихся на сайте доступных для индексирования страницах
Раздел Sitemaps* — «Карты сайта» — представляет пользователю возможность загрузить файлы, сообщающие поисковой машине о структуре сайта. Здесь же вы можете управлять этими файлами.
Карта сайта может быть создана посредством SiteMap Generator* – простого скрипта, который может быть сконфигурирован таким образом, чтобы автоматически создавать карту сайта и отправлять ее в Google. Генератор может создавать карту из списка адресов страниц, статистики доступа или из путей к файлам, соответствующим адресам страниц. Также существуют другие специальные программы для создания карт сайта, либо подобная карта может быть создана веб-мастером вручную.
С момента когда карта загружена, становится доступна полезная статистическая информация о статусе карты. В разделе Sitemaps ("Карты сайтов") веб-мастеру предоставляется отчет о том, имеются ли какие-либо проблемы с загруженной картой или включенными в нее адресами страниц. В любой момент возможно внести изменения в карту сайта и вновь загрузить ее посредством «Инструментов» веб-мастера.
Раздел Tools ("Инструменты") состоит из следующих подразделов. Analyze robots.txt ("Анализ файла robots.txt") — содержит информацию о том, какие именно запреты на индексацию вводятся посредством этого файла, а также возможность теста различных страниц сайта на доступность поисковому роботу. Generate robots.txt ("Создание файла robots.txt") — позволяет прямо здесь же составить файл запретов индексирования для различных роботов.
Настраиваем страницу ошибки при запросе к отсутствующему файлу
Enhance 404 pages ("Улучшить страницы с ошибкой отсутствия страницы") — помогает пользователю, получившему от сервера ответ об отсутствии запрашиваемой страницы, найти необходимую информацию. Set geographic target ("Установки геотаргетинга") — позволяет проассоциировать ваш сайт с определенной географической областью. Enhance image search ("Улучшить поиск по картинкам") — вы можете разрешить Google проводить поиск по изображениям, размещенным на вашем сайте. Manage site verification ("Управление принадлежностью сайта") — вы получите список всех подтвердивших свои права на управление сайтом веб-мастеров. Set crawl rate ("Установка интенсивности индексирования") — содержится статистика того, как часто поисковый робот бывает на вашем сайте, имеется также возможность установить скорость обращения робота к страницам. Set Preferred Domain ("Установка предпочтительного домена") — при наличии нескольких доменов, указывающих на ваш сайт (с www. или без), вы можете указать наиболее предпочтительный вариант отображения сайта в индексе Google. Remove URLs ("Удаление URL") — инструментарий для удаления страниц сайта из поискового индекса.
Инструменты веб-мастера доступны прямо с домашней страницы Google
Gadgets — вы можете настроить свою стартовую страницу на Google таким образом, чтобы прямо на ней получать информацию из Webmaster Tools.
