ПМ индексируют основной текст страниц, а также названия файлов, содержащих этот текст и изображения. Поэтому чтобы повысить ранг сайта по ключевым словам, следует включить эти слова в названия файлов. Например, если Вы оптимизируете сайт ювелирного магазина, назовите страницу не catalog7.htm, a gold-jewelry.htm, а рисунок -не photo43.jpg, а gold-chain.jpg. Это в большей степени относится к оптимизации англоязычных сайтов, но бывает полезным и при оптимизации русскоязычных сайтов тоже. Очень часто русскоязычные пользователи для поиска информации используют общепринятые английские аббревиатуры, например, MBA, SEO, GAAP и т.п.

Помните, что ПМ не могут выделять слова из названия файла, если они написаны не через дефис. Именно поэтому в именах доменов многих компаний присутствует дефис. Таким образом, если Вы хотите, чтобы ПМ различали слова в названии страниц, пишите не www.site.ru/seotest.htm, а www.site.ru/seo-test.htm. Не стоит использовать подчёркивание, так как ПМ не воспринимают его как разделитель.

Robots.txt и Robots Meta Tag
Robots Exclusion Protocol (файл Robots.txt) - ещё один способ указать ПМ, какие страницы не следует индексировать.

Когда поисковый робот заходит на сайт, он первым делом проверяет, существует ли файл www.site.ru/robots.txt. Если таковой имеется, то робот анализирует его и руководствуется полученным содержанием.

Файл Robots.txt содержит следующую информацию:

User-agent: *
Disallow: /

Эти строки запрещают определённым роботам или пользовательским агентам просматривать заданные каталоги и страницы сайта. Звёздочка означает, что указания распространяются на всех роботов, но если Вы хотите, чтобы запрет действовал на какого-то отдельного робота, укажите его имя вместо звёздочки.

В строке "Disallow" следует указать файлы и каталоги, которые Вы не хотите индексировать. Например, большинство администраторов не хотят, чтобы индексировалась директория cgi-bin. В этом случае в файле Robots.txt следует указать:

User-agent: *
Disallow: /cgi-bin/