Вам когда-нибудь встречался похожий URL?

http://www.site.ru/product.asp?productid=2

Этот URL говорит о том, что контент страницы создаётся динамически с помощью таких технологий, как:

• Active Server Pages (.asp);
• Cold Fusion Pages (.cfm);
• Java Server Pages (.jsp);
• Hypertext Preprocessor (.php).

Сайты, создаваемые динамически, обычно содержат несколько шаблонов страниц, а их содержимое хранится в базе данных. Когда страница запрашивается браузером, шаблон автоматически обращается к базе за нужным содержимым.

Чтобы отобразить нужную страницу, шаблон смотрит на указания, заключённые в URL, и запрашивает у базы соответствующее содержание. Эти указания называют параметрами или переменными, а часть URL, содержащую их, - строкой запроса ("query string").

Например, приведённый выше URL указывает шаблону product.asp, что при каждом обращении к данной странице необходимо загрузить из базы содержание для продукта номер 2.

Влияние динамического содержания на совместимость с ПМ

Вопросительный знак (?) или другой стоп-символ информируют ПМ о том, что данная страница формируется динамически. Стоп-символы, способные помешать индексированию: амперсанд (&), доллар ($), равенство (=), плюс (+), процент (%).

В приведённом примере (http://www.site.ru/product.asp?productid=2) URL содержит только один параметр. В настоящее время большинство ПМ могут индексировать страницы с таким адресом. При большем количестве параметров возможны затруднения.

Несколько параметров могут понадобиться на больших сайтах, где на одной странице используется несколько шаблонов, каждый из которых отвечает за некоторую её область. Параметры отделяются друг от друга амперсандом (&):

http://www.site.ru/product.asp?productid=2&producttype=large

Приведённый выше URL указывает шаблону product.asp, что при каждом обращении к данной странице необходимо загрузить из базы содержание для продукта номер 2, ПРИЧЁМ для версии large этого продукта.

Такой вид URL усложняет индексирование, так как ПМ не знает, что означает каждый параметр, а также является ли данный URL уникальной страницей. URL динамически создаваемых страниц выглядят очень похоже - ещё одна головная боль для ПМ, которые пытаются выделить и проиндексировать уникальные страницы и избежать повторного индексирования. ПМ всего лишь хотят индексировать содержание один-единственный раз и предпочитают, чтобы один и тот же текст не подсовывали им снова и снова, что часто случается с динамически формируемыми страницами.

Поэтому когда поисковый робот встречает URL с несколькими параметрами, который он не может понять, или со стоп-символами, которые показывают наличие нескольких параметров, он, скорее всего, откажется следовать по этому URL. Отсюда жалобы владельцев больших динамически формируемых сайтов на то, что их страницы не индексируются.

Страницы, URL которых уникален для каждой сессии каждого пользователя, сталкиваются с такой же проблемой:

www.site.ru/product.jsp?sessionid=: 1234567 и www.site.ru/product.jsp?sessionid=3456789

Эти страницы имеют различные URL, но при этом указывают на одно и то же содержание, т.е. - являются дубликатами. В URL таких страниц (созданных с помощью технологии Java Server Pages) содержатся стоп-символы «?» и «=». Это говорит ПМ о том, что вероятно дублирование содержания, поэтому всё, что находится за «?», индексировать не следует. Таким образом, будет проиндексирована только страница www.site.ru/product.jsp.

Также многие ПМ не индексируют страницы, URL которых содержит динамические параметры, так как это может оказаться ловушкой: бесконечный цикл или бесконечное число таких страниц могут «поймать» поискового робота и остановить процесс индексирования.