Сегодня, как никогда оперативно, Яндекс дал ответ на заданный в с SEO-клубе на Я.ру вопрос оптимизатора. Главный интернет-маркетолог InterLabs Олег Сахно в полдень опубликовал пост о том, что сегодня произошел резкий скачок количества проиндексированных поисковиком документов – их стало больше на 1 миллиард. Отметим, что за целый год с апреля 2007 года до сегодняшнего дня количество страниц в интексе Яндекса постепенно увеличилось примерно на тот же 1 миллиард.

Поэтому логично, что оптимизаторы начали строить различные предположения о возможном «глюке циферки» или «выпускании на свободу» дорвеев.

Однако буквально через два часа на Яндекс.Вебмастере появился ответ: Яндекс начал искать по зарубежному интернету.

Команда Яндекса сообщает о том, что поскольку 15% пользовательских запросов к поисковой системе не содержат кириллицу, очевидна необходимость расширить базу за счет зарубежного интернета. В выдаче Яндекса и раньше можно было видеть иностранные документы, однако они были только из русскоязычной зоны интернета (она включает в себя в основном домены СНГ), т.е. по сути, выдача по иностранному запросу была бедной и вряд ли релевантной.

Итак, Я.Вебмастер сообщает: «Теперь мы существенно расширили базу за счет зарубежного интернета. Пока в выдачу по запросу попадает не более одного иностранного документа из этой зоны. Ранжирование происходит в соответствии с общими правилами, то есть, такой документ окажется на первом месте, только если он наиболее соответствует запросу».
Размер базы зарубежного интернета -- примерно 1 млрд веб-страниц, и эта цифра будет расти».

По поводу размеров базы вопросов не возникает, действительно как раз на миллиард страниц примерно и увеличилась база, судя по статистике. Разумеется, такое количество страниц было проиндексировано не за один день. По предположению Олега Сахно, начало индексации зарубежных ресурсов могло совпасть с установкой собственного сетевого оборудования Яндекса во Франкфурте, благодаря которому тогда было обещано увеличение скорости обмена трафиком. В этом случае зарубежные источники индексировались уже в течение 3-х месяцев. Или индексацию могли начать еще раньше, с появлением четвертого дата-центра в сентябре 2007 года. В любом случае, к сегодняшнему заявлению Яндекс готовился пошагово, а сегодня подключил кластеры с иностранными документами к общей базе кластеров.

Кстати, еще до появления нового дата-центра внимательные пользователи замечали в выдаче Яндекса значительное количество не русскоязычных сайтов. Одних только страниц из доменной зоны Германии (.DE) тогда было 3 571 911 (rhost="de*"). Заметим, что теперь эта цифра составляет 11 797 315. Количество страниц зоны .FR (Франция) по сравнению с датой сентябрьского поста выросло в 170 раз.

О том, что действительно Яндекс индексирует иноязычные сайты, говорит хотя бы вот такой пример: