В последнее время опытные оптимизаторы (это те, которые ещё помнят апдейты Яндекса раз в несколько месяцев) стали замечать, что новые сайты как-то неохотно влетают в индекс поисковых систем. И если с Google проблема как-то более-менее решима, то Яндекс даже после напора отказывается «захламлять» свою выдачу новыми страницами.

Я сам с этим столкнулся, индексируя блог своей девушки на новом домене. Даже по прошествии 3-4 апдейтов выдачи, Яндекс сообщал, что «сайт успешно добавлен в очередь для индексации» и стоит только подождать, потому как «обычно это занимает не более двух недель». Предлагаю разобраться, как можно помочь поисковым роботам быстрее найти новые страницы ваших сайтов и добавить их в индекс.

Методы ускорения индексации

Аддурилка – форма у поисковых систем, в которую можно добавить новую страницу, что называется «руками». Ходит мнение, что данная возможность либо совсем не помогает для индексации новых страниц, либо является неким «палевом» для откровенно некачественным ресурсов. Это не так, по своему опыту убеждаюсь, что даже проспамленные Хрумером профили индексируются после добавления в эту самую аддурилку намного быстрее, чем без этого.

Sitemap XML или Карта сайта. Пожалуй, самый важный SEO элемент любого современного сайта, будь это небольшой личный блог (типа моего блога дизайнера) или крупный новостной портал, число страница на котором исчисляется тысячами. Карта сайта представляет собой простой XML файл, который обычно храниться в корне сайта: http://onlinehuligan.ru/sitemap.xml и содержит все ссылки, которые необходимо, с точки зрения администратора, включить в индекс. Это могут быть посты, страницы, разделы или даже страницы с метками (последнее всё же лучше запретить к индексации).

Отдельная лента Twitter. Я думаю, что у каждого из вас есть личный микро блог на Twitter и вы регулярно записываете туда свои мысли, обмениваетесь с друзьями советами и делитесь интересными ссылками. Именно последнее можно использовать как катализатор индексации своего блога!

Только стоит учесть, что поисковые системы (в частности Яндекс) не могут пока переходить на страницы, которые идут через редирект. Напомню, что по умолчанию, Twitter использует сервис bit.ly для укорачивания ссылок, которые публикуются автоматически в ленту аккаунта. Поэтому стоит публиковать полный URL ссылки, что бы добиться прихода робота на страницу максимально быстро.

Такая ссылка не будет проиндексирована.

А такая, скорее всего, влетит в индекс мгновенно.

Кстати, можно подстраховаться и создать несколько отдельных Twitter блогов, в которые будут публиковаться новые ссылки на блог для скорой индексации.

RSS агрегаторы. Ещё один неплохой вариант добиться моментальной индексации новых страниц. Секрет прост: сервисы – агрегаторы и бесчисленные RSS каталоги регулярно парсят ленту вашего блога, размещая ссылки на новые записи у себя на страницах. Так как поисковые систему уже давно облюбовали подобные ресурсы, то и на ваш сайт они с удовольствием перейдут.

Только стоит понимать, что каталоги ни в коем случае не должны получать от вас полные тексты ваших постов через RSS, иначе таким образом, вы провоцируете наличие большого числа копий текстов. Лучшим вариантом станет размещение заголовка в виде прямой ссылки на новую статью. Вот где справедлива поговорка «Краткость – сестра индексации!» © Я.

В Google

Google работает намного быстрее в сравнении с другими поисковыми системами. Очень часто новые страницы в индекс добавляются в течении 20-30 минут после размещения. Как ему удаётся обходить миллионы ресурсов ежеминутно – просто чудо, но между тем секреты есть и успешные веб-мастера их знают!

Кстати, лучшим решением для мгновенной индексации новых страниц у Google является как раз не наличие различного рода Sitemap.xml или лент в социальных сервисах, а весомый такой PR для морды блога, что очень часто означает наличие сквозняков с крупных сайтов. Вот он, прогресс!

Теперь знаем и мы.

В Яндексе

Яндекс традиционно более медленная поисковая система, чем тот же Google. Это происходит по абсолютно банальной причине – мощностей отечественной компании не хватает, что бы запускать роботы, которые будут в режиме реального времени путешествовать по сети Интернет и искать новые страницы. У Яндекса уже есть первые прототипы, которые носят имя Быстробот, но это пока больше способ донести до индекса новости, чем увеличить скорость индексации сайта.

Если вы привели на сайт Быстробота, это не значит, что страница будет проиндексирована и включена в основную выдачу. Это скорее попытка, чем 100% гарантия. Так что стоит позаботиться о наличии всяких «помогалок» типа Twitter, RSS или Sitemap.xml.

Ещё одним очень важным параметром можно считать  регулярное обновление своего сайта. Заметил, что чем чаще вы размещаете на ресурсе новые статьи, тем более быстро они попадают в индекс, в то время как на «устоявшихся» визитках можно ожидать индексации страницы до нескольких месяцев! Так называемый, эффект новостного сайта.

Послесловие

Если вы хотите узнать больше про то, как добавить сайт в поисковики и добиться моментальной индексации новых страниц (в Яндекс, Google, Rambler, Yahoo, Bing), стоит посетить сайт KtoNaNovenkogo.ru. Здесь вы получите не только полезные советы, но и настоящие инструкции о создании, развитии и монетизации своих сайтов.

Не совсем согласен с мнением автора о том, что для сайта важны все поисковые системы, такие как Turtle, Nigma или GoGo.ru (кстати, последнего уже несколько лет нет), но азы для новичка даны вполне верные. Мне кажется, что KtoNaNovenkogo.ru можно считать одним из лучших информационных каталогов статей для web специалиста любого профиля.

На самом деле нереально полезный и интересный сайт, который стоит добавить в закладки любому веб-мастеру и блоггеру. Браво авторам!

Опубликовано в разделе: Интернет Метки: SEO