Советы по написанию текстов для лучшей индексации поисковиками. Бортовой журнал На что влияет индексация при продвижении

  • 02.07.2020

Современное общество уже не представляет жизни без социальных сетей. Интернет-аудитория активных пользователей продолжает неуклонно расти. Предлагаю взглянуть на это все со стороны продвижения бизнеса. Какие социальные сети индексируются поисковиками и помогают ли социальные факторы в поисковом продвижении сайтов?

Индексация Twitter

Поисковые системы охотно индексируют твиты. У Яндекса даже есть отдельный поиск по твитам. Ссылки в твитах также индексируются, в том числе и непрямые (например, через сервисы goo.gl/ и др.). При этом твиттер индексируют быстророботы, узнать такие ссылки в выдаче можно по указанной рядом дате или времени:

До момента ее индексации подобная ссылка передает только трафик с твиттера. Интернет в целом движется в сторону социальщины, так что пора начинать «собирать лайки на коммерческие сайты», чтобы оказаться на гребне волны, когда поисковые машины пересмотрят свою политику.

Итак, для того чтобы твит лучше индексировался, нужно:

  • большее количество ретвитов;
  • добавление в favorites;
  • авторитетный аккаунт

Таким образом твиттер помогает продвижению сайта и ускоряет его индексацию.

Индексация Одноклассников

Около недели как страницы пользователей социальной сети « » начали индексироваться поисковиками. Это относится и к группам. Любой пользователь может отключить функцию индексации, чтобы защитить личную информацию о себе. Также у пользователей социальной сети есть возможность выборочно закрывать от поисковиков свою информацию – статусы, фотографии и другую информацию.

Индексация Facebook

Cсылки в Facebook стоят с атрибутом nofollow, т.е. вес по ним не передается поисковым системам и не влияет на тИЦ и PageRank. Но они все равно индексируются поисковиками. И наибольшую пользу приносят лайки самой социальной странички компании, а не публикаций на ней. Именно такие ссылки учитываются поисковыми системами. Чем больше лайков получает страница в Facebook продвигаемого сайта, тем больше ссылок с разных страниц пользователей социальной сети будет стоять на продвигаемый сайт.

Наибольшую ценность и вес, как и в твиттере, представляют лайки авторитетных аккаунтов и известных страниц. Это так же положительно сказывается и на трафике сайта. Для привлечения лайков на продвигаемый сайт можно создавать интересный контент, проводить различные конкурсы и опросы.

Влияние на SEO несколько ниже, чем у Twitter, но тем не менее приносит определенную пользу, и не стоит этим пренебрегать.

Индексация Google+

Хотя Мэтт Катс в свое время заявлял, что Google+ не имеет прямого влияния на релевантность сайта, по нашему опыту подобное влияние все же существует. В выдаче Google отдает предпочтение сайтам, добавленным в Google+ Круги. При поиске по местным результатам Google часто ставит местные Google+ результаты выше других.

Положительно на продвижение влияют не только +1 от авторитетных пользователей (Google Author Rang), но и пользователей старой почты Gmail. Проверенное авторство на информацию в Google+ служит залогом доверия у поисковой машины, т.е. в выдаче информация от проверенного аккаунта будет иметь большую релевантность, чем информация без подобной проверки.

Но не стоит искусственно накручивать +1, это чревато санкциями со стороны поисковика, ведь определить такие манипуляции для Google не представляет большого труда.

Индексация ВКонтакте

ВКонтакте все ссылки стоят через редирект, т.е. для передачи тИЦ и PageRank они бесполезны. Но в выдаче Яндекса можно найти профили из , а в поиске по блокам – статусы и заметки, где так же могут быть размещены и ссылки. Как минимум это обеспечит дополнительный трафик.

Яндекс так же обращает внимание на количество человек в группе продвигаемого сайта, а вернее на виджет, расположенный непосредственно на сайте. Если их более 500, поисковик учитывает эти данные при ранжировании сайта.

Индексацию личного профиля поисковыми системами при желании можно отключить.

Индексация YouTube

Все хорошо знают чей это сервис) Очень хорошо индексируется в Google, немного хуже в Яндексе. YouTube может дать большое количество посетителей. Для этого нужно заполнять все поля (описание,теги), выбрать удачное изображение на обложку видео. Особенно важно — это заголовок видео и ссылка на ваш ресурс.

Индексация Pinterest

В настройках социальной сети Pinterest можно выбрать будет ли ваш профиль индексироваться поисковыми системами или нет. В Яндексе не было замечено чтобы он индексировал профили. В Google все хорошо. Если у вас есть сайт то лучше добавить его в профиль.

Индексация Instagram

Пользователям Instagram которые предпочитают использовать функцию приватного доступа к аккаунту в Instagram, нет нужды беспокоиться о вопросах приватности с веб-профилями.

По словам разработчиков, если у вас приватный аккаунт, ваши фотографии смогут увидеть только залогиненные пользователи, которым вы дали доступ. Это также означает, что только эти ваши подписчики смогут комментировать и лайкать ваши фото в сети.

Более того, поисковики не индексируют фотографии в Instagram - вне зависимости от настроек приватности. Если у вас есть сайт то рекомендуется добавить его в профиль. Это будет бонусом как для поисковой индексации так и для узнаваемости.

В заключение

Ссылки из социальных сетей не имеют определяющего значения на положение сайта в выдаче и не передают вес сайту, но тем не менее косвенно влияют на его продвижение. Социальные сети и блогосфера – это миллионы людей, которые своими поведенческими реакциями отражают в том числе и свое отношение к сайтам. И для поисковиков социальные факторы – это в первую очередь человеческие сигналы, которые так же можно применять для . Пренебрегать SMM не стоит. Но даже если у вашей компании нет своей странички/группы в социальной сети, вы не ведете корпоративный блог или твиттер, имеет смысл хотя бы разместить на сайте кнопки социальных сетей для привлечения дополнительного трафика. Это пойдет только на пользу!

P.S Возможно я забыл какую то популярную социальную сеть которая индексируются поисковиками, напишите в комментарии.

Твитнуть

Отправить

Индексация сайта в поисковиках - как она происходит и как ее ускорить - 5.0 out of 5 based on 1 vote

После создания собственного сайта многие веб-мастера расслабляются и думают о том, что самое сложное уже позади. На самом деле это не так. В первую очередь сайт создается для посетителей.

Ведь именно посетители будут читать страницы со статьями, покупать товары и услуги, размещенные на сайте. Чем больше посетителей, тем больше прибыль. А трафик с поисковиков – это основа всего, поэтому так важно чтобы индексация сайта проходила быстро и страницы держались в индексе стабильно.

Если трафика нет, то о сайте мало кто вообще узнает, особенно данное положение актуально для молодых интернет-ресурсов. Хорошая индексация способствует скорейшему попаданию страницы в топ поисковых систем и как следствие, привлечение большого количества целевых посетителей.

Что представляет собой индексация и как она происходит

Для начала нужно понять, что это такое. Индексация сайта - это процесс сбора информации со страниц сайта с последующим занесением ее в базу данных поисковой системы. После этого происходит обработка полученных данных. Далее, через некоторое время, страница появится в выдаче поисковика и люди смогут находить ее, используя данную поисковую систему.

Программы, которые осуществляют сбор и анализ информации, называются поисковыми роботами или ботами. Каждый поисковик обладает собственными роботами. У каждого из них свое название и предназначение.

В качестве примера можно выделить 4 основных типа поисковых роботов Яндекса:

1. Робот, индексирующий страницы сайта. Его задача – обнаруживать и заносить в базу данных найденные страницы с контентом.

2. Робот, индексирующий картинки. Его задача – обнаруживать и заносить в базу поисковика все графические файлы со страниц сайта. Затем эти картинки могут быть найдены пользователями в поиске по изображениям от Google или в сервисе Яндекс.Картинки.

3. Робот, индексирующий зеркала сайтов. Иногда сайты имеют несколько зеркал. Задача данного робота – определять эти зеркала посредством информации из robots.txt, после чего выдавать пользователям, в поиске, лишь главное зеркало.

4. Робот, проверяющий доступность сайта. Его задача – периодически проверять добавленный посредством «Яндекс.Вебмастера» сайт на предмет его доступности.

Помимо вышеперечисленных есть и другие типы роботов. К примеру, роботы, индексирующие видеофайлы и фавиконки на страницах сайта, роботы, выполняющие индексацию «быстрого» контента, а также роботы, проверяющие работоспособность интернет-ресурса, размещенного в Яндекс.Каталоге.

Индексация страниц сайта поисковиками обладает своими особенностями. Если робот обнаруживает на сайте новую страницу, то она заносится в его базу данных. Если же робот фиксирует изменения в старых страницах, то их версии, ранее занесенные в базу данных, удаляются и заменяются новыми. И все это происходит на протяжении определенного периода времени, как правило, 1-2 недель. Такие длительные сроки объясняются тем, что поисковым роботам приходится работать с большим объемом информации (ежедневно появляется большое количество новых сайтов, а также обновляются старые).

Теперь о файлах, которые умеют индексировать боты поисковых систем.

Кроме веб страниц поисковики индексируют и некоторые файлы закрытых форматов, но с определенными ограничениями. Так в PDF роботами считывается лишь текстовое содержимое. Flash-файлы довольно часто не индексируются вообще (либо там индексируется лишь текст, размещенный в специальных блоках). Также роботами не индексируются файлы, обладающие размером больше 10 мегабайт. Лучше всего поисковые системы научились индексировать текст. При его индексации допускается минимальное количество ошибок, контент заносится в базу в полном объеме.

Если обобщить, то многие поисковики в настоящий момент могут индексировать такие форматы, как TXT, PDF, DOC и DOCX, Flash, XLS и XLSX, PРT и РРТХ, ODP, ODT, RTF.

Как ускорить процесс индексации сайта в поисковых системах

Многие веб-мастера задумываются о том, как ускорить индексацию. Для начала следует понять, что такое сроки индексации. Это время между посещениями сайта поисковым роботом. И время это может варьироваться от нескольких минут (на крупных информационных порталах) до нескольких недель или даже месяцев (на забытых и заброшенных маленьких или новых сайтах).

Нередки случаи кражи контента. Кто-то может просто скопировать вашу статью и разместить у себя на сайте. Если поисковик проиндексирует эту статью раньше чем это произойдет на вашем сайте, то автором поисковики будут считать именно этот сайт, а не ваш. И хотя сегодня появились некоторые инструменты позволяющие указать авторство контента, скорость индексации страниц сайта не теряет своей актуальности.

Поэтому ниже дадим советы насчет того, как всего этого можно избежать и ускорить индексацию своего ресурса.

1. Использовать функцию «Add URL» (Добавить URL) - это так называемые аддурилки, представляющие собой формы в которые можно ввести и добавить адрес любой страницы сайта. Страница в этом случае будет добавлена в очередь на индексацию.

Она есть во многих крупных поисковиках. Чтобы вам не пришлось искать все адреса форм для добавления страниц сайта мы их собрали в отдельной статье: " ". Данный метод нельзя назвать 100-процентной защитой от плагиата, но это хороший способ сообщить поисковику о новых страницах.

2. Зарегистрировать сайт в «Инструментах для веб-мастера» от Google и сервисе Яндекс.Вебмастер. Там можно посмотреть, сколько страниц сайта уже проиндексировалось, а сколько не проиндексировалось. Можно добавить страницы в очередь на индексацию и сделать много чего еще, при помощи доступных там инструментов.

3. Сделать карту сайта в двух форматах – HTML и XML. Первая нужна для размещения на сайте и для удобства навигации. Вторая карта нужна для поисковых систем. В ней содержатся текстовые ссылки на все страницы вашего сайта. Следовательно, при индексации робот не упустит ни одну из них. Карту сайта можно сделать при помощи плагинов для CMS или при помощи многочисленных онлайн-сервисов.

В качестве отличных решений для ее создания можно привести следующие:

  • Для CMS Joomla компонент Xmap;
  • Для WordPress плагин Google XML Sitemaps;
  • Для CMS Drupal модуль SitemapXML;
  • Универсальным инструментом для создания карты сайта может послужить сервис www.mysitemapgenerator.com.

4. Анонс статей в социальных сетях - Google +1, Twitter, Facebook, Vkontakte. Сразу после добавления новой статьи на сайт делайте ее анонс на своей странице Google +, Twitter ленте и страницах в Facebook и Vkontake. Лучше всего поставить на сайт кнопки социальных сетей и добавлять туда анонсы просто нажимая на кнопки. Можно настроить автоматические анонсы в Twitter и Facebook.

5. Выполняйте кросспостинг в различные блог платформы. Можете создать себе блоги на таких сервисах как: Li.ru, Livejournal.com, wordpress.ru, blogspot.com и публиковать там краткие анонсы ваших статей со ссылками на их полные версии на вашем сайте.

6. Сделать RSS ленту сайта и зарегистрировать ее в различных RSS каталогах. Найти их адреса вы можете в статье: " ".

7. Частота обновлений сайта. Чем чаще на вашем сайте будут появляться новые материалы, тем чаще поисковые роботы будут его посещать. Для нового сайта это лучше всего делать каждый день, ну в крайнем случае через день.

9. Размещайте на своем сайте лишь уникальный контент. Это универсальное правило, позволяющее улучшить не только процесс индексации. Чем уникальнее будет материал, тем лучше поисковики будут относиться к вашему сайту. Тем чаще поисковые роботы будут заходить к вам в гости.

Данных методов по ускорению индексации будет вполне достаточно для молодого или среднего по возрасту сайта. Они не будут занимать у вас много времени и имеют хороший эффект.

Запрет индексации страниц

В некоторых случаях веб-мастеру нужно закрыть сайт от индексации или закрыть его отдельные страницы и разделы. Для чего это может потребоваться? К примеру, часть страниц вашего сайта не содержит полезной информации, это могут быть разного рода технические страницы. Либо вам нужно закрыть от индексации ненужные внешние ссылки, баннеры и так далее.

1. Robots.txt.

Закрыть отдельные страницы и разделы ресурса от индексации можно посредством файла robots.txt. Он помещается в корневую директорию. Там прописываются правила для поисковых роботов по части индексации отдельных страниц, разделов и даже для отдельных поисковиков.

При помощи специальных директив этого файла можно очень гибко управлять индексацией.

Приведем несколько примеров:

Запретить индексацию всего сайта, всеми поисковыми системами можно при помощи следующей директивы:

User-agent: * Disallow: /

Запретить индексацию отдельной директории:

User-Agent: * Disallow: /files/

Запретить индексацию страниц url которых содержит "?":

User-agent: * Disallow: /*?

И т. д. директив и возможностей у файла robots.txt множество и это тема отдельной статьи.

2. Также есть тег и мета тег noindex и nofollow.

Чтобы запретить индексацию определенного содержимого на странице достаточно его поместить между тегами , но эти теги работают только для поисковой системы Яндекс.

Если нужно закрыть от индексации отдельную страницу или страницы сайта можно использовать мета-теги. Для этого на странице вашего сайта между тегами необходимо добавить следующее:

Если добавить:

то документ также не будет проиндексирован.

Если добавить:

то робот поисковой машины не будет идти по ссылкам размещенным на данной странице, но саму страницу индексировать будет.

При этом то, что будет указанно в мета тегах будет иметь преимущество перед директивами файла robots.txt. Поэтому если вы запретите индексацию определенной директории вашего сайта в файле robots.txt, а на самих страницах сайта, которые относятся к данной директории будет указан следующий мета-тег:

То данные страницы все равно будут проиндексированы.

Если сайт построен на какой-то CMS, то в некоторых из них есть возможность при помощи специальных опций закрыть страницу к индексации. В других случаях эти мета теги придется вставлять на страницы сайта в ручную.

В следующих статьях мы подробно рассмотрим процедуру запрета индексации и все, что с этим связано (использование файла robots.txt, а также тегов noindex и nofollow).

Проблемы индексации и выпадения страниц из индекса

Существует множество причин, по которым может не происходить индексация интернет-ресурса. Ниже мы перечислим самые распространенные.

1. Неправильно настроен файл Robots.txt или неверно указаны .

2. Домен вашего сайта уже использовался для определенного сайта и имеет плохую историю, скорее всего ранее на его был наложен какой-то фильтр. Чаще всего проблемы подобного рода касаются индексации именно Яндексом. Страницы сайта могут при первой индексации попадать в индекс, затем полностью вылетают и больше не индексируются. При обращении в службу поддержки Яндекса, вам скорее всего скажут, чтобы вы развивали сайт и все будет хорошо.

Но как показывает практика и после 6 месяцев публикации на сайте качественного уникального контента движений в позитивную сторону может и не быть. Если у вас подобная ситуация и сайт, не индексируется на протяжении 1 - 2 месяцев, то лучше . Как правило после этого все становится на свои места и страницы сайта начинают индексироваться.

3. Неуникальный контент. Добавляйте на сайт только уникальный материал. Если на страницах вашего сайта размещается большое количество копипаста, то не удивляйтесь, что со временем эти страницы могут выпадать из индекса.

4. Наличие спама в виде ссылок. На некоторых сайтах страницы буквально завалены внешними ссылками. Веб-мастер обычно размещает все это для того, чтобы заработать побольше денег. Однако конечный результат может быть очень печальным – определенные страницы сайта да и весь сайт может быть исключен из индекса, либо могут быть наложены какие-то другие санкции.

5. Размер статьи. Если вы просмотрите исходный код какой-либо страницы вашего сайта, то увидите, что текст самой статьи занимает не так много места по сравнению с кодом других элементов (шапка, футер, сайдбар, меню и т.д.). Если статья будет слишком маленькой, то она и вовсе может потеряться в коде. Поэтому также могут возникнуть проблемы с уникальностью такой страницы. Поэтому старайтесь публиковать заметки, объем текста в которых не меньше 2000 знаков, с таким контентом вряд ли возникнут проблемы.

Как сделать проверку индексации сайта

Теперь поговорим о том, как провести проверку индексации вашего интернет ресурса и узнать, сколько именно страниц проиндексировано.

1. Прежде всего, попробуйте вбить в простой поиск того же Google или Яндекса. В полученных результатах должна быть данная страница. Если страницы нет, то значит она не проиндексирована.

2. Чтобы проверить индексацию всех станиц сайта в Яндексе достаточно в поисковую строку вставить host:ваш-сайт.ru | host:www.ваш-сайт.ru и произвести поиск. Для Google достаточно вставить в поисковую форму site:ваш-сайт.ru

3. Также можно проверить свой сайт при помощи такого сервиса, как pr-cy.ru. Тут все просто и понятно устроено. Нужно просто вбить адрес вашего ресурса в поле, находящееся по центру, а затем нажать кнопку «Анализировать». После анализа вы получите результаты проверки и узнаете, сколько страниц проиндексировано в том или ином поисковике (сделать это можно в соответствующем разделе под названием «Основные показатели сайта»).

4. Если ваш сайт добавлен в сервис Яндекс Веб-мастер, то там тоже можно отслеживать индексацию страниц веб-сайта данным поисковиком.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».


Индексация сайта - это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.

Если говорить простым языком, получится приблизительно так: весь интернет - это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. находили на сайтах ключевые слова и формировали из них базу данных.

Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в поисковой системы.

Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.

Если сайт не прошел индексацию, то информация до пользователей может и не дойти.

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

  1. Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете - этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
  2. Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы - и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

  • поисковый робот находит портал и изучает его содержимое;
  • полученная информация заносится в базу данных;
  • примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

  1. при помощи инструментов для вебмастеров - google.com/webmasters или webmaster.yandex.ru;
  2. при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл - site: имя сайта+домен;
  3. с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

  1. операторы поисковых систем - смотрим в справке или ;
  2. услуги специальных сервисов, например rds бар ;

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

  1. Добавить сайт в поисковую систему.
  2. Регулярно наполнять проект уникальным и полезным контентом.
  3. Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
  4. Размещать ресурс на быстром и надежном хостинге.
  5. Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
  6. Проверить на наличие ошибок, количество ключевых слов.
  7. Сделать внутреннюю перелинковку (ссылки на другие страницы).
  8. Разместить ссылки на статьи в социальных сетях, социальных закладках.
  9. Создать карту сайта, можно даже две, - для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации - запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

  • При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
    Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

User-agent: *

Disallow: /

  • При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

Можно создать запрет для конкретного робота:

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация - это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации - внесение информации в базу данных поисковых систем.

Многие владельцы и администраторы посещаемых форумов, построенных на популярном движке SMF (www.simplemachines.org) рано или поздно задумываются вопросом индексации своего форума поисковыми системами. Однако, довольно быстро они убеждаются в том, что установленный «из коробки» форум не индексируется, или индексируется неправильно. Что нужно сделать, чтобы контент форума был проиндексирован верно? Я расскажу об этом на примере Яндекса.

Одним из основных инструментов для отслеживания процесса индексации Яндексом является сервис Яндекс.Вебмастер . С помощью этого сервиса мы можем увидеть ошибки в процессе индексации форума. Если после установки нового форума мы добавим его в Яндекс.Вебмастер и дождемся индексации, то увидим, что практически все страницы форума в индекс не попали. Происходит это потому, что разработчики SMF, видимо утомившись объяснять пользователям тонкости взаимодействия форума и поисковых систем, просто добавили на все страницы тег:


Когда такой тег встречает поисковик, он не индексирует эту страницу. Исправим это, внеся изменения в файл index.template.php /Themes/default/index.template.php ). В зависимости от Вашего опыта указанную выше строку можно удалить или модифицировать таким образом:


В этом случае будут проиндексированы и текст и ссылки. Индексирование ссылок влияет на передачу веса вашей страницы (Google PR или ТИЦ у Яндекса) тому сайту, на который стоит ссылка.

Теперь, когда мы разрешили поисковикам собирать информацию для индекса с нашего форума, нужно сделать так, чтобы в индекс попали нужные страницы и не попали ненужные. Дело в том, что движок форума SMF, как и многих других, устроен таким образом, что одно и тоже сообщение можно прочитать множеством способов, и делать все эти способы доступными поисковикам не следует, так как нагрузка, создаваемая поисковиками при индексации может превысить лимиты, установленные на хостинге, где Вы размещаете форум, не говоря уже о том, что это просто бессмысленно. Для того, чтобы закрыть ненужные страницы на форуме, воспользуемся файлом robots.txt (рекомендую ознакомится с общим описанием этого файла на сайте robotstxt.org.ru , а также с описанием того, как Яндекс обрабатывает этот файл: http://help.yandex.ru/webmaster/?id=996567). Для форума, установленного в корень сайта этот файл будет выглядеть следующим образом:

User-agent: *
Disallow: /*.msg
Disallow: /*.new
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action

Вы можете добавить нужные Вам директивы в этот файл (указание на правильный Host, блоки, специфические для других поисковиков и т.п.). Не смотря на то, что по спецификации использование символов подстановки вроде «*» запрещено, абсолютное большинство поисковиков их интерпретируют верно, т.е. опасаться за правильность синтаксиса не нужно.

Чтобы поисковые системы правильно проиндексировали каждое сообщение на форуме сделаем следующее:

1. Уберем ссылку на на тему из сообщений внутри темы. Нужно внести изменения в файл
Display.template.php (для темы по-умолчанию он находится в /Themes/default/Display.template.php ). Нужно убрать ссылку и с названия темы и с картинки рядом с ней. Код, который нужно изменить находится после строки:

// Done with the information about the poster... on to the post itself.

2. Устанавливаем мод для форума, который позволит просматривать каждое сообщение отдельно: View Single Post .

После того, как доработаете свой форум приведенным выше способом, дождитесь, пока поисковые системы закончат его индексацию и убедитесь в отсутствии ошибок (используя, к примеру Яндекс.Вебмастер).

Для того, чтобы ссылки на Ваш форум присуствовали в поисковой выдаче сервиса «Яндекс.Поиск по блогам», используйте специальный плагин (официальная страница: http://nano.yandex.ru/project/yarss/ и версия для SMF 1.1.x: http://www.likhachev.net/projects/yarss/), который отдает RSS в нужном для этого сервиса формате. После установки этого плагина не забудьте добавить фид в сервис (если Вы это еще не сделали):

Что такое индексация сайта в поисковых системах известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки оптимизации, которые мешают качественной индексации и дальнейшему продвижению сайта .

Благодаря качественной индексации сайтов в интернете можно найти все, что угодно.

Как же работает система индексации в крупных поисковых системах?
У поисковиков есть программы-роботы (поисковые боты), которые постоянно «гуляют» по ссылкам в поисках новых страниц. Если они находят новую страницу, которая удовлетворят требованиям алгоритма данного поисковика, то она включается в результаты поиска и проходит индексацию.


рис: Индексация помогает находить сайты

Самое ценное и одновременно сложное – это алгоритмы поисковых систем, по которым они выбирают страницы для своей поисковой базы. У разных поисковиков они свои: у кого-то лучше, у кого-то чуть попроще. Это также необходимо учитывать при индексации сайта. Говорят, что в интернете можно найти всё, что угодно. А благодаря чему можно найти? Правильно! Благодаря качественной индексации сайтов.

Как добавить сайт в индекс поисковых систем?

Как же быстро и просто добавить свой сайт в индекс поисковых систем? Казалось бы, что в этом ничего сложного нет: достаточно всего лишь разместить сайт в сети, и поисковые машины сами бросятся на него. Если бы всё было так просто, то многочисленные seo оптимизаторы остались бы без работы.

Давайте разберемся, что такое индексация. Индексация – это процесс добавления страниц вашего сайта в базу данных поисковой системы. Говоря простым языком, поисковая система собирает ваши страницы, чтобы потом их показывать пользователям по определенным запросам. В каком порядке показывать и по каким запросам – это тема не одной статьи.

Провести индексацию сайта довольно просто: необходимо «сказать» поисковой системе, что у вас есть сайт, который может её заинтересовать. Каждый поисковик обладает формой добавления сайтов в индекс. Вот ссылки на формы добавления сайтов в индекс некоторых поисковиков:

Для ускорения индексации многие рекомендуют регистрировать сайт в системах социальных закладок. Это действительно оправдано, т.к. поисковые роботы (программы, которые проводят индексацию) очень часто посещают подобные сайты. Если они увидят там ссылку на ваш ресурс, то его индексация не заставит себя долго ждать.

Регистрацию сайта в поисковиках и социальных закладках можно проводить как самостоятельно, так и доверить это дело фирмам, которые занимаются вопросами раскрутки сайтов.

Зачем нужна индексация?

Вам нужен сайт, который увеличивает продажи вашей фирмы и продвигает ваши товары? А может, вам нужен сайт, который сам по себе приносит прибыль? Может быть, вы хотите вести личный дневник и получать за это деньги? Если на какой то из этих вопросов вы ответили утвердительно, то должны хотя бы в общих чертах представлять, что такое индексация сайта в поисковых системах.

Следуйте главному условию – создавайте сайт «для людей», удобный и с уникальнм контентом.

Действительно, если вашего сайта нет в поисковой выдаче крупнейших поисковиков (Яндекс, Google, Рамблер...), то на получение прибыли и на продвижение своих товаров или услуг вы можете даже не надеяться. Сайт будет лишним грузом, отъедающим бюджет фирмы на свое поддержание.

Совершенно иная ситуация возникнет, если сайт проиндексирован. Причем, чем больше страниц прошли индексацию – тем лучше. Главное, что необходимо для успешной индексации – оптимизация и уникальность контента сайта.

Поисковые системы стремительно развиваются, алгоритмы индексации постоянно совершенствуются. Теперь уже поисковикам не составляет труда определить плагиат или нечитаемый текст. Поэтому следуйте главному условию, которое необходимо для успешной индексации – создавайте сайт «для людей», удобный и с уникальнм контентом.

Индексация сайта дает не только большое количество целевых посетителей (что в конечном счете отражается на продажах товаров вашей компании), она ещё способствует развитию самого проекта и может направить владельца сайта по более перспективному пути расширения своего интернет проекта.

Как часто происходит индексация в Интернете?

На многих крупных форумах, посвященных раскрутке и продвижению сайтов, можно встретить темы с примерно одинаковыми названиями: АПы поисковой базы . Что же это такое, и как часто «ап»аются базы данных поисковых машин? Как всё это влияет на индексацию? Попробуем разобраться.

Человек, который немного разбирается в терминологии интернета , наверняка знает, что такое «ап». А вот что такое ап поисковой базы, или обновление индексации знают только те, кто занимается раскруткой и продвижением сайтов. Мы понимаем, что данные в поисковых системах не могут обновляться постоянно. Это чревато не только банальными перегрузками серверов, но и выходом из строя оборудования. Конечно, небольшие базы данных могут постоянно изменять свое состояние, а если речь зашла о базах поисковых систем, которые отвечают за индексацию сайтов, то тут совсем другое дело.

Представьте, какое огромное количество запросов получает база индексации каждую секунду. А что станет с ней, если параллельно ещё будет изменяться информация об индексации? Естественно, она может не выдержать, что и наблюдалось на заре развития поисковых машин.

Сегодня эта проблема решена довольно универсальным способом: данные об индексации с поисковых роботов хранятся во временных базах, а обновление «главной» базы данных происходит с задержкой в несколько суток. Поэтому индексация сайтов в крупных поисковых системах проходит довольно быстро и без «глюков».

Подготовка сайта к индексации.

Многие начинающие вебмастера на специализированных форумах задают один и тот же вопрос: как правильно подготовить сайт к индексации. Возможно эти рекомендации помогут Вам:

  1. Для успешной индексации необходим качественный уникальный контент. Это, пожалуй, первое и главное условие. Если на вашем сайте используется "ворованный"контент , то вероятность того, что индексация будет успешной, мала.

  2. Не используйте «серые» и «черные» методы оптимизации страниц: раз и навсегда откажитесь от списка ключевых слов в цвет фона страницы, а также различных ифреймовых структур. Если робот поисковой системы заподозрит вас в подобных нарушениях, то доменное имя будет вообще запрещено для индексации.

  3. После того, как вы выложили сайт на сервер, не спешите добавлять его везде, где только можно. Проверьте ещё раз контент, код на валидность , внутреннюю перелинковку страниц. Если всё сделано правильно, оповещайте поисковых ботов и приглашайте их на индексацию.

  4. Проверьте наличие метатегов , ключевых слов и описаний в них, тайтлов страниц и альтов изображений. Если всё это в наличии, то смело можете проводить индексацию.

  5. Добавьте свой сайт в поисковики через специальные панели.

Как видите, советы довольно простые. Но почему-то многие начинающие оптимизаторы не уделяют должного внимания им, а потом жалуются, что индексация их сайтов затягивается на несколько месяцев.

Другие материалы