Тенденции развития современного Интернет, каталоги и поисковые системы

11 Дек
2011

Более 10 лет назад создал свой первый сайт и с тех пор интересуюсь продвижением сайтов в Интернет. Контролировать продвижение сайта и особенности его аудитории позволяет работа со статистикой ресурса. Она показывает отношение пользователей к Вашему сайту через наиболее интересные им материалы, ссылки на него из внешних ресурсов и много другой полезной информации, которая может послужить основой для анализа.
Тогда для продвижения сайтов рекламировали в основном каталоги, но эффект от размещения в них сайта был небольшой.
Но вот прошла информация от Google о прекращении ведения компанией своего каталога.
Сначала появилась информация, что каталог остался существовать, по взаимному соглашению Google и DMOZ в каталоге Google стали использовать базы каталога DMOZ, а через некоторое время вместо странички каталога появилось предложение воспользоваться каталогом DMOZ. 
Сейчас, при обращении к каталогу Google, выводится экран сообщения об ошибке, с надписью:
Обращение к каталогу Google
Рисунок 1 
Которую можно перевести: «Требуемый URL/dirhp?hl=ru не был найден на этом сервере. Это все мы знаем.»
А, при вводе в Google поискового запроса «Каталог Google» в первой строке предлагаемых ссылок мы видим:
Каталог Google в поисковых системах
Рисунок 2 
В остальных ссылках обсуждения причин ликвидации Каталога Google.
По всем признакам Google прекратил поддерживать свой каталог в любом виде и убрал все что оставалось с серверов.
Здесь можно сказать несколько слов о моих впечатлениях от современных каталогов.
Внимательно наблюдал за DMOZ в течении последних 5-8 лет, и все время у меня нарастало чувство неудовлетворенности и желания помочь этому каталогу, по крайней мере в части его «Русской ветки». Но общение с редакторами только усилило это чувство.
Ранее широко известный и популярный каталог DMOZ (называющий себя ODP — Open Directory Project, принадлежит компании AOL LLC — бывшая America Online, Inc.) производит впечатление застоя и сонного царства, особенно это заметно на его русской ветке. Там царит анархия (отсутствие наследования структуры разделов основного каталога) и нежелание работать прикрытое правилами (предлагаемые сайты рассматриваются неделями и месяцами). Редакторское сообщество превратилось скорее в клуб избранных (элитный — потому что не смотря на множество вакансий редакторов они пустуют, и туда не допускаются чужаки). А редакторы Русской ветка совсем забыли о продвижении в мировой Интернет Российского сегмента. Каталог сайтов — как позиционирует себя DMOZ, наводнен не сайтами, а ссылками на статьи (иногда не первой свежести).
Возможно в результате этого в блоге редакторов DMOZ www.russiandmoz.ru/ размещено сообщение: 

Временно на блоге “Русский DMOZ” отключено комментирование материалов. В настоящий момент невозможно задать вопросы редакторам или принять участие в дискуссиях.
О возобновлении работы актуальных рубрик будет объявлено дополнительно.

 
Это и мое общение с первопроходцем Российского Интернет — АПОРТ’ом и некоторыми другими популярными каталогами оставило самое негативное впечатление.
Все более усиливается ощущение, что имеет место тенденция потери значения каталогов.

Попробую оценить тенденции развития каталогов и как более совершенных их конкурентов — поисковых систем


Каталоги

Многие каталоги вначале были платными, но наиболее дальновидные владельцы через некоторое время сделали свои каталоги бесплатными (используя для получения дохода рекламу), в настоящее время начинает угасать интерес и к бесплатным каталогам.
Посмотрим статистику каталогов Интернет ресурсов.

Существующие глобальные каталоги:
Open Directory Project, также известный как DMOZ.
Каталог Yahoo!
AboutUs.org
Русскоязычные каталоги:
Каталог@mail.ru
Яндекс.Каталог
Wapalta
RIN
Tooby.Каталог
Aport.Каталог
Amiso
 
По статистике моего сайта переходы из каталогов распределяются следующим образом: 

Каталог
Доля
top.mail.ru — 55.56%
top100.rambler.ru — 33.33%
top.hotlog.ru — 11.11%
yaca.yandex.ru — 0.00%
liveinternet.ru/rating/ru — 0.00%
 
Обращает на себя внимание тот факт, что в моей статистике основная масса переходов осуществляется из каталогов — рейтингов, осуществляющих оценку интереса к сайтам, где сайт занимает не последнее место.
В каталоге Яндекс и Аппорт владельцами допускается бесплатная регистрация, но реально она не выполняется. Для того чтобы убедится в этом, надо просто попытаться зарегистрировать ресурс по бесплатной регистрации и подождать результата. Многое покажет и их статистика. Каталоги практически прекратили увеличиваться, и это при бурном росте Российского сектора Интернет последний год.
Поисковые системы

В самом начале, когда поисковые системы только разрабатывались, основным источником информации для них служили каталоги. Поэтому все первые поисковые системы имели свои каталоги.
Прошло время, поисковые системы развились и завоевали свое место на просторах Интернет. Постепенно поисковые системы обзавелись продвинутыми технологиями и алгоритмами, которые собирают информацию не только по тегам страниц сайтов и статей, но и ведут полнотекстовый индекс и анализ содержимого сайтов и статей и выявляют несоответствие тегов содержанию. Так что теперь манипулировать тегами в целях накрутки рейтинга сайта — только трата времени.
По данным компании Net Applications, в январе 2011 года использование поисковых систем в мире распределялось следующим образом:

Поисковые системы Доля
Google  84,65 %
Yahoo! 6,69 %
Baidu  3,39 %
Bing 3,29 %
Ask 0,56 %
AOL 0,42 %

Русскоязычные поисковые системы (они работают на многих языках — украинском, белорусском, английском, татарском и др). Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах с доминирующим русским языком.
Данные LiveInternet об охвате русскоязычных поисковых запросов разными поисковыми системами:

Поисковые системы
Всеязычные:
Google — 37,2 %
Bing — 0,8 %
Yahoo — 0,2 %
с поисковыми машинами: Inktomi, AltaVista, Alltheweb
Англоязычные и международные:
AskJeeves — 5%
Русскоязычные:
Яндекс — 48,1 %
Mail.ru — 5,9 %
Рамблер — 1,2 %
Нигма — 0,3 %

Переход из поисковых систем, по данным статистики electrosad.ru
(сайт на русском языке)
yandex — 50.50%
google — 44.27%
mail — 2.41%
images.google — 1.21%
rambler — 0.6%
nigma — 0.4%
yahoo — 0.4%
qip — 0.2%
bing — 0.00%
images.yandex — 0.00%
icq.com — 0.00%
0.00% — не отсутствие переходов, это не более 10 переходов. 

Как Вы видите данные моего сайта и LiveInternet коррелируют, разница определяется скорее спецификой состава посетителей. 
Еще в те времена иногда у меня возникали вопросы, зачем нужны одновременно каталоги и поисковые системы?
Единственным объяснением было то, что многие сайты сначала создавались с нарушением правил W3C (часто вообще без тегов) и их индексирование (по тегам) не давало информации о сайте. Поэтому наличие каталогов с их строгой организацией, исчерпывающей информацией о ресурсе, и ответственность подавшего заявку за соответствие данных реальности могло восполнить этот пробел.
С тех лет поисковые системы модернизировались и теперь они могут не только читать теги, но и работать непосредственно с содержимым html страниц, и документами и их содержимым. Они обзавелись средствами поиска и структурирования, которые используются для того, чтобы помочь людям найти информацию, в которой они нуждаются.
Они используют в качестве средств поиска: агентов, пауков, кроулеров и роботов для сбора информации о сайтах и документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как собирать и обрабатывать документы.
Например они:
— следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее;
— игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации;
— другие игнорируют ссылки к ресурсам типа баз данных WAIS;
— обрабатывают мультимедийные файлы;
— просматривают прежде всего наиболее популярные страницы;
— могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов
(полнотекстный поиск), оценивать их посещаемость;
— и просто проверять наличие ресурса в сети.

Многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью указать на его существование.
Здесь невозможно описать все, что могут делать поисковые системы, да наверное и не нужно. Сказанного достаточно, чтобы понять, что практически вся информация о ресурсах, файлах размещенных в Интернет вплоть до копий документов может быть собрана в базах поисковых систем. Это делается автоматически и объем этих данных определяется только поисковыми алгоритмами и задачами поискового ресурса. Это менее затратное и более оперативное отслеживание ресурсов.
Все это и приводит к тому, что переходы с каталогов, на моем сайте, составляют в октябре 2011 года только 1,8% от переходов из поисковых систем.
Это лишний раз подталкивает к мысли о все меньшем влиянии каталогов на популярность сайтов. Реальная их популярность определяется попаданием в базы данных поисковых систем.
Заключение

Если сравнивать каталоги и поисковые системы, то последние, уже сейчас, превзошли каталоги по объему собираемой информации и оперативности.
Возможно исходя из изложенного Google и отказался от ведения каталога, а многие каталоги чахнут на глазах, примером последних является небезызвестный DMOZ или Аппорт. А другие так и стоят с пустыми разделами.
А когда я спрашиваю своих знакомых об использовании ими каталогов, часто слышу в ответ: а что это такое?
Похоже на каталогах их владельцам больше не заработать!
Каковы же перспективы каталогов?

Тенденция потери их значения в Интернет продолжается.
Логика подсказывает, зачем содержать затратную структуру обслуживающую каталог, если ее функции в автоматическом режиме много оперативнее и качественнее выполняют поисковые системы?
Думаю еще некоторое время могут существовать каталоги — рейтинги. Интерес к ним подогревается именно рейтингом — ведь кому хочется перебирать десятки сайтов если можно посмотреть только в наиболее посещаемых по нужной Вам теме.

Но и это же в силах поисковых систем, на их базе можно формировать страницы динамических тематических рейтингов и выдавать их результаты сайтам — участникам. Технической трудности здесь нет, только пока, насколько я знаю, это не приходило в голову разработчикам и владельцам поисковых систем. 

В перспективе каталоги могут остаться только каталогами статей, ссылок и сайтов при тематических сайтах, например как сделал я, заменяя на них раздел или страницы ссылок моего сайта. Поскольку их обслуживание проще, позволяет организовать автоматическую проверку работоспособности ссылки и они будут удобнее для посетителей сайтов.

Так же, можно прогнозировать перенос упора в SEO оптимизации, на размещение ссылок в наиболее известных поисковым системам сайтах. Это даст возможность продвигаемому сайту (через ссылающийся сайт) попасть в базы поисковых систем которые работают с этим известным сайтом.
Ну а популярность сайта, находящегося в базах поисковых систем, будет определяться только качеством и информативностью материалов размещенных в нем, что определяется количеством обращений к сайту через поисковую систему.

 
Ссылки:
1. Поисковый робот ru.wikipedia.org/wiki/поисковый робот
2. Как работают механизмы поиска. Агенты, пауки, кроулеры, роботы www.bastau.com/websitepromotion-searchrobots-agentssp
3. Поисковые системы и каталоги www.lessons-tva.info/favorite.html
По материалам Хабрахабр.



загрузка...

Комментарии:

Наверх