Проекты вопросов и ответов стали особенно популярны в последние пять лет. Хотя первые подобные проекты в Рунете открылись еще в 2000 году. Но популярность они получили после того, как их продвижением в Интернете занялись поисковые системы. Мы видим, что практически каждая крупная поисковая система завела себе свой собственный проект вопросов и ответов.
Такой интерес поисковиков к проектам вопросов и ответов совсем не случаен. У всех поисковых систем, в таком виде, в котором они существуют в настоящее время, есть один очень крупный недостаток.
Представим себе, что Вы хотите, например, купить себе телевизор. Вы хотите через Интернет узнать, где продаются телевизоры. Сейчас для нас неважно, как Вы хотите сделать покупку, через интернет-магазин с доставкой по почте (курьером) или Вы ищите только магазины и фирмы в своем городе, чтобы приехать туда и самому забрать телевизор. Может быть Вы даже хотите купить не один телевизор, а оптом целую партию. Или купить подержанный телевизор "с рук". Важно то, что Вы решили воспользоваться возможностями поисковых систем Интернета для нахождения тех, кто как угодно продает телевизоры.
Всякий, кто имеет опыт работы с поисковиками, сразу сообразит, что искать по ключевому слову "телевизор" или "телевизоры", скорее всего, не следует. Обычно на такие общие ключевики вылезает слишком много ненужной информации. Например, страницы посвященные истории телевизоров, устройству телевизоров, ремонту телевизоров, тому что показывают по телевизору, обсуждению достоинств и недостатков конкретных моделей телевизоров. Для нас это информационный шум, который надо отсеять более конкретными ключевыми фразами. Спрашивается, а какими фразами?
Если Вы очень опытный в деле поиска через поисковые системы, то Вы сразу сообразите, что это должны быть фразы типа "Продажа телевизоров", "Продаем телевизоры", "Магазин телевизоров", "Поставщик телевизоров", "Продам телевизор", "Огромный выбор телевизоров", "Хотите иметь телевизор", "Телевизоры здесь" и т.п. И Вы, как опытный человек, объясните, почему именно по таким фразам нужно искать тех, кто продает телевизоры. Вы скажите, что именно такие фразы должны встречаться или на сайте тех, кто продает телевизоры или в объявлениях о продаже телевизоров. Поэтому поисковая система на такие ключевые фразы выдаст список страниц в основном с сайтов тех, кто продает телевизоры, или те страницы, где есть объявления о продаже телевизоров.
Все это выглядит очень логично. Но есть две проблемы.
Во-первых, это очень простой пример, когда легко догадаться, какие именно фразы должны быть на сайтах продавцов телевизоров и в рекламных объявлениях о продаже телевизоров. Часто бывают трудные случаи, когда Вы имеете дело с какой-то новой для Вас областью и Вы с трудом представляете себе какие характерные фразы должны быть на нужных Вам страницах Интернета.
Во-вторых, это опытный пользователь Интернета достаточно хорошо представляет себе как работают поисковые системы и что для поиска нужной информации надо вести этот поиск по фразам, которые должны быть в текстах на нужных страницах. Неопытные пользователи могут пытаться вводить в поисковик фразы типа "Куплю телевизор", "Купить телевизор", "Покупаем телевизоры", "Хочу телевизор", "Где телевизоры". Понятно, что если Вы продаете телевизоры, то на своем сайте Вы скорее напишите "Продаем телевизоры", а не "Покупаем телевизор". В частном объявлении Вы скорее всего напишите "Продам телевизор", а не "Куплю телевизор". Это приведет к тому, что неопытный пользователь Интернета, скорее всего, не найдет продавцов телевизоров.
На самом деле ситуация более сложная, чем тут описано. Многие вэб-мастера знают про таких неопытных пользователей и специально включают в страницы своего сайта фразы, которые, возможно, набирает, неопытный пользователь. Главное при этом, чтобы тексты на страницах сайта выглядели естественно, а не искусственно созданными. При этом получаются фразы типа таких "Вы хотите купить телевизор? А мы как раз продаем телевизоры!" или "Вы думаете где телевизоры в этом городе? А телевизоры здесь в нашем магазине!". Это позволяет заводить к себе на сайт неопытных пользователей Интернета через поисковики.
Но в какой-то степени это все выглядит несколько извращенно. С одной стороны, продавцы телевизоров должны думать, как им на сайте написать не только фразы относящиеся к их деятельности по продаже телевизоров, но и фразы относящиеся не к продаже, а к покупке телевизоров, словно они хотят не продать телевизоры, а, наоборот, их купить. Для этого вэб-мастер должен догадаться, какие запросы может сделать пользователь в поисковике. Собственно говоря, вэб-мастера и специалисты по раскрутке именно этим и занимаются. Они изучают те фразы, которые пользователи вбивают в поисковик. И проводят они это изучение с целью подстроиться под пользователя. Даже ценой порой очень корявого извращенного текста.
А, с другой стороны, пользователь, если хочет что-то найти, должен также подстроиться под те фразы, которые скорее всего содержатся на искомых страницах. Чувствуете какое противоречие? Мы эти страницы еще не нашли, а уже должны знать, что там написано.
А хотелось бы, чтобы поисковые системы работали бы естественным образом. Когда Вам нужно купить телевизор, Вы не должны ломать голову над тем, что может быть написано на сайте продавцов телевизоров. Вам должно быть "до лампочки", что у них там может быть написано. Вы должны ввести в поисковик фразу типа "Где купить телевизоры" или "Хочу купить телевизор". А поисковик должен выдать Вам все те страницы Интернета, которые могут решить Вашу проблему. Даже если на этих страницах не встречаются слова из фраз "Где купить телевизоры" или "Хочу купить телевизор". Тем самым, должно быть совершенно не важно оптимизировался ли сайт специально по фразам "Где купить телевизоры" и "Хочу купить телевизор" или он не оптимизировался по таким фразам. Поисковик должен формировать свою выдачу так, чтобы на первом месте в выдаче были те страницы, которые максимально решают проблему "Где купить телевизоры" или "Хочу купить телевизор", а не те, в которых эти фразы максимально присутствуют (естественной частотой) и на которые ведет максимальное число ссылок с такими фразами.
Та поисковая система, которая первой решит эту проблему, вырвется вперед в конкурентной борьбе поисковых систем между собой.
Для проведения масштабных исследований в этой области поисковикам не хватает статистических данных. В первую очередь не хватает информации о том, на какие естественные запросы какие сайты решают проблемы большинства людей задавших такие запросы. Из обычных баз данных поисковых систем такую информацию не выудить, так как там нет обратной реакции пользователей. Поэтому очень важно, чтобы в проектах вопросов и ответов каким-то образом был организован выбор лучшего ответа (ЛО). В проекте Ответы@Mail.Ru выбор ЛО происходит двумя способами. Или его выбирает автор вопроса и тем самым он демонстрирует какой ответ удовлетворил его. Или ЛО выбирают другие участники проекта голосованием и тем самым показывается, какой ответ решает проблему с точки зрения общественности.
Второе, что нужно, это, если хотите, классификация проблем пользователей. Ведь всех проблем пользователей через Интернет не решить. Кроме того, одни вопросы интересуют людей очень часто, а другие очень редко. Понятно, что, в первую очередь, надо найти такие проблемы, которые статистически решаются примерно одинаково. Например, на сайте ответов и вопросов может встречаться один и тот же вопрос, заданный в разных вариациях, на который даются разные ответы, но Лучший Ответ получает примерно один и тот же ответ (по сути) от разных пользователей. Таким образом, возникает устойчивая статистическая связь между характерным набором ключевых слов вопроса и характерным набором ключевых слов лучших ответов.
Эти данные уже сразу можно использовать в поисковых алгоритмах. Можно при формировании выдачи поисковика на такой естественный запрос учитывать и соответствующий ему набор характерных ключевых слов, чуточку повышая в выдаче позиции тех страниц, которые больше коррелируют с этим характерным набором ключевых слов ЛО. Таким образом увеличивается вероятность именно решения проблемы пользователя, а не отыскания страниц со словами из запроса.
С помощью проектов типа Ответы@Mail.Ru можно собрать статистику о том, какие проблемы могут быть решены более четко, а какие запросы нужно считать риторическими. Понятно, что вести работу надо в первую очередь над такими естественными запросами, которые допускают более четкое и конкретное решение проблемы. Кроме того, можно собрать статистику о том, какие вопросы являются действительно проблемными, а какие просто шутками и приколами.
Большое значение для поисковиков имеет работа с синонимами. Проекты подобные Ответы@Mail.Ru, с одной строны, дают самые свежие жаргоны, а, с другой стороны, дают естественное соотношение применения разных синонимов. Последнее имеет большое значение для выявления синонимизированных текстов, то есть страниц, размноженных через автоматические программы синонимайзеры. В таких синоминизированных текстах наблюдается неестественное преобладание редких синонимов над более частыми для естесственного языка.
Вообще, поисковики сейчас очень активно стали работать с синонимами. Нас уже не удивляет, что по запросу "Hewlett-Packard" появляются в выдачи страницы на которых нет этого слова и в ссылках на эти страницы тоже нет такого слова, но есть слово "HP". То же самое и со словами "СССР" и "Советский Союз". Но это очень жестко связанные синонимы. Теперь встречаются и более "мягкие" случаи, когда, например, по запросу "корма для домашних животных" появляется в выдаче страница с частой фразой "корма для кошек и собак", а фраза "домашние животные" не упминается ни в ссылках на страницу, ни в тексте страницы.
Можно еще и дальше перечислять как разработчики поисковых систем могут использовать свои проекты вопросов и ответов для совершенствования своего поиска для целей решения проблемы пользователей и для целей обработки естественных запросов. Но это тема скорее не статьи, а целого сайта. Поэтому на этом заканчиваю.
Главные выводы:
- Проекты вопросов и ответов оказались очень важными для дальнейшего развития поиска в Интернете.
- Все поисковые системы, которые видят дальше своего носа и хотят победы в конкуренции друг с другом, организовали свои проекты вопросов и ответов для сбора статистических данных и проведения исследований.
- Для поисковых систем важна массовость своего проекта вопосов и ответов, чтобы исключить влияние случайных флуктуаций и быстро собрать данные.
- Проекты вопросов и ответов будут существовать и развиваться пока существуют поисковики.
...
Январь, 2010 г.