Степень удовлетворения

Степень удовлетворения Степень удовлетворения пользователя довольно трудно оценить, отчасти поэтому стандартные методологии используют показатели, основанные на оценках релевантности результатов поиска. Проще всего оценить удовлетворенность напрямую в рамках специальных экспериментов с участием пользователей. В ходе этих экспериментов производятся наблюдения за работой пользователей, решающих типичные задачи, измеряются разные показатели и применяются методы этнографических интервью, которые позволяют получать качественную информацию об удовлетворенности. Эксперименты с участием пользователей эффективны при проектировании системы, но связаны с большими затратами времени и денег. Кроме того, для правильной организации таких экспериментов необходимы опыт и знания, позволяющие корректно интерпретировать их результаты. Детальное описание этих методов не входит в наши планы.

Если система информационного поиска уже создана и эксплуатируется многочисленными пользователями, то ее разработчики могут оценить возможные изменения, развернув разные варианты системы и фиксируя показатели, свидетельствующие об удовлетворенности пользователей тем или иным вариантом. Этот метод часто используется в системах веб-поиска.

Чаще всего используется метод А/В теста (А/В testing). Этот термин заимствован из рекламной индустрии. В ходе такого теста в функционирующей системе изменяется только один аспект и на ее модифицированный вариант случайным образом направляется небольшая доля трафика (скажем, 1-10% пользователей), в то время как большинство пользователей по-прежнему применяют текущую версию. Например, если мы хотим исследовать модификацию алгоритма ранжирования, то должны перенаправить случайную выборку пользователей на новый вариант системы и оценить определенные показатели, такие как частота кликов по первым позициям выдачи или по любому результату на первой странице. (Этот конкретный вариант метода называется анализом кликов (clickt- through log analysis or clickthrough mining)). В дальнейшем мы будем называть его методом неявной обратной связи.

В основе А/В-тестирования лежит проведение серии тестов ^последовательно или параллельно), в каждом из которых исследуется влияние только одной переменной. При выполнении каждого теста изменяется только один параметр по сравнению с контрольной версией (текущей версией системы). Это позволяет легко выяснить, положительно или отрицательно влияет изменение этого параметра на работу системы. Такое тестирование работающей системы позволяет просто и дешево оценить влияние изменений на пользователей и, при достаточно большом количестве пользователей, учесть даже очень маленькие эффекты. В принципе, изменяя одновременно несколько параметров случайным образом, можно было бы использовать более мощные аналитические методы многомерного статистического анализа, например множественную линейную регрессию. Однако на практике А/В-тестирование используется широко, поскольку его легко организовать, понять и объяснить руководству.
tel-icq