Новые критерии оценки качества поиска для Google Assistant и оценки голосового поиска

У Google есть показатели качества, специально предназначенные для поиска по поисковым словам. Эти оценщики ищут удовлетворенность информацией, длину, формулировку и формулировку.Google опубликовала в блоге Google Research рекомендации по оценке качества поиска, рекомендации подрядчиков для оценки результатов поиска Google, в частности для Google Assistant и результатов голосового поиска. Он аналогичен рекомендациям по качеству веб-поиска, но он изменяется тем, что при оценке таких результатов нет экрана для просмотра; вместо этого вы оцениваете голосовые ответы от помощника Google. Google объяснил: «Google Assistant нуждается в собственных руководящих принципах, поскольку многие из его взаимодействий используют так называемую« технологию без глаз », когда нет экрана в качестве части опыта». Google разработал машинное обучение и алгоритмы для попробуйте сделать голосовые ответы и «ответы грамматическими, бегло и краткими». Google сказал, что они просят оценщиков убедиться, что ответы удовлетворительны в нескольких измерениях:

Удовлетворение информации: содержание ответа должно соответствовать информационным потребностям пользователя.

Длина: если отображаемый ответ слишком длинный, пользователи могут быстро просмотреть его визуально и найти нужную информацию. Для голосовых ответов это невозможно. Гораздо важнее обеспечить, чтобы мы предоставляли полезную информацию, надеюсь, не слишком много или слишком мало. Некоторые из наших предыдущих работ в настоящее время используются для определения наиболее релевантных фрагментов ответов.

Формулировка: гораздо легче понять плохо сформулированный письменный ответ, чем неграмматический ответ, поэтому нужно больше внимания уделять обеспечению грамматической корректности.

Elocution: разговорные ответы должны иметь правильное произношение и просодию. Улучшения в генерации текста в речь, такие как WaveNet и Tacotron 2, быстро сокращают разрыв в производительности человека.

Краткие, только семистраничные, рекомендации можно скачать в формате PDF.