Улучшение ранжирования в App Store с помощью оценок, сгенерированных LLM», группа исследователей Apple изучила, могут ли большие языковые модели помочь улучшить результаты поиска в магазине приложений, создавая метки релевантности для обучения системы ранжирования. Как поясняется в исследовании, релевантность, очевидно, является ключевым фактором, помогающим пользователям находить нужные приложения. И хотя на поисковый рейтинг влияет множество сигналов, исследователи сосредоточились на двух основных: В исследовании отмечается, что хотя данных о поведенческой релевантности достаточно, то же самое нельзя сказать о текстовой релевантности: В то время, как меток поведенческой релевантности много, метки текстовой релевантности, созданные людьми-оценщиками, встречаются гораздо реже. Это создаёт фундаментальную проблему: высококачественные метки текстовой релевантности稀缺ны и дороги в производстве, что создаёт узкое место для масштабирования и делает задачу текстовой релевантности недостаточно эффективной при многоцелевом обучении. Чтобы решить эту проблему, исследователи дообучили LLM с 3 миллиардами параметров на существующих человеческих оценках, чтобы она научилась присваивать метки релевантности приложениям на основе поискового запроса пользователя и метаданных приложения. Затем они сгенерировали этой моделью миллионы новых меток релевантности и переобучили систему ранжирования App Store, используя, как исходные данные, так и метки, сгенерированные LLM. После этого было проведено офлайн-тестирование. «Модель, дополненная LLM, показала статистически значимый прирост на +0,24% по нашему основному показателю — конверсии, определяемой, как доля поисковых сессий с хотя бы одной загрузкой приложения. Хотя число может показаться небольшим, для зрелой промышленной системы ранжирования считается значительным улучшением. Этот рост был зафиксирован в 89% региональных магазинов».