Современные крупные языковые модели в основном разработаны с английским языком в качестве основного, и даже те немногие, которые являются многоязычными, обычно демонстрируют сильную ориентацию на английский язык. Точно так же, как говорящие могут производить неловкие выражения при изучении второго языка, языковые модели часто генерируют неестественные выходные данные на неанглийских языках, отражая характерные для английского языка модели лексики и грамматики. Другими словами, даже когда модели генерируют выходные данные на китайском или французском языках, они все еще "думают" по-английски. Результат? Выходные данные на неанглийских языках все еще следуют грамматике и словарному запасу, характерным для английского языка. Чтобы проверить это, исследователи Apple совместно с исследователями из Inria Paris, École Polytechnique и Университета Сапиенца в Риме ввели две новые метрики: Они сравнивали выходные данные моделей с статьями, написанными носителями языка на китайском, французском и английском языках в Википедии. Результаты подтвердили наличие предвзятости. Даже модель, разработанная в Китае, Qwen, показала более низкие результаты на всех языках, включая китайский. Модель Meta's Llama 3.1 была наиболее естественной в целом, но все еще значительно отставала от уровня человеческого вывода. Чтобы сократить этот разрыв, Apple обучила модель предпочитать естественно звучащие выходные данные вместо неловких, используя довольно изобретательный метод: вместо ручного сбора неестественных примеров они автоматически генерировали их с помощью обратного перевода. Грамотный ответ, написанный человеком на китайском языке, переводился на английский, а затем обратно на китайский, что вводило тонкие неестественные модели, известные как "перевод". Эти измененные выходные данные использовались в качестве отрицательных примеров, в то время как оригиналы использовались в качестве предпочтительных ответов. Обучая модель предпочитать более естественную версию, Apple смогла значительно улучшить выбор лексики и грамматику, не ухудшая общую производительность на стандартных эталонных тестах.