Как работают языковые модели?
Языковые модели в основном предсказывают, какое слово будет следующим в последовательности слов. Мы обучаем эти модели на больших объемах текста, чтобы они лучше понимали, какое слово будет следующим. Один из способов — но не единственный — улучшить языковую модель — дать ей больше «чтения» — или обучить ее большему количеству данных — так же, как мы учимся на изучаемом материале. Если вы начнете вводить предложение «Мэри пнула…», языковая модель, обученная на достаточном количестве данных, сможет предсказать: «Мэри пнула… мячБез достаточного обучения он может просто найти «круглый объект» или просто «желтый» цвет. что Мэри, скорее всего, пнула.
За последние несколько лет произошли крупные прорывы в том, как мы добиваемся повышения производительности языковых моделей, от масштабирования размера до уменьшения объема данных, необходимых для определенных задач.
Языковые модели уже существуют, помогая людям — например, вы видите, как они появляются с помощью Smart Compose и Smart Reply в Gmail. И языковые модели также управляют Bard.
