Появление GPT-4 сломает новые границы в генерации компьютерных кодов
Искусственный интеллект прошел долгий путь за последние годы, и OpenAI GPT-4 — это следующая большая вещь в обработке естественного языка (NLP). Текущая версия модели языка для генерации текста, GPT-3.5, превзошла ожидания людей своими диалоговыми функциями, от партнеров по диалогу до генерации кода.
Однако ни для кого не секрет, что его создатель — исследовательская организация искусственного интеллекта OpenAI — прекрасно осведомлен о разработке своего преемника — GPT-4. Говорят, что GPT-4 намного мощнее и эффективнее, чем GPT-3. Один источник даже утверждал, что количество параметров увеличилось до 100 триллионов, хотя генеральный директор OpenAI Сэм Альтман яростно это отрицал.
Несмотря на то, что это одна из самых ожидаемых новостей об искусственном интеллекте, мало что известно о GPT-4, о том, на что он будет похож, о его функциях или возможностях. В прошлый раз Альтман проводил вопросы и ответы и дал много намеков на идеи OpenAI для GPT-4. Одно он сказал точно: GPT-4 не будет иметь параметров 100T.
Это мои прогнозы относительно GPT-4, учитывая информацию, полученную от OpenAI и Сэма Альтмана, а также текущие тенденции и современное состояние языкового ИИ.
GPT-3 обучался только раньше, несмотря на некоторые преступления, которые в других случаях привели бы к разрыву обучения. OpenAI решил не делать этого из-за неподъемных затрат, не позволяющих экспериментаторам найти стильный набор гиперпараметров для модели (например, уровень грамотности, размер партии, длина последовательности и т. д.).
Еще одним последствием высоких затрат на обучение является то, что анализ гостевых моделей ограничен. Когда взвод Каплана пришел к выводу, что размер модели является наиболее подходящей переменной для улучшения производительности, они не учитывали количество памятных тренировочных памятных дат, то есть количество данных, которые модели получали. Для этого потребовались бы непомерно большие вычислительные ресурсы.
Размер модели: GPT-4 будет больше, чем GPT-3, но он не будет таким большим, как самые большие модели, доступные в настоящее время (MT-NLG 530B и PaLM 540B). Размер не будет отличительной чертой.
Оптимальность: По сравнению с GPT-3, GPT-4 потребует больше вычислений. Будет реализовано новое понимание оптимальности параметризации (оптимальные гиперпараметры) и законов масштабирования (количество обучающих токенов так же важно, как и размер модели).
Мультимодальность: GPT-4 будет мультимодальной текстовой моделью. Прежде чем полностью перейти к мультимодальным моделям, таким как DALLE, которые, по их прогнозам, в конечном итоге превзойдут одномодальные системы, OpenAI намеревается максимально использовать языковые модели.
Разреженность: GPT-4 будет плотной моделью, что означает, что все параметры будут использоваться для обработки любого заданного ввода в соответствии с тенденцией, установленной GPT-2 и GPT-3. В будущем разреженность будет брать верх все больше и больше.
Выравнивание: Нашим интересам будет ближе ГПТ-4, чем ГПТ-3. Он будет использовать то, что узнал из InstructGPT, который был обучен с учетом отзывов людей. Однако до согласования ИИ еще далеко, и усилия следует тщательно оценивать, а не преувеличивать.
Сообщение Преодолеет ли GPT-4 новые границы в создании компьютерного кода? впервые появился в Analytics Insight.
