Исследователи разработали новый LLM GPT-3 для развития способностей к планированию и рассуждению.
Исследователи из Аризонского государственного университета в Темпе показывают, что когда дело доходит до планирования и методического мышления, большие языковые модели (LLM) работают очень плохо. LLM обучается на огромном количестве данных. Некоторыми другими примерами LLM являются BERT от Google и GPT-2 и GPT-3 от OpenAI. GPT-3 — это самая крупная из известных на тот момент языковых моделей со 175 миллиардами параметров, обученных на 570 гигабайтах текста. Стало трудно измерить пределы их возможностей.
Большие языковые модели не могут планировать:
LLM страдает от многих из тех же недостатков, которые наблюдаются в современных системах глубокого обучения. Языковая модель для диалогового приложения является примером LLM. На самом деле, те немногие крупные компании, у которых есть необходимые ресурсы для обучения и поддержки LLM, отказываются или не проявляют никакого интереса к их исследованию. Недавние достижения в области LLM изменили область НЛП. Начиная с GPT-3 и заканчивая PaLM, с каждым новым LLM совершенствуется самая современная производительность при выполнении задач на естественном языке.
Команда разработала свой бенчмарк на основе доменов, использованных в Международном соревновании по планированию. И эффективность LLM в создании планов из текстовых описаний. Большинство бенчмарков основаны на поверхностных рассуждениях, а также на задачах, для которых иногда нет фактической истины. Цель проекта — установить контрольный показатель и дать представление о том, где находится текущий базовый уровень.
LLM — это большие нейронные сети, обученные на большом количестве данных и генерирующие гораздо более плавный и связный текст. Рассуждения могут возникать из LLM даже без каких-либо специальных механизмов, таких как модели мира и рассуждения о динамике, которые могут использовать эталон для поддержки точки зрения исследователей. Исследователи надеются, что их работа откроет новые возможности для развития возможностей планирования и рассуждений для современных систем искусственного интеллекта.
Больше популярных историй
- Совершите оплату сиба-ину и сожгите SHIB! Вот что такое Visa Card
- Мертвые пауки теперь хватают роботов! Ученые делают это возможным
- Голливуд находит фальшивых фанатов в ботах! Роллы феноменов SnyderVerse
- 10 лучших университетов, предлагающих исследования, курсы и многое другое, связанные с метавселенной
- Этические хакеры столкнутся с уголовным расследованием, если они будут следовать неизвестности
- 10 лучших платформ блокчейна с открытым исходным кодом для изучения в 2022 году
- Токен AXS от Axie Infinity сейчас является лучшим вариантом для покупки ETH Whales
Сообщение GPT-3 «Может даже писать романы, но не может планировать и рассуждать» впервые появилось на .
