Около 60–75 % опрошенных пользователей сообщили об удовлетворении использованием Copilot, чувствуя себя менее разочарованными при использовании Copilot.
Модели генеративного ИИ, в том числе Copilot, были в центре споров по поводу их эффективности и, т. е. того, будут ли они подвергать опасности создателей контента и кодеров. Прорываясь сквозь шум, GitHub попытался количественно оценить влияние Copilot на повышение продуктивности и счастья программиста. Copilot, парный программист, имеет функции предиктивного кода, чтобы помочь программистам с соответствующими предложениями кода, аналогичными IntelliSense/IntelliCode от Microsoft, хотя он копает глубже, благодаря Codex, позволяющему превращать введенные команды в фактический код. «Поскольку разработка с помощью ИИ — относительно новая область, у нас мало исследований, на которые мы могли бы опереться, — сказала Эйрини Каллиамвакоу из GitHub в своем блоге.
После предварительных наблюдений и интервью с пользователями они опросили более 2000 разработчиков, чтобы оценить их опыт программирования с использованием Copilot по трем параметрам: целостное измерение производительности, точка зрения разработчика и оценка эффекта второго пилота в повседневных сценариях программирования. Они считают, что более важно принимать во внимание целостный взгляд и точку зрения разработчика, потому что, согласно исследованию 2021 года, производительность разработчика может иметь разное значение: от сосредоточения на поставленной задаче и достижения значимого прогресса до хорошего самочувствия в конце. дня. Результаты опроса пришли именно к вышеуказанному утверждению. Из своего обзора GitHub пришел к выводу, что он дает разработчикам отправную точку и экономит время на поиск битов кода в Интернете. Поскольку это позволяет назначать Copilot небольшие, повторяющиеся и незначительные части кода, разработчики могут сосредоточиться на важной части программирования.
В результате опроса было обнаружено, что преимущества Copilot выходят за рамки повышения скорости кодирования. Например, было обнаружено, что Copilot добился огромных успехов в повышении удовлетворенности программистов. Около 60-75% опрошенных пользователей сообщили, что удовлетворены использованием Copilot и чувствуют себя менее разочарованными при использовании Copilot. В то время как около 73% разработчиков заявили, что Copilot помогает им оставаться в потоке, 87% из них заявили, что могут сосредоточиться на более крупных задачах, избавляя их от травм, связанных с выполнением повторяющихся задач. В документе «Оценка удобства использования инструментов генерации кода на основе больших языковых моделей» они цитируют: «Мы обнаружили, что, хотя Copilot не обязательно улучшает время выполнения задачи или показатель успеха, большинство участников предпочитают использовать Copilot в повседневных задачах программирования. , так как Copilot часто служил полезной отправной точкой и экономил усилия на поиске в Интернете. Однако участники столкнулись с трудностями в понимании, редактировании и отладке фрагментов кода, сгенерированных Copilot, что значительно снизило их эффективность при решении задач».
Copilot еще не является универсальным решением для интеллектуального программирования.
Это конкретное исследование является дополнением к более раннему исследованию Каллиамваку, но фокусируется на скорости кодирования с Copilot и другими способами. В исследовании приняли участие около 95 разработчиков, половина из которых обнаружила, что время кодирования сократилось наполовину по сравнению с теми, кто не использовал Copilot, а скорость увеличилась почти на 55%. Однако, учитывая ограниченный характер исследования — в эксперименте участвовало только программирование на JavaScript — трудно сказать, отражают ли результаты реальность. «Конечно, это был забавный эксперимент. Эти контролируемые эксперименты требуют довольно много времени, поскольку мы пытаемся сделать их более масштабными и всеобъемлющими, но в будущем я хотела бы изучить возможности тестирования для других языков», — сказала она в интервью ZNet.
Сообщение GitHub Copilot против программистов-людей: помогают ли инструменты ИИ? впервые появился в Analytics Insight.
