В начале 2000-х годов любители компьютеров могли зайти в любой из почти 700 книжных магазинов Barnes and Noble и найти проход за проходом, заполненным руководствами по программированию, верстке, дизайну, Интернету и практически по любой другой теме, даже отдаленно связанной с вычислительной техникой. Десятки журналов дополняли это убежище для компьютерных наркоманов.
С тех пор эти строки практически исчезли из-за того, как пользователи теперь получают информацию. Цифровые книги и интернет-ресурсы в значительной степени заменили эти стопки книг.
Одним из ключевых ресурсов, который способствовал снижению, является Stack Overflow, весьма уважаемое онлайн-сообщество из 20 миллионов зарегистрированных пользователей, которые делятся советами и решениями вопросов по всем аспектам программирования. С момента его создания в 2008 году участники задали более 24 миллионов вопросов и получили более 35 миллионов ответов.
Но в этом году сайт, пользующийся большим уважением, стал жертвой растущей популярности чат-ботов, таких как ChatGPT, хотя Stack Overflow по-прежнему остается незаменимым ресурсом для многих.
Аналитическая фирма сообщила в мае, что Stack Overflow несколько месяцев подряд страдал от снижения трафика, составившего в среднем 6% с начала года. В апреле наблюдалось снижение на 17,7% по сравнению с мартовскими показателями.
Являются ли перебежчики, стекающиеся в ChatGPT, мудрым шагом?
Согласно новому исследованию, проведенному Университетом Пердью, “Кто отвечает на этот вопрос лучше? Углубленный анализ ChatGPT и Stack Overflow дает ответы на вопросы разработчиков программного обеспечения: “Возможно, это не самое лучшее решение.
Исследователи обнаружили то, о чем многие уже подозревали: значительное количество ответов ChatGPT на вопросы по программированию были неточными или откровенно неправильными. Однако, по иронии судьбы, когда испытуемых попросили сравнить ответы из Stack Overflow и ChatGPT, 40% сказали, что они предпочитают ответы ChatGPT. Почему? Из-за “полноты” и убедительного “артикулированного языкового стиля” ответов ChatGPT.
Исследователи заявили, что 52% из 512 ответов ChatGPT на вопросы были неверными. К сожалению, среди ответов, которые предпочли участники теста, 77% были неправильными.
Даже когда ответы ChatGPT были явно неправильными, 2 из 12 испытуемых по-прежнему предпочитали ответы ChatGPT ответам Stack Overflow.
По словам Самии Кабир, одного из авторов статьи, “Участники проигнорировали некорректность, когда сочли ответ ChatGPT проницательным. То, как ChatGPT уверенно передает содержательную [даже если неверную] информацию, завоевывает доверие пользователей, что заставляет их предпочесть неправильный ответ “.
“Очевидно, что вежливый язык, четко сформулированные ответы в стиле учебника, всесторонность и аффилированность в ответах заставляют совершенно неправильные ответы казаться правильными”, – сказал Кабир.
Исследователи отметили, что большие языковые модели потенциально могут перевернуть старые способы получения информации о программировании. Пользователи, обращающиеся за помощью, получают бесценную обратную связь от сообщества экспертов на таких сайтах, как Stack Overflow. Но эти сайты часто требуют ожидания в течение нескольких часов или дней, прежде чем будут получены решения.
ChatGPT может выдавать сложные инструкции по кодированию за считанные секунды и вступать в диалог, похожий на человеческий, для углубленного изучения вопросов.
Но знание способности чат-ботов получать и распространять ошибочную информацию “создает риски для неопытных конечных пользователей, которым не хватает средств для проверки фактических несоответствий”, – сказал Кабир.
Беспокойство по поводу потенциального заражения информационных пулов ложными данными привело к тому, что Stack Overflow ранее в этом году заблокировал любой ответ, полученный ChatGPT.
Исследователи из университета Пердью назвали преобладание неправильных ответов “тревожным”. Они призвали ChatGPT выйти за рамки краткого заявления об отказе от ответственности, которое он публикует в каждом ответе, предупреждая пользователей о возможной ошибке, и указать уровень некорректности и неопределенности.
“Крайне важно изучить, как сообщить об уровне некорректности ответов”, – говорится в отчете исследователей, опубликованном на сервере препринтов arXiv 10 августа.
“Искусственный интеллект наиболее эффективен, когда им руководят люди”, – добавляется в отчете. “Поэтому мы призываем к ответственному использованию ChatGPT для повышения производительности человеческого ИИ”.