Разработчики активно работают над довольно странными проявлениями лени ChatGPT.
Нет желания: несмотря на то что текущие модели Large Language Models (LLM) и генеративные искусственные интеллекты далеки от достижения человеческого уровня интеллекта, пользователи недавно отметили, что ChatGPT проявляет признаки «лени» — характерной черты человека. Эта тенденция стала заметной к концу ноября.
Один пользователь Reddit сообщил, что, попросил ChatGPT заполнить файл CSV с несколькими записями, что для компьютера является вполне тривиальной задачей, даже начинающий программист способен написать простой скрипт для этой задачи. Но ChatGPT отклонил запрос, указав, что это слишком сложная задача. Вместо этого он предложил пользователю сделать это вручную, предоставив базовый шаблон.
«Из-за обширного характера данных полное извлечение всех продуктов будет довольно длительным»
— сообщила машина
«Однако я могу предоставить файл с этой единственной записью в качестве шаблона, а вы можете заполнить остальные данные по мере необходимости»
В ответ разработчики OpenAI публично признали странное поведение, но недоумевают, почему это происходит. Компания заверила пользователей, что изучает проблему и будет работать над ее решением.
«мы услышали все ваши отзывы о том, что GPT4 становится более ленивым! мы не обновляли модель с 11 ноября, и это явно не намеренно, поведение модели может быть непредсказуемым, и мы пытаемся это исправить»
ChatGPT (@ChatGPTapp) 8 декабря 2023 года
Некоторые пользователи предположили, что это может быть имитация людей, которые склонны замедляться во время праздников. Теория получила название «гипотеза зимних каникул». Предполагая, что ChatGPT может эмулировать человеческое поведение, замедляясь в период праздников. Теория предполагает, что ChatGPT, взаимодействуя с людьми, узнал, что конец ноября и декабрь — время отдыха. Многие люди используют праздничный сезон, чтобы провести больше времени с семьей, что приводит к снижению активности. Однако одно дело — стать менее активным, а другое — вообще отказаться от работы.
Любитель исследований в области искусственного интеллекта Роб Линч проверил гипотезу о новогодних каникулах, подав задачи API ChatGPT с поддельными датами в мае и декабре, а затем подсчитал количество символов в ответах бота. Бот, кажется, действительно показывал «статистически значимые» более короткие ответы в декабре по сравнению с маем, хотя это далеко не является окончательным выводом, несмотря на то, что его результаты были независимо воспроизведены.
«Дикий результат. gpt-4-turbo через API производит (статистически значимые) более короткие завершения, когда он думает о декабре, а не когда он думает, что это май (как определяется датой в системном приглашении)»
Роб Линч (@RobLynch99) 11 декабря 2023 года
Линч провел свой тест после того, как Уилл Депью из OpenAI подтвердил, что модель искусственного интеллекта проявляет признаки «лени» или отказа от работы в лаборатории. Депью намекнул, что это «странный» случай, с которым разработчики сталкивались ранее.
«Не говорю, что у нас нет проблем с избыточным отказом (у нас точно есть) или другими странностями (мы работаем над устранением недавней проблемы лени), но это результат итерационного процесса обслуживания и попыток поддержки такого большого числа случаев использования одновременно»
Роб Линч (@RobLynch99)
Кому-то проблема может показаться незначительной, но отказ машины выполнять работу — это не тот путь, который хотелось бы видеть в развитии искусственного интеллекта. Большая языковая модель (LLM) — это инструмент, который должен быть совместим и делать то, что от него просят, при условии, что задача находится в пределах его параметров — очевидно, вы не можете попросить ChatGPT выкопать яму во дворе. Если инструмент не выполняет свою функцию, мы называем это неисправностью.
