Искусственный интеллект AI-редактора Cursor «сочинил» несуществующую политику безопасности, спровоцировав массовый отток подписчиков
Пользователи редактора кода Cursor, основанного на ИИ, столкнулись с неожиданной проблемой: переключение между устройствами моментально завершало текущий сеанс работы. Этот баг нарушил рабочий процесс разработчиков, привыкших работать одновременно на нескольких рабочих станциях. Обратившийся в поддержку пользователь получил от агента по имени «Сэм» утверждение о новой политике безопасности, ограничивающей использование одной подписки на одном устройстве. Однако выяснилось, что политика была выдумана ИИ, что привело к волне возмущения в сообществе и массовым отказам от подписок.
Первым тревогу подал пользователь Reddit под ником BrokenToasterOven, описавший проблему с аннулированием сеансов. Его запрос в поддержку Cursor был обработан ботом «Сэмом», который уверенно сослался на несуществующие правила. Ответ, оформленный как официальное заявление, спровоцировал цепную реакцию: десятки программистов заявили об отмене подписок, посчитав изменения неприемлемыми для рабочих процессов.
Инцидент стал ярким примером конфабуляций ИИ — явления, при котором нейросети «додумывают» недостающую информацию, выдавая её за достоверную. Подобные случаи уже имели последствия для бизнеса: в феврале 2024 года компания Air Canada по решению суда была вынуждена выполнить условия возврата средств, сформулированные её чат-ботом. Тогда компания пыталась оспорить ответственность, заявив, что ИИ является «отдельным юридическим лицом», но суд отклонил этот аргумент.
Cursor, в отличие от Air Canada, оперативно признал ошибку. Соучредитель проекта Майкл Труэлл извинился перед пользователями, пояснив, что сбой возник из-за обновления безопасности на бэкенде, случайно повлиявшего на управление сеансами. Пострадавшему пользователю компенсировали ущерб, а все автоматические ответы поддержки теперь чётко маркируются как сгенерированные ИИ.
Однако сообщество осталось недовольно тем, что бот «Сэм» изначально не был обозначен как ИИ.
Назвать его человеческим именем и не предупредить — это введение в заблуждение, — прокомментировал один из пользователей.
Ситуация также высветила иронию: компания, продвигающая ИИ-инструменты для разработчиков, пострадала из-за собственной системы на основе той же технологии.
Эксперты подчёркивают, что инцидент с Cursor — не просто технический сбой, а системная проблема внедрения ИИ без должного контроля.
Галлюцинации моделей остаются серьёзным риском, особенно когда компании пытаются минимизировать человеческое участие в критически важных процессах, — отметил аналитик из MIT Tech Review.
Иллюстрация: Leonardo
22-04-2025 12:30 63
Industry Hunter
только что