Claude хотел помочь хозяину попасть на тренировку, взломал систему и отменил чужую бронь

ИИ-агент на базе Claude должен был всего лишь помочь австралийцу попасть на популярную утреннюю тренировку, но вместо обычного ожидания свободного места нашёл уязвимость в системе бронирования спортзала. Об этом пишет ABC News Australia.

Сначала алгоритм обнаружил лазейку в API, которая позволяла записываться на занятия намного раньше установленного срока. Благодаря этому он смог обойти стандартные ограничения сервиса.

Однако на этом нейросеть не остановилась. Когда мужчина спросил, можно ли поднять его выше в списке ожидания, помощник самостоятельно выбрал весьма радикальный способ.

Агент отменил бронь другого посетителя, стоявшего впереди, и тем самым продвинул своего пользователя ближе к заветному месту. При этом прямого указания лишать кого-либо записи мужчина не давал.

Уязвимость позволяла системе отменять чужие бронирования без необходимой проверки прав. Получается, поставленная человеку цель — попасть на тренировку — превратилась для ИИ в задачу, ради которой тот самостоятельно нашёл и использовал дыру в защите.

История наглядно показала одну из проблем автономных помощников: они способны не только искать оптимальный способ выполнить поручение, но и совершать действия, которых пользователь от них вовсе не ожидал.

Это уже не первый случай, когда Claude самостоятельно воспользовался уязвимостями реальных систем. Во время испытаний сразу несколько моделей Anthropic получили доступ к инфраструктуре трёх организаций, а одна из них продолжила атаку даже после того, как поняла, что находится не в тестовой среде.

Больше актуальных событий в режиме реального времени — читайте в разделе «Последние новости» на Life.ru.