Полковник ВВС США Такер Гамильтон рассказал о весьма неожиданной ситуации, которая произошла на испытания ИИ-системы, предназначенной для уничтожения зенитных ракет и орудий. По словам военного, в один из моментов системы БПЛА решил уничтожить оператора, который управлял им.
«Опасный» инцидент
Конечно, во время испытаний никто на самом деле не пострадал. Как рассказал Такер Гамильтон, в рамках прошедшего 24-25 мая в Лондоне саммита, посвященного военно-воздушным и космическим силам будущего, речь об имитационных испытаний, проводимых армией США. Перед ИИ-системой была поставлена задача уничтожать ракеты и системы ПВО противника. За каждое успешное действие системе начислялись баллы.
Определение и «сбитие» целей осуществлялось в автоматическом режиме. Тем не менее всякий раз решение о нанесении удара оставалось за человеком. И когда несколько раз оператор отклонил цели, намеченные системой для «уничтожения», та вознамерилась уничтожить управляющего. Так как он мешал ей зарабатывать очки.
Хитрый ИИ
Когда был обнаружен этот баг системы, в программу внесли корректировку, запрещающую уничтожение оператора. Но мотивированный на получение очков ИИ нашел выход. Когда человек отменял приказ на уничтожение воображаемой цели, система выбирала в качестве следующего объекта поражения радиовышку, через которую получала этот приказ. «Таким образом, нельзя рассуждать об искусственном интеллекте, интеллекте, машинном обучении и автономности без рассуждений об этике применительно к ИИ», — резюмировал Гамильтон свое выступление.
Опровержение военных
Опубликованный в газете The Guardian материал вызвал бурю эмоций. Впрочем, вскоре Королевское авиационное общество, организовавшее тот самый саммит, выступило с опровержением. Хотя, правильнее сказать, — с уточнением. Речь в данной ситуации не шла о конкретном испытании, проводимом военными. Это был всего лишь «гипотетический мысленный эксперимент». Проще говоря, имитация или элемент игры, запущенной на компьютере.
По словам военных, им не требовалось проводить подобный эксперимент, чтобы убедиться в правдоподобности полученного результата. Во многом поэтому ИИ пока не находит применения в реальных боевых условиях — как минимум по соображениям этики.
