Лордс сообщили, что введение автономии в системы вооружения повысит непредсказуемость вооруженного конфликта из-за технической неспособности алгоритмов искусственного интеллекта (ИИ) анализировать сложные контекстуальные факторы.
Во время последней сессии комитета Палаты лордов по ИИ, созданного в конце января 2023 года для изучить этику разработки и развертывания автономных систем вооружения (AWS) — эксперты по правовым вопросам и инженеры-программисты сообщили Лордам, что современные системы ИИ не могут оценить, является ли данное военное действие уместным или пропорциональным, и, вероятно, никогда не смогут.
Они добавили, что, хотя ИИ никогда не будет достаточно автономным, чтобы брать на себя ответственность за военные решения, даже ограниченная автономия создаст новые проблемы с точки зрения повышенной непредсказуемости и возможностей для «предвзятости автоматизации».
Вместо этого они утверждали, что всегда должен быть «значимый человеческий контроль» над системами вооружения с искусственным интеллектом. «Как только возникает автономия, вы вводите в систему другого типа акторов. Люди ведут себя по-разному, что обычно зависит от контекста, в котором мы работаем», — сказала Лаура Нолан, главный инженер-программист Stanza Systems и участница кампании Stop Killer Robots, добавив, что, хотя люди могут легко адаптироваться друг к другу и контекст ситуации, даже самые передовые системы ИИ в настоящее время не в состоянии.
«Вы должны составить сценарий, что они должны делать в каком контексте, а компоненты машинного обучения, как правило, связаны с восприятием окружающей среды, определением целевого профиля, но решение не соответствует контексту».
Она добавила, что автономное оружие также «чрезвычайно затрудняет» операторам и командирам контроль над местом и временем атак и, следовательно, предвидение того, были ли они соразмерными или будет ли побочный ущерб.
«Вы просите командиров предвидеть последствия атаки, которую они не полностью контролируют или не могут полностью предвидеть», — сказала она. «Основной принцип теории сложных систем гласит, что когда у вас есть системы с несколькими компонентами, несколькими взаимодействующими субъектами… число потенциальных результатов растет в геометрической прогрессии. Тогда становится очень, очень трудно предсказать эти эффекты».
Предвзятость автоматизации
Кроме того, существует дополнительная проблема предвзятости автоматизации (имеется в виду склонность людей доверять результатам автоматизированных систем больше, чем информации из другого источника), полное устранение которой, по словам Нолана, было бы «несбыточной мечтой».
«Это чрезвычайно активная и продолжительная область исследований человеческого фактора, направленная на то, чтобы уменьшить предвзятость автоматизации или устранить ее, и мы не знаем, как это сделать», — сказала она.
На вопрос о том, сможет ли когда-либо оружие с искусственным интеллектом автономно оценивать соразмерность боевых решений, Нолан сказала, что, по ее мнению, для машины «абсолютно невозможно» принимать такие решения, поскольку только человек может оценить общий стратегический контекст.
«Вам нужно знать предполагаемую стратегическую военную ценность действия, а оружие никак не может это знать», — сказала она. «Оружие в поле, возможно, смотрит на какие-то изображения, что-то вроде машинного обучения и восприятия. Оно ничего не знает. Он просто делает некоторые расчеты, которые на самом деле не имеют никакого отношения к военной ценности».
Объясняя, как модели ИИ математически распределяют пиксели для определения содержимого изображений — что любой AWS должен был бы делать в полевых условиях из прямой трансляции, — Таниэль Юсеф, приглашенный исследователь в Центре изучения экзистенциальных рисков Кембриджского университета, сказал, что, хотя базовая математика может быть «точной», что не обязательно означает, что результаты будут «правильными».
Приведя пример, когда она тестировала алгоритм, предназначенный для различения изображений кошек и собак, Юсеф сказала, что даже такие простые задачи, как эта, могут пойти не так.
«Они решили, что кошка — это собака», — сказала она. «Что меня беспокоит, так это то, что когда это происходит в полевых условиях, у вас будут люди на земле, говорящие, что эти гражданские лица были убиты, и вы получите отчет от оружия, которое возвращает: «Но посмотрите на математику».
«Математика говорит, что целью была военная база… потому что так говорит математика, и мы часто полагаемся на математику, потому что математика очень конкретна, и математика будет правильной. Есть разница между правильным и точным. Есть разница между точным и точным. Математика будет правильной, потому что она была правильно закодирована, но она не будет правильной на земле», — сказал Юсеф.
«Поэтому, когда вы задаете вопрос о пропорциональности и возможно ли это технически [to delegate responsibility to AI]нет, технически это невозможно, потому что вы не можете знать результат системы, как она достигнет цели, которую вы закодировали, пока она этого не сделает, и вы не знаете, как она туда попала, — сказала она. сказал.
Междометие сверстников
Когда сверстник вмешался, сказав, что люди могут совершать подобные ошибки, например, «на днях я видел собаку, которую я принял за кошку», Юсеф ответил: «Вы не стреляли в нее».
Кристиан Энемарк, профессор международных отношений в Университете Саутгемптона, сказал: «Автономная разрядка [discrimination and proportionality] к нечеловеческому существу, возможно, является философской чушью».
Он добавил, что всегда должен быть человек, который принимает решения и берет на себя ответственность за них, и что общий разговор об AWS следует расширить, включив в него другие практические области, где их можно использовать.
«Оружие можно использовать вне вооруженного конфликта, и тем не менее разговор в основном был направлен на вооруженный конфликт и право, регулирующее вооруженный конфликт, то есть на международное гуманитарное право», — сказал он. «Но его не нужно так ограничивать, и, возможно, его следует расширить, включив в него использование насилия государством, например, в целях обеспечения правопорядка — нам нужно подумать о том, какими могут быть последствия включения ИИ в это. контекст.
«И как только мы выходим из контекста вооруженного конфликта, мы не ограничиваемся разговорами о гуманитарном праве. Теперь мы открыты для того, чтобы вдохновляться и руководствоваться международным правом в области прав человека».
В своем первая доказательная сессиякомитет услышал, что потенциальные выгоды от использования ИИ в системах вооружения и военных операциях не следует смешивать с более полным соблюдением международного гуманитарного права на том основании, что ускорение ведения войны сверх обычных возможностей человеческого познания ограничит способность людей предотвращать незаконные действия. или ненужная атака.
Свидетели-эксперты на этом заседании также отметили, что развертывание оружия ИИ может также сделать применение насилия более, а не менее частым, поскольку порог применения силы будет значительно ниже.
2023-06-30 11:45:00
1688199050
#ИИ #никогда #не #сможет #контролировать #боевые #решения #сказал #Лордс
