Справжня проблема використання ШІ для знищення ворогів

Той день, коли відповідальність буде відокремлена від застосування летальної сили, стане днем, коли ми почнемо втрачати контроль над самою війною

На етичне питання про те, чи слід дозволяти машинам вбивати, відповідь було дано ще століття тому з впровадженням морських мін, які, по суті, є автоматизованою зброєю.

Але зброя, яка «вирішує», по яких цілях і коли завдавати удару, з’явилася лише наприкінці 1970-х років — від морських мін, запрограмованих на розпізнавання окремих кораблів і підводних човнів (зазвичай за їхніми акустичними або магнітними сигнатурами), до систем протиповітряної оборони, таких як «Залізний купол» (Iron Dome) і «Патріот» (Patriot), які під наглядом людини автоматично знищують ракети та літаки, що наближаються.
Однак жодна з цих систем не мислить самостійно; вони діють згідно з правилами, встановленими людьми. У міру того, як зброя стає здатною не лише дотримуватися заздалегідь запрограмованих правил, а й обирати та визначати, як найкраще атакувати свої цілі — іншими словами, здійснювати справді автономне прийняття рішень — постає набагато важливіше питання: чи може вона вбивати, залишаючи чіткий ланцюг людської відповідальності, ланцюг підзвітності?

Для сучасної автоматизованої зброї та зброї на базі штучного інтелекту відповідальність залишається там, де їй і належить: на тих, хто її проектує, програмує, санкціонує її використання та розгортає. Завжди мають бути люди, відповідальні за рішення про застосування такої зброї в бойових умовах. Це не просто питання військової етики. День, коли відповідальність буде відокремлена від застосування летальної сили, — це день, коли ми почнемо втрачати контроль над самою війною та передамо цю найстрашнішу з людських відповідальностей машинам.

Сучасна зброя на базі штучного інтелекту, яка починає з’являтися в Україні та на Близькому Сході, вже здатна об’єднувати дані з різних джерел, ідентифікувати потенційні цілі та, дедалі частіше, адаптувати способи їх ураження для досягнення максимального військового ефекту при мінімізації ризику контрзаходів. Вона відрізняється від автоматизованої зброї минулого лише ступенем, а не суттю. Поки що люди залишаються «в оперативному циклі», здебільшого тому, що машини все ще припускаються дорогих помилок, а не тому, що етика взяла гору над військовою необхідністю.

Ми бачили чимало доказів цього в Україні, де бойовий досвід показав, що, поки що, залучення людини до процесу дозволяє зменшити кількість дорогих оперативних помилок. Однак немає сумнівів, що в міру того, як штучний інтелект ставатиме надійнішим, швидшим і кращим за людських операторів у визначенні легітимних цілей, оперативний тиск з метою виключення людей із циклу прийняття рішень стане непереборним.

Один український оператор безпілотника сказав мені, що в екзистенційній війні поняття «людина в циклі» може завдати оперативної шкоди через потенційну затримку, пов’язану з «узгодженням» цілей для удару. Проте він був твердо переконаний, що на якомусь етапі «ланцюга ураження» у разі серйозної помилки має бути хтось, хто несе відповідальність і підлягає притягненню до відповідальності.

Перше масштабне уявлення про те, до чого може призвести ця технологія, з’явилося в Газі, де, за повідомленнями, використовувалися системи наведення з підтримкою штучного інтелекту, такі як «Лавендер» і «Госпел» (перша з яких ідентифікувала осіб, друга — будівлі та інфраструктуру). Згідно з розслідуваннями, що ґрунтуються на джерелах ізраїльської розвідки, ці системи формували списки цілей та розробляли оцінки прийнятних побічних збитків. Потім ці цілі, як повідомляється, переглядалися та затверджувалися командирами разом з аналітиками та юридичними радниками, часто в умовах значного оперативного тиску і, за деякими даними, після лише дуже обмеженої перевірки перед тим, як удари були санкціоновані.

В Афганістані, де штучний інтелект не застосовувався у великих масштабах, багато цивільних осіб загинуло внаслідок ударів, здійснених на основі недостовірних розвідданих, помилкової ідентифікації або неправильного розпізнавання цілей. Технологія змінилася, а основне питання залишилося тим самим. Чи вражаємо ми правильну ціль на основі надійної інформації, і якщо відповідь «ні», то хто несе за це відповідальність? Командир? Аналітик розвідки? Програміст? Чи машина? Якщо ми хочемо зберегти хоч якусь частку цивілізованості у жорстокій справі війни, відповідальність не може лежати на останньому з перелічених.

Усе це дуже скоро дасться нам взнаки. У минулорічному Стратегічному огляді оборони (SDR) було запропоновано створити «Цифрову мережу визначення цілей» як основу британської оборони. Як і багато інших ініціатив Міністерства оборони, ця оповита густим чагарником жаргону, що виражає високі амбіції. Ті, хто мав досвід амбітних проектів Міністерства оборони (включно з серйозними ІТ-провалами, яким не допомогла відсутність цифрових навичок), можуть мати свої сумніви. У цьому випадку вкрай важливо, щоб цей проект увінчався успіхом. Якщо це станеться, ми матимемо власний аналог ізраїльських систем розвідки та нанесення ударів на базі штучного інтелекту.

Багато в чому Британії пощастило. Ми не впроваджуємо систему наведення на ціль на основі штучного інтелекту посеред війни за виживання. У нас є час належним чином розробити систему, перш ніж від неї залежатимуть людські життя. Ми, так би мовити, не будуємо літак у польоті. Це дає нам унікальну можливість.

Прикметно, що у «Стратегічному огляді оборони», «Плані інвестицій в оборону» та загальнодоступних попередніх дослідженнях Міністерства оборони багато сторінок присвячено швидкості, даним, летальності та інтеграції між повітряними, наземними та морськими силами, а також із союзниками. Проте в них напрочуд мало говориться про підзвітність, етичні гарантії або про те, як рішення, прийняті за допомогою ШІ, будуть ретельно перевірятися чи контролюватися після події або взагалі.

Це упущення має значення. Питання вже не в тому, чи з’являться автономні зброї. Вони вже тут, і вони поєднані з інструментами машинного навчання, які є грізними з точки зору їхнього потенціалу для успіху або, насправді, катастрофи. Виклик для Великої Британії полягає в тому, щоб забезпечити, щоб кожен удар за допомогою ШІ залишав повний цифровий слід. Якщо ми не зможемо відтворити ланцюг ураження після цього, ми зазнали поразки ще до того, як пролунав перший постріл, і зробили ще один крок у бік нелюдяності.

Те, що має відрізняти демократії від їхніх супротивників, — це не досконалість їхніх алгоритмів, а впевненість у тому, що, коли щось піде не так, хтось — а не щось — може і буде притягнутий до відповідальності. Мета штучного інтелекту має полягати в покращенні військового судження та військової ефективності, а ні в якому разі не в тому, щоб замінити людську відповідальність.

Джерело: www.telegraph.co.uk