Погрешна проценка на вештачката интелигенција за малку ќе предизвикала судир со Кина

Додека голем дел од светот расправа за сценарио во кое вештачката интелигенција еден ден би можела да стане премногу моќна и да излезе од човечка контрола, многу поконкретен ризик веќе се појавува во реалноста. Воените системи сè повеќе ја користат технологијата за обработка на огромни количини податоци, разузнавачки анализи и идентификување потенцијални цели, а една погрешна проценка во таква средина може да има многу посериозни последици од неточен одговор на четбот.

Најголемиот проблем не мора да биде машина која самостојно ќе одлучи да му се спротивстави на човекот. Опасноста може да биде многу поедноставна – луѓето да почнат премногу да им веруваат на резултатите што ги произведуваат алгоритмите, особено кога тие се претставени како прецизни и професионално обработени разузнавачки информации.

Еден од случаите што го покажува овој ризик се однесува на разузнавачки извештај според кој кинески брод на Блискиот Исток наводно превезувал компоненти поврзани со нуклеарно оружје. Врз основа на добиените информации биле започнати подготовки за пресретнување на пловилото, а ситуацијата стигнала до точка во која авиони веќе биле во воздух, додека вооружени војници се подготвувале да се качат на бродот.

Дополнителната проверка непосредно пред операцијата, сепак, покажала дека извештајот бил создаден со помош на вештачка интелигенција и дека алатката погрешно го идентификувала товарот. Според информациите наведени во изворниот текст, проценката била целосно неточна, а потенцијалната последица можела да биде сериозна конфронтација меѓу две големи сили.

Случајот отвора уште поважно прашање – што ќе се случеше доколку никој не се посомневаше во добиените информации? Во конкретната ситуација човечката проверка функционирала како последна заштита, но не затоа што системот автоматски ја препознал сопствената грешка. Неточната информација била откриена дури кога луѓето повторно го разгледале извештајот.

Уште посериозни се прашањата што се отвораат кога технологијата се користи при изборот и анализата на воени цели. Во изворниот текст се наведува случајот со основното училиште „Шаџара Тајебех“ во иранскиот град Минаб, кое било погодено со две ракети „Томахавк“. Според наведениот извештај, во нападот загинале повеќе од 150 лица, меѓу кои најмалку 120 деца.

Независна истражна мисија на Обединетите нации, според текстот, оценила дека постојат разумни основи да се смета дека нападот претставувал воено злосторство и дека пред ударот не било соодветно проверено дали објектот навистина бил воена цел. Училиштето со години било јавно означено како образовна институција, додека сателитските снимки покажувале дека било физички одвоено од соседниот воен комплекс.

Во центарот на вниманието се нашла и употребата на системот Maven Smart System на компанијата Palantir. Според информациите пренесени во изворниот материјал, дел од персоналот во американската Централна команда премногу се потпирал на вештачката интелигенција во системот, очекувајќи дека самата технологија ќе предупреди доколку податоците се застарени или меѓусебно неусогласени. Palantir, од своја страна, ја отфрла одговорноста за квалитетот на информациите што корисниците ги внесуваат во системот.

Американската војска не е единствениот пример што ја отвора оваа дебата. Истраги на медиуми претходно ја разгледуваа употребата на системот Lavender од страна на израелската војска во војната во Газа. Според тие наводи, системот во првите недели од конфликтот означил до 37.000 Палестинци како можни борци, при што била наведена стапка на грешка од околу 10 проценти.

Доколку таквата стапка е точна, тоа би значело дека илјадници луѓе потенцијално можеле погрешно да бидат класифицирани. Во извештаите се споменува и друга алатка, неофицијално наречена „Where’s Daddy?“, која наводно служела за следење на означените лица до нивните семејни домови. Израелската војска ги оспорува тврдењата дека располага со систем кој самостојно идентификува луѓе како цели или препорачува кого треба да се нападне.

Зад ваквите примери стои поширок проблем со начинот на кој алгоритмите можат да проценуваат нечие однесување. Современите воени системи можат да обработуваат податоци за движењето, комуникацијата и активностите на луѓето и врз основа на одредени обрасци да проценуваат дали некое лице или група претставува потенцијална закана.

Но алгоритмот не ја разбира реалноста на ист начин како човекот. Група луѓе што често се среќаваат и интензивно комуницираат преку мобилни телефони може статистички да личат на организирана група што подготвува напад, но истото однесување може да го имаат луѓе кои организираат хуманитарна помош, семејна