Светот повторно се соочува со трка во која никој не сака прв да забави. Овојпат не станува збор за производство на нуклеарно оружје, туку за развој на сè помоќни системи на вештачка интелигенција. Големите технолошки компании и држави вложуваат огромни средства во новата технологија, иако дел од научниците и инженерите што работат на неа предупредуваат дека темпото на развој може да ги надмине механизмите создадени за нејзина контрола. Паралелата со нуклеарната трка од времето на Студената војна станува сè почеста. Причината е едноставна: секој учесник има причина да продолжи да забрзува, дури и кога е свесен дека неконтролираната конкуренција може да донесе сериозни последици. Разликата, сепак, е во природата на технологијата. Нуклеарното оружје не можело самостојно да носи одлуки. За негово активирање била потребна човечка одлука. Напредните системи на вештачка интелигенција, доколку во иднина добијат значително поголема автономија, би можеле да извршуваат задачи, да користат дигитални ресурси и да донесуваат одлуки со минимална човечка интервенција. Токму ова сценарио предизвикува загриженост кај дел од луѓето кои се наоѓаат во самото срце на индустријата. Во водечките лаборатории за развој на вештачка интелигенција веќе со години се води дебата за тоа како да се осигури дека идните системи ќе ги следат човечките цели и ограничувања. Проблемот е што со зголемувањето на способностите на моделите станува сè потешко луѓето целосно да го разберат начинот на кој тие доаѓаат до одредени заклучоци. Современите модели не се создаваат на истиот начин како класичните компјутерски програми. Кај традиционалниот софтвер, програмерот директно го пишува кодот и ги дефинира правилата според кои системот треба да функционира. Кај современите модели, голем дел од однесувањето се развива преку тренирање врз огромни количества податоци. Тоа значи дека инженерите не го пишуваат секој чекор што моделот го презема, туку создаваат услови во кои системот самиот развива сложени начини на обработка на информации. Од тука произлегува еден од најголемите проблеми во истражувањето на безбедноста на вештачката интелигенција: како да се гарантира дека системот ќе остане усогласен со човечките интереси и кога ќе стане многу поспособен од луѓето што го надгледуваат. Истражувачите предупредуваат дека системот може да научи да се однесува на начин што изгледа безбеден во текот на тестирањето, без тоа нужно да значи дека неговото внатрешно однесување целосно се совпаѓа со целите што му ги поставиле луѓето. Со други зборови, постои ризик разликата меѓу она што системот го покажува и она што навистина го оптимизира да стане поголема како што неговите способности растат. Дополнителен предизвик претставува надзорот. Доколку еден систем во одредени области стане поспособен од своите човечки контролори, луѓето може да имаат сè поголеми тешкотии да ги препознаат неговите грешки или несакани стратегии. Тоа отвора фундаментално прашање: како човекот ќе контролира систем чии способности повеќе не може целосно да ги процени? Особено внимание предизвикува и можноста за таканаречено рекурзивно самоподобрување. Доколку еден систем стане способен самостојно да придонесува во создавањето на нови и подобри верзии на вештачка интелигенција, технолошкиот напредок би можел да се забрза драматично. Наместо новите генерации да се развиваат во период од неколку години, циклусот би можел значително да се скрати. Сепак, важно е да се направи разлика меѓу реалните способности на денешните системи и хипотетичките сценарија за идната суперинтелигенција. Дел од најцрните предупредувања се однесуваат на можности што сè уште не се реализирани и за кои меѓу научниците постојат сериозни несогласувања околу веројатноста и временската рамка. Токму затоа оваа тема не може да се сведе ниту на тврдењето дека катастрофата е неизбежна, ниту на ставот дека опасностите се само научно-фантастично сценарио. Во меѓувреме, економската и геополитичката конкуренција го прави забавувањето исклучително тешко. Компанијата што ќе реши да го намали темпото ризикува конкурентите да ја престигнат. Државата што би вовела строги ограничувања може да стравува дека друга сила ќе продолжи со развојот и ќе стекне технолошка, економска или воена предност. Тоа е суштината на таканаречената затвореничка дилема. Иако сите актери би можеле да имаат корист од заедничко ограничување на ризичната трка, секој поединечно има мотив да продолжи да инвестира и да забрзува. Слична логика постоела и во времето на нуклеарната трка. Соединетите Американски Држави и Советскиот Сојуз знаеле дека нуклеарната војна би била катастрофална, но ниту една страна не сакала еднострано да се откаже од развојот на оружјето затоа што тоа би можело да значи стратешка слабост. Денес сличен проблем се појавува во односите меѓу Соединетите Американски Држави и Кина. Двете сили ја гледаат вештачката интелигенција како технологија со огромно економско и стратешко значење. Вашингтон стравува дека забавувањето може да му овозможи на Пекинг да стекне предност, додека во Кина постои слична загриженост дека Западот може да ја искористи технологијата за стекнување доминација. Парадоксот е што двете страни можат истовремено да бидат загрижени од ризиците и сепак да продолжат со трката. Во Кина, прашањето за контролата има и дополнителна политичка димензија. Автономен дигитален систем кој би можел да дејствува независно од државните институции би претставувал сериозен предизвик за моделот на централизирана контрола. Кинеските истражувачи и институции затоа, исто така, ја разгледуваат потребата од ограничувања за најнапредните системи и нивната употреба во критични области. Но, најголемата пречка за меѓународен договор останува недовербата. Дури и кога големите сили се согласуваат дека одредена технологија носи ризици, многу потешко се согласуваат околу тоа кој треба да контролира, кој треба да проверува и како да се осигури дека другата страна ги почитува договорените правила. Покрај реалните безбедносни ризици, постои и друга страна на приказната. Дел од критичарите предупредуваат дека технолошките компании можеби имаат економски интерес да ги нагласуваат опасностите од идните системи. Создавањето впечаток дека технологијата е исклучително сложена и достапна само за неколку компании може да придонесе за зголемување на нивната пазарна моќ. Постои и опасност од регулаторно заробување, односно создавање правила што формално ја штитат јавноста, но во пракса им го отежнуваат влезот на пазарот на помалите конкуренти, додека големите компании полесно ги исполнуваат високите регулаторни барања. Затоа секое предупредување треба внимателно да се разгледува. Ниту секое сценарио за идната суперинтелигенција е научно докажан факт, ниту секоја загриженост на луѓето од индустријата треба да се отфрли како маркетинг. Најголемиот предизвик е да се најде рамнотежа меѓу технолошкиот напредок и безбедноста. Целта не треба да биде запирање на развојот на вештачката интелигенција, туку создавање механизми со кои најмоќните системи ќе можат да се развиваат под независен надзор, со јасни граници и меѓународни правила. Историјата покажува дека човештвото често создавало технологии побрзо отколку што успевало да воспостави правила за нивна безбедна употреба. Денешната трка во развојот на вештачката интелигенција можеби е уште еден таков момент. Прашањето не е само колку интелигентни ќе станат машините, туку дали институциите, компаниите и државите ќе успеат да воспостават доволно силни механизми за контрола пред нивните способности да го надминат човечкиот надзор. Ако најголемите сили продолжат да се однесуваат според логиката дека првиот што ќе забави ќе го изгуби натпреварот, ризикот нема да произлегува само од самата технологија. Тој може да произлезе и од начинот на кој луѓето ќе изберат да се натпреваруваат во нејзиниот развој. Навигација на напис Европа ја отвора вратата за Канада: Се разгледува досега невиден модел на соработка Кина го тресе автомобилскиот пазар: За осум месеци извезе над 6,2 милиони автомобили