OpenAI го купува Promptfoo за поголема безбедност на вештачката интелигенција
Компанијата OpenAI постигна договор за купување на стартапот Promptfoo, кој развива алатки што им помагаат на големите компании да откриваат и отстрануваат безбедносни слабости во моделите на вештачка интелигенција уште во фазата на нивниот развој. Со овој потег, креаторот на ChatGPT има цел дополнително да ја зголеми безбедноста на AI системите што ги користат корпоративните клиенти и да ги намали ризиците при нивното користење.
Технологијата на Promptfoo ќе биде интегрирана во платформата OpenAI Frontier, која OpenAI неодамна ја претстави како алатка за развој и управување со AI агенти. Овие агенти, кои компанијата ги опишува како „AI соработници“, се наменети да извршуваат сложени задачи со минимална човечка интервенција. Платформата Frontier треба да обезбеди секој агент да функционира со соодветни безбедносни ограничувања и контролирана употреба на податоци.
Стартапот Promptfoo, основан пред околу две години и со седиште во Сан Франциско, развива open-source алатки за тестирање на безбедноста на системите со вештачка интелигенција. Неговите решенија им овозможуваат на компаниите сами да ги тестираат своите AI производи преку симулирани напади со цел да ги откријат потенцијалните слабости. Овој процес е познат како „red-teaming“, односно тестирање на системите со намерно барање на пропусти. Меѓу клиентите на стартапот се и значителен број компании од листата на Fortune 500.
Преземањето доаѓа во период кога технолошките компании се натпреваруваат во развојот на понапредни AI агенти, способни самостојно да извршуваат задачи за корисниците. Во исто време, се зголемува и потребата овие системи да бидат сигурни и безбедни за деловна употреба. Според експерти од инвестицискиот сектор, ваквиот потег покажува дека OpenAI сака да ја направи корпоративната вештачка интелигенција не само моќна, туку и доволно сигурна за широка примена.
Со интеграцијата на технологијата на Promptfoo, платформата Frontier ќе добие автоматизирани функции за тестирање на безбедноста, како и алатки за следење на промени и контрола на тестирањата. Ова ќе им помогне на организациите полесно да управуваат со ризиците и да ги исполнуваат безбедносните и регулаторните стандарди при користење на вештачката интелигенција. OpenAI исто така најави дека ќе продолжи да го развива и поддржува open-source проектот на Promptfoo, додека неговата технологија ќе стане дел од пошироката AI инфраструктура на компанијата.