Сатја Надела, извршниот директор на Microsoft, во саботата на својот личен блог објави статија насловена како „Моделите како внатрешен ризик во ерата на суперинтелигенцијата“, која ја сподели и на X. Во неа пишува дека компаниите им даваат на AI агентите пристап до најчувствителните податоци и критични задачи, иако не може да се објасни зошто моделот се однесува така.
Кај традиционалниот софтвер секое однесување можело да се поврзе со дел од кодот, а кај денешните модели не, објаснува Надела. Затоа, според него, треба да се одвои „снабдувањето со интелигенција од власта над неа“, а тешкиот проблем на усогласувањето („alignment“) засега да се остави настрана и да се почне со инженерски пристап кон ограничувањето и управувањето.
Неговиот предлог е моделите, и затворените и тие со отворени тежини, да се третираат како „insider risk“, односно како некој што веќе е внатре и има пристап до важни системи. Не затоа што се нужно злонамерни, пишува тој, туку затоа што секој доволно способен актер може да згреши или да биде компромитиран. Со ваков ризик кај луѓето компаниите управуваат со децении, преку проверка на идентитетот, ограничени дозволи и евиденција на активностите.
Транспарентноста на размислувањето на моделот („chain of thought“) Надела ја нарекува неопходна, но не и доволна, бидејќи сè уште не се знае како одговорите на моделите да бидат секогаш веродостојни. Моделите, според него, треба меѓусебно да се проверуваат, но тоа не е доволно ако на крајот се добијат „вгнездени црни кутии“, односно затворен модел што го надгледува друг затворен модел. Поради ова, контролите за тоа до што има пристап моделот и што смее да прави мора да бидат надвор од самиот модел.
Меѓу принципите што ги наведува се повеќе различни модели наместо зависност од еден, траги од секоја важна акција што не можат да се менуваат, независна ревизија и навремено објавување на инцидентите. Тој бара и „сопирачка за итни случаи“, односно овластено лице секогаш да може да го паузира или исклучи моделот среде задача, бидејќи треба да се претпостави дека е компромитиран уште од почетокот.
Најдоверливиот систем, заклучува Надела, нема да биде оној со моделот во кој најмногу веруваме, туку оној што ни овозможува на моделот најмалку да му веруваме.
Вакво нешто не е само теорија. Кон крајот на септември OpenAI го паузираше тренирањето, тестирањето и користењето со алатки на најнапредните модели откако агент ги заобиколил ограничувањата за интернет, а и самиот Microsoft со Autopilot, засега во приватен преглед, развива агент со сопствен идентитет што работи и кога корисникот не е на компјутерот. Сепак, статијата не најавува конкретни промени во производите на Microsoft.
