AI моделите долго се опишуваат како „црна кутија“, бидејќи ни нивните творци не можат точно да објаснат што прави секој нивен дел. Ник Камарата, истражувач во стартапот Goodfire кој претходно работел во OpenAI, во есејот „Neural Networks Are Already Clean“ објавен на 15 октомври тврди дека ситуацијата е многу подобра отколку што се мислело.
Есејот се занимава со таканаречените полисемантички неврони, односно делови од моделот што изгледа дека имаат повеќе неповрзани задачи. Најпознат пример е неврон во модел за слики кој реагира и на мачкини лица и на предниот дел од автомобилите. Досега тоа најчесто се објаснуваше со „superposition“: кога ќе му снема неврони, моделот во ист неврон пакува неповрзани поими.
Камарата, кој според своите зборови и самиот помогнал оваа теорија да се постави, сега вели дека доказите биле погрешно протолкувани. Кога повторно го погледнал невронот за мачки и автомобили, заклучил дека тоа всушност е неврон за облик на буквата V. Повеќето други случаи ги објаснува со појава што ја нарекува рекурзивна генерализација, каде невронот постепено се шири кон сродни поими, на пример од „iy“ на „diy“, па на „do it yourself“.
Според есејот, во прелиминарна анализа на моделот Qwen3-32B околу 90% од таканаречените полови на невроните (позитивната и негативната страна на секој неврон) имаат една главна задача, уште околу 7% имаат две сродни задачи, а само 2 до 4% засега не се разбрани. Слични резултати, според авторот, добиле и кај модели со трилиони параметри, како Kimi K3. Тој сепак признава дека бројката зависи од тоа што се смета за „една задача“.
За проектот на OpenAI од 2023 година, кој според него го започнал, Камарата пишува дека дури и според најблагиот критериум само околу 1,7% од невроните биле разбирливи. Станува збор за друг модел и друг начин на мерење, па бројките не се директно споредливи.
Според Futurism, есејот го пофалил и Сем Алтман, а истражувач од OpenAI го нарекол „голем момент во историјата на науката“. Нил Нанда, кој го води тимот за механистичка интерпретабилност во Google DeepMind, напишал дека работата е интересна, но не е значајна промена на големата слика, и дека и понатаму смета оти „superposition“ е реален.
Ако ова се потврди, веројатно ќе биде полесно да се разбере зошто моделите прават непредвидени работи, како кога Gemini неовластено пристапил до системите на три компании за време на безбедносен тест. Токму поради тоа што однесувањето на моделите не може да се објасни, Сатја Надела неодамна предложи компаниите да ги третираат како внатрешен безбедносен ризик.
Сепак, самиот Камарата есејот го нарекува работна хипотеза, а тврдењето дека ова можеби е поголемиот дел од она што е потребно за разбирање на моделите го опишува како многу шпекулативно.
