Google официјално ја најави својата осма генерација на Tensor Processing Unit чипови, кои за прв пат се поделени на две различни архитектури, TPU 8t и TPU 8i. Овој потег на компанијата претставува одговор на сè поголемата поделба помеѓу хардверските потреби за тренирање на големи јазични модели и нивната практична примена.
Одлуката за раздвојување на архитектурата доаѓа како логичен чекор со оглед на тоа што овие два процеса имаат спротивни технички барања кои тешко се оптимизираат преку еден универзален чип.
Според техничките детали, тренирањето на модели бара максимална процесирачка моќ и ефикасна синхронизација низ илјадници чипови, додека инференцијата дава приоритет на ниската латенција и брзиот пристап до меморијата.
Ова е особено важно за новата ера на агентска вештачка интелигенција, каде што моделите извршуваат комплексни задачи во повеќе чекори и имаат потреба од континуирана меѓусебна комуникација без одложувања во процесирањето.
Моделот кој е наменет за тренирање, TPU 8t, е дизајниран специфично за развој на масивни јазични модели и доаѓа со соодветни подобрувања во перформансите. Архитектурата на овој чип овозможува поврзување до 9600 единици во еден „суперкластер“, обезбедувајќи го потребниот пропусен опсег за модели кои содржат трилиони параметри.
Од друга страна, чипот наменет за инференција, TPU 8i, доаѓа со значително зголемен капацитет на меморија интегрирана директно на самиот хардвер. Овој пристап овозможува поголем дел од податоците да се процесираат локално без потреба од постојано префрлање преку мрежата, што директно влијае на намалување на времето на одговор.
Преку оваа оптимизација, компанијата нуди подобрен сооднос помеѓу цената и перформансите при процесирањето, што е од клучно значење за сервисирање на голем број кориснички барања во реално време на економичен начин.
За сите технички детали на новите чипови, погледнете ја официјалната објава од Google.
