Le tendenze che caratterizzano l’evoluzione delle soluzioni basate sull’intelligenza artificiale – tutte legate a un costante incremento dei consumi energetici – impongono un ripensamento sia dell’hardware che degli algoritmi da cui scaturiscono le AI.
I sistemi basati sulla fotonica consentono per esempio di ottenere unità di calcolo ad alta velocità ed efficienza energetica, a condizione che gli algoritmi siano progettati per sfruttare i punti di forza unici della tecnologia. E in quest’ottica la recente implementazione dei cosiddetti automi cellulari nella fotonica dimostra come poche interazioni locali possano raggiungere un’elevata produttività e precisione. A dirlo è un articolo di Nature, che esplora le nuove possibilità per alimentare quelli che sono destinati a essere tra i sistemi umani più energivori di sempre.
Il peso dell’AI sui consumi energetici
Gli attuali modelli di intelligenza artificiale basati sulle reti neurali stanno acquisendo capacità cognitive e creative prima inaccessibili con il continuo aumento della loro scala. I modelli più avanzati tendono a raddoppiare le loro dimensioni ogni anno, raggiungendo oggi trilioni di parametri. Oltre a migliorare le prestazioni nei compiti di addestramento, si è osservato che i modelli, man mano che vengono scalati, iniziano a svolgere nuovi compiti per i quali non erano stati addestrati.
Questo ampliamento delle competenze, unito a una sempre più ampia adozione in vari settori, sta determinando un rapido aumento delle risorse di calcolo e della domanda di energia dell’AI a livello globale, che attualmente raddoppia ogni 100 giorni. Il corrispondente impatto ambientale di questa tecnologia affamata di energia richiede lo sviluppo di modelli di AI più compatti e di hardware più efficiente, pur mantenendo prestazioni elevate.
Gli approcci che puntano a ridurre l’impatto energetico dei sistemi di AI
Diversi metodi di apprendimento automatico si pongono l’obiettivo di ottenere precisioni competitive con modelli più piccoli e leggeri. Una delle prime tecniche, il pruning, riduce le dimensioni delle reti neurali determinando le connessioni meno importanti dopo l’addestramento ed eliminandole. La distillazione della conoscenza addestra un modello più piccolo con le attivazioni intermedie di un modello più grande, ottenendo prestazioni simili con meno parametri.
Anche il metodo chiamato quantizzazione, che consiste semplicemente nel diminuire la profondità di bit dei parametri del modello e/o delle attivazioni durante l’inferenza, ad esempio da 16 bit a 8 bit, ha permesso di ottenere un throughput maggiore a parità di risorse computazionali.
Basandosi su strati nascosti fissi inizializzati in modo casuale che non richiedono un addestramento basato sul gradiente, le Extreme Learning Machines (Elm) e il reservoir computing riducono il numero di parametri addestrabili. Un altro vantaggio di queste architetture è la possibilità di eventi fisici parametrici e ad alta densità a bassa potenza per eseguire i loro strati fissi con elevata efficienza.
Il ruolo della fotonica nei nuovi hardware
Oltre a fare progressi negli algoritmi di AI, è necessario però identificare modalità alternative per l’hardware. La fotonica, rimarca Nature, è uno dei candidati più promettenti, poiché può sostenere larghezze di banda maggiori e perdite inferiori rispetto all’elettronica digitale. Le tecnologie fotoniche mature, come i modulatori di luce integrati e spaziali, consentono l’implementazione di vari modelli di AI, tra cui architetture completamente programmabili e configurazioni con strati fissi, la cui funzionalità deriva da interazioni fisiche come il laser multimodale, la conversione di frequenza non lineare o la diffusione casuale.
La sperimentazione del California Institute of Technology
Rispetto alle connessioni globali in strati come quelli completamente connessi, l’elaborazione delle informazioni con connessioni locali in un modello di intelligenza artificiale dà luogo ad architetture più compatte, di cui un esempio molto popolare e influente sono gli strati convoluzionali.
Gli automi cellulari neurali (Neural cellular automata, Nca), ispirati agli automi cellulari tradizionali in cui ogni cellula del sistema si evolve secondo regole locali che dipendono dagli stati delle cellule vicine, utilizzano per esempio funzioni differenziabili e a valore continuo per definire queste interazioni. Questo design consente agli Nca di eseguire compiti complessi attraverso semplici regole di aggiornamento. La natura “neurale” o differenziabile dell’approccio consente di definire un compito a valle per le interazioni locali e di addestrare di conseguenza i pesi di interazione.
In uno studio condotto presso il California Institute of Technology, il compito a valle è stato definito come la classificazione del modello complessivo formato da pixel (o “celle”, nel contesto degli automi cellulari), e un sistema fotonico ha realizzato l’implementazione degli Nca. Il modello computazionale che dipende dagli aggiornamenti ricorrenti dei valori delle singole celle in base alle regole di interazione si è rivelato un’ottima combinazione con le capacità della fotonica.
Questa implementazione fotonica degli automi cellulari neurali dimostra come la fotonica potrebbe affrontare l’esplosione delle dimensioni dei modelli e l’impronta ambientale dell’AI utilizzando hardware ad alta velocità e interazioni fisiche come unità di calcolo. Dato lo sviluppo di algoritmi su misura per queste piattaforme – considerando i vantaggi e i limiti unici della fotonica rispetto a quelli dell’hardware digitale generico – la fotonica, conclude Nature, può offrire una soluzione convincente.
