Potenziare l’adozione sicura dell’AI nelle aziende regolamentate: questo l’obiettivo con cui iGenius lancia Colosseum 355B, il large language model made in Italy di ultima generazione con 355 miliardi di parametri.
Realizzato con tecnologie di Nvidia, Colosseum 355B consente alle aziende che operano nei settori regolamentati, come i servizi finanziari e la pubblica amministrazione, di creare LLM altamente personalizzati grazie alla tecnica del Cpt (Continual-Pre-Training). In questo modo, Colosseum 355B democratizza la creazione di Llm su larga scala, finora prerogativa esclusiva dei grandi hyperscaler.
Creare Llm proprietari abbattendo i costi di inferenza
Colosseum 355B è stato progettato per supportare sia il Cpt che il fine-tuning. Il Cpt consente alle aziende di creare Llm proprietari, arricchendo il modello con conoscenze specifiche del loro settore e garantendo scalabilità a lungo termine, senza rinunciare alla conoscenza generale del modello. In questo modo, le aziende possono avere a disposizione un “cervello AI” proprietario, fondamentale per la loro indipendenza tecnologica. In seguito, possono anche utilizzare il fine-tuning per renderlo più specializzato sulle esigenze specifiche dell’azienda.
Addestrato utilizzando il formato FP8 (Floating Point), uno standard che consente di elaborare dati con grande efficienza computazionale, Colosseum 355B opera su un singolo nodo GPU H100. Grazie a questa scelta architetturale, infatti, il continual pre-training diventa accessibile senza richiedere competenze specialistiche in AIOps, consentendo al tempo stesso di abbattere i costi di inferenza del 50%, e mantenendo l’accuratezza e la qualità del modello.
Le sfide dell’AI per le aziende regolamentate
Le aziende che operano in settori regolamentati affrontano sfide complesse legate all’adozione dell’AI, dovute ai rigidi requisiti di conformità e alle normative stringenti. Circa l’80% dei dati aziendali più critici, come informazioni personali, transazioni finanziarie, segreti commerciali e proprietà intellettuali, non può essere esportato né utilizzato per il fine-tuning su modelli centralizzati o open-source con licenze di proprietà limitate. Questi dati devono rimanere all’interno della rete aziendale, rendendo indispensabile per le organizzazioni mantenere il controllo completo sui modelli di intelligenza artificiale generativa.
Sebbene i modelli centralizzati di AI siano utili per la produttività personale come la generazione di contenuti, al contrario, presentano molte limitazioni per le attività mission-critical nei settori regolamentati, soprattutto per i rischi legati alla fusione irreversibile dei dati con la proprietà intellettuale. Ad esempio, la condivisione di dati sensibili con modelli di linguaggio centralizzati (Llm) da parte di istituzioni finanziarie può esporre i dati a rischi di violazioni o utilizzi impropri, rivelando strategie di trading proprietarie o piani di investimento.
Soluzioni AI pensate per le aziende regolamentate
Realizzato con Nvidia AI Enterprise software platform, che include Nvidia NeMo, utilizzando la piattaforma di AI Nvidia Dgx Cloud, Colosseum 355B è stato sviluppato su un singolo cluster con oltre 3,000 Nvidia H100 GPUs. Questo ha permesso ad iGenius di velocizzare il processo di R&D e tutte le fasi di pre-addestramento e di ottenere un modello che supporta più di 50 lingue diverse, ha ottime capacità di ragionamento, ed è ottimizzato per un’implementazione efficiente e un utilizzo ottimale delle risorse.
“Siano convinti che l’Intelligenza Artificiale debba essere decentralizzata e messa davvero al servizio delle persone e delle imprese – afferma Uljan Sharka, ceo e founder di iGenius -. La nostra visione include un’AI che sia accessibile e democratica; la nostra collaborazione con Nvidia ci permette di superare ulteriormente i limiti di questa tecnologia grazie anche alla creazione di Colosseum 355B”.
“Colosseum 355B è un potente modello di intelligenza artificiale destinato ad aprire nuove opportunità per i settori altamente regolamentati,” ha dichiarato Alexis Bjorlin, vice president of Dgx Cloud at Nvidia. “Grazie alla collaborazione con iGenius, gli esperti di AI di NVIDIA hanno contribuito a ottimizzare l’addestramento del modello e hanno fornito accesso ai cluster di calcolo Nvidia AI and Dgx Cloud, garantendo la produttività sin dall’inizio”.
