La diffusione dell’intelligenza artificiale nel settore delle Tlc può determinare numerosi vantaggi per le aziende. A cominciare dall’ottimizzazione delle prestazioni delle infrastrutture evitando guasti e interruzioni fino all’aumento dei ricavi grazie alla crescita della domanda di qualità della rete per use case aziendali e alla richiesta di offerte personalizzate per gli utenti finali.
Al contempo però si sono rilevate criticità sul fronte della GenAI, con i large language model (Llm) che hanno dimostrato carenze significative nella gestione delle conoscenze tecniche, della conformità normativa e della risoluzione dei problemi nelle Tlc.
Secondo test recenti, Gpt4 ha ottenuto un punteggio inferiore al 75% su TeleQnA, un set di dati per valutare la conoscenza degli Llm nel campo delle telecomunicazioni, e inferiore al 40% sulla classificazione 3GppTdocs, un set di dati basato sulla documentazione degli standard 3Gpp.
Il Phi2 di Microsoft, un modello molto più piccolo, ha ottenuto solo il 10% su Math500, un benchmark di 500 domande di matematica generale.
L’iniziativa della Gsma
Per contribuire a risolvere questa critictà, la Gsma Foundry, l’hub di innovazione della Gsma, ha lanciato Gsma Open-Telco Llm Benchmarks, una comunità open source volta a migliorare le prestazioni dei large language model per applicazioni specifiche destinate alle telecomunicazioni.
Nello specifico la community avrà il compito di sviluppare un framework unico per la valutazione dei modelli di GenAI nei casi d’uso. A supportare l’iniziativa Hugging Face, Khalifa University, The Linux Foundation e da una serie di operatori e fornitori di reti mobili. Tra questi Deutsche Telekom, LG Uplus, SK Telecom e Turkcell e Huawei.
“Gli odierni modelli di intelligenza artificiale hanno difficoltà con query specifiche per le telecomunicazioni, che spesso producono raccomandazioni imprecise, fuorvianti o poco pratiche – spiega ha dichiarato Louis Powell, Head of AI Initiatives, Gsma – Creando una serie di benchmark a livello di settore, non solo miglioriamo le prestazioni dei modelli, ma garantiamo anche che l’intelligenza artificiale nelle telecomunicazioni sia sicura, affidabile e allineata con le esigenze operative del mondo reale”.
Un benchmark standardizzato
La community Gsma Open-Telco Llm Benchmarks consentirà agli operatori di reti mobili, ai ricercatori e agli sviluppatori di intelligenza artificiale di inviare casi d’uso, set di dati e modelli per la valutazione. Un quadro di benchmarking standardizzato, infatti, garantisce che tutti i modelli di intelligenza artificiale siano valutati rispetto alle sfide più cogenti che il settore si triva da affrontare: dal consumo energetico fino alla sicurezza, ad esmepio. I benchmark saranno ospitati su Hugging Face per garantire trasparenza e incoraggiare il coinvolgimento della comunità.
