La scienza dei computer non è ancora riuscita a produrre servizi di traduzione da una lingua all’altra veramente efficienti, come sa bene chiunque abbia mai utilizzato BabelFish o Google Translate. Ora Google sembra aver scoperto come migliorare nettamente le traduzioni automatiche: affidando la risoluzione del problema non alla linguistica ma alla matematica, usando la tecnica dello spazio vettoriale.
Oggi i servizi su Internet mettono a confronto un insieme omogeneo di parole di una lingua con l’insieme equivalente di parole di un’altra lingua. Parole e frasi che condividono le stesse proprietà statistiche sono considerate equivalenti. Il problema sta nel fatto che all’origine la traduzione si fonda su dizionari compilati da persone in carne ed ossa, con grande dispendio di tempo ed energie.
I ricercatori di Google guidati da Tomas Mikolov stanno invece lavorando su una tecnica che genera automaticamente dizionari e schede di parole che convertono una lingua in un’altra usando non versioni dello stesso documento in lingue diverse, ma tecniche di data mining per creare modelli della struttura di una determinata lingua e metterli poi a confronto con i modelli e la struttura di un’altra lingua. “Questo metodo può essere usato per migliorare e affinare gli strumenti forniti dai dizionari”, dicono i ricercatori di Mountain View.
L’idea alla base del nuovo approccio è che ogni lingua descrive un insieme di idee simile, per cui anche le parole che descrivono idee simili devono corrispondere. Per esempio, la maggior parte delle lingue ha delle parole per animali comuni come il cane, il gatto, la mucca, e così via, e queste parole sono probabilmente usate in modi simili in frasi come “il gatto è un animale più piccolo del cane”.
Lo stesso vale per i numeri. Gli scienziati di Google ne hanno tracciato rappresentazioni vettoriali e scoperto che gli schemi che si ottenevano erano simili per le diverse lingue. In pratica la nuova tecnica legge il linguaggio come relazione tra parole e l’insieme di tutte queste relazioni viene interpretato a sua volta come insieme di vettori che puntano da una parola all’altra. Di recente, gli studiosi di linguistica hanno scoperto che è possibile trattare questi vettori matematicamente; per esempio, l’operazione ‘king’ – ‘man’ + ‘woman’ (re – uomo + donna) dà come risultato un vettore che è simile a ‘queen’ (regina). A quanto pare, lingue diverse funzionano in modo simile a livello di vettori. Di conseguenza, il processo di conversione da una lingua all’altra equivale alla conversione da un vettore spaziale a un altro.
Il team di Google sta cercando ora di mappare con precisione tutti i vettori e convertire dall’uno all’altro quelli delle varie lingue – sempre partendo da un piccolo dizionario bilingue compilato da esperti umani, ma mettendo poi a confronto insiemi omogenei di parole di una lingua con insieme corrispondenti di un’altra. Mikolov e colleghi dicono che il sistema funziona: “Nonostante la sua semplicità, il metodo è molto efficace: possiamo ottenere una precisione di quasi il 90% nella traduzione tra inglese e spagnolo”, affermano. A quanto pare il sistema vale anche per lingue molto lontane tra loro e permette di correggere gli errori derivanti dall’utilizzo esclusivo del dizionario. Un passo in avanti verso la comunicazione multilingue, ma Mikolov avverte: “Siamo solo all’inizio, c’è molto da capire ancora”.
