Brilla la scintilla di Spark. La nuova tecnologia “definitiva” che sta scuotendo il mondo del cloud è diventata lo strumento di elezione per i big del cloud: Ibm, Microsoft, Amazon, Huawei. Ma cos’è Spark?
Nato nel 2008 e diventato un progetto open source con licenza di tipo Apache nel 2009, Spark è un framework nato nel AMPLab dell’università di Berkeley. A differenza di MapReduce, utilizzato da Hadoop, Spark utilizza un sistema di organizzazione e gestione del calcolo che in alcuni casi può essere fino a due ordini di grandezza più veloce. Inoltre, dal momento che Spark consente di caricare dati e interrogarli ripetutamente in modo molto rapido su sistemi cloud complessi, sta diventando uno degli strumenti di riferimento per gli algoritmi di machine learning.
Per questo nelle ultime settimane è diventato la cosa più “calda” nel mondo della tecnologia informatica. Soprattutto perché offre dimensioni, flessibilità e capacità di portare risultati di qualità con i big data sulle tecnologie cloud attuali da poter garantire buoni risultati economici.
Ibm utilizza Spark sui PaaS Bluemix, e si prepara a implementarlo sui sistemi di machine learning SystemML. Microsoft utilizza Spark su Azure HDInsight (la sua vaersione cloud di Hadoop), Amazon lo utilizza dentro il suo Elastic MapReduce, dove può far funzionare applicazioni native su Scala, Python e Java. Infine Huawei, che ha presentato di recente il progetto Astro all’interno del quale vengono combinati Spark, Spark Sql e HBase, oltre a FusionInsight, il prodotto basato su tecnologie simili ad Hadoop del colossi cinese.
Spark è anche molto utilizzato da Yahoo, che fra le altre cose è l’ambiente dove si è sviluppato originariamente Hadoop. Oggi negli analitici è Spark il motore di riferimento. E, tra i vari contributor al progetto open source spicca il progetto Tungsten di Databricks, che sta cercando di potenziare ancora di più la performance di Spark come strumento per gli analitici. In questa prospettiva, Spark deve comunque fare parecchia strada: aumentare l’integrazione con le tecnologie esistenti, soprattutto con i principali strati di middleware presenti sul mercato e veder crescere un numero di app già affermate che vengano riscritte per funzionare con Spark.
