Machine learning ed HPC, il futuro secondo Baidu

Intervista ad Andrew Ng (chief scientist presso Baidu) dedicato alle intelligenze artificiali ed al futuro delle tecnologie machine learning

Machine Learning

Di machine learning si sente parlare sempre più di frequente. Sebbene i termini “cloud computing” e “container” (quest’ultimo più in ambito enterprise che consumer) detengano ancora la scena principale, gli annunci degli ultimi mesi hanno riaccesso i riflettori sulla tecnologia dalle elevate potenzialità.

Molti ricorderanno probabilmente le novità presentato da Google lo scorso 23 e 24 Marzo in occasione della conferenza di San Francisco “GCP Next 2016”: a farla da padrone, oltre che all’omonima piattaforma cloud, è stato sicuramente il machine learning sul quale la stessa Mountain View ha affermato di voler puntare in futuro per distinguersi dalla concorrenza – ed in questo campo l’azienda potrebbe davvero non avere rivali, almeno sul medio termine, grazie all’esperienza accumulata fino ad oggi.

Il portale TheNextPlatform, estremamente attento a tematiche di questo genere, ha colto l’occasione per intervistare il chief scientist di Baidu (motore di ricerca leader in Cina) Andrew Ng e comprendere quale sia la situazione attuale delle tecnologie legate al machine learning e quali le possibili dinamiche di evoluzione in futuro.

L’intervista in sintesi

La tesi principale dell’intervistato è che solo grazie ai progressi tecnologici avvenuti negli ultimi anni in ambito HPC (High Performance Computing, tecnologie in grado di sfruttare un numero variabile di cluster per offrire altissimi livelli di capacità computazionale) ed all’incremento esponenziale di dati generati dall’utenza (“la società spende molto più tempo su internet e con i dispositivi mobile” osserva), il machine learning sta finalmente iniziando ad accelerare la propria corsa.

La capacità computazionale disponibile sta venendo infatti impiegata nella realizzazione di complessi algoritmi di deep learning, grazie ai quali è possibile trasformare la marea di dati circolanti in informazioni utili. Senza guardare troppo al futuro, il machine learning è già alla base di alcuni servizi con i quali direttamente o indirettamente abbiamo a che fare ogni giorno come ad esempio le raccomandazioni personalizzate (i banner che mostrano solitamente qualche oggetto legato alla nostra attività recente).

Per Andrew NG l’approccio HPC è l’unico in grado di garantire il progresso delle tecnologie di machine learning: la progettazione di network neurali richiede non solo un’elevata capacità computazionale ma anche la distribuzione del processo di training su più nodi. La velocità con la quale viene eseguito l’allenamento è stimata direttamente in base alla capacità computazionale totale disponibile, aggiunge Andrew spiegando meglio in cosa consista tale approccio.

Tra gli ambiti di applicazione della tecnologia più interessanti cita infine quello del riconoscimento vocale e dell’“apprendimento non supervisionato”, ovvero effettuabile anche attraverso una serie di dati non lavorati precedentemente (raw data).

L’intervista completa

Artificial intelligence has had a few false starts. What is different about machine learning?

 Two of the key drivers of machine learning progress today are 1. scale of data and 2. scale of computation. With society spending more time on websites and mobile devices, data has been rapidly accumulating for the past two decades. It was only recently that researchers have figured out how to scale computation to build deep learning algorithms that can take effective advantage of this voluminous amount of data.

Which industries or application domains do you think will be first to feel the effects of machine learning in a significant way?

Machine learning has already transformed the internet with services such as web search, anti-spam and product recommendations. This is just the beginning. One of the areas I’m most excited about right now is speech recognition. Speech is one of those technologies with the potential to change everything. Today, speech recognition isn’t reliable enough for you to use all of the time but I hope in the near future we can create a new way of interacting with all your devices. The best technology is often invisible, and as speech recognition becomes more reliable, I hope it will disappear into the background.

I am also excited about autonomous driving. This is an area where technology and regulations should be developed simultaneously. I hope to see government organizations and tech communities working together on this. Making autonomous cars a reality cannot be done by any single organization. It will require a public-private partnership.

How does high performance computing fit into machine learning? What HPC technologies are most important to this ecosystem?

Although the techniques behind machine learning and deep learning have been studied for decades, they rely on large data sets and large computational resources, and so have only recently become practical for many problems. Training deep neural networks is very computationally intensive: training one of our models takes tens of exaflops of work, and so HPC techniques are key to creating these models.

Because the neural network training problem is so arithmetically intense, we rely on computationally dense processors like GPUs, and because we need to scale the training process over multiple nodes, we rely on fast interconnect technologies such as Infiniband. Along with HPC hardware, we also use HPC software such as MPI and BLAS libraries. Perhaps most importantly, we approach problems from an HPC point of view: we examine the fundamental limits to our computation, and then push to see how close we can get to those limits.

The faster we train our networks, the more iteration we can make on our datasets and models, and the more iterations we make, the more we advance our machine learning. This means that HPC translates into machine learning progress, which is why we have adopted the HPC point of view. Machine learning should embrace HPC. These methods will make researchers more efficient and help accelerate the progress of our whole field. At Baidu, Dr. Bryan Catanzaro leads a team that has been at the forefront of this field. I hope these ideas will disseminate into more AI teams around the world, and also that more HPC researchers will come help the field of AI.

What are the most interesting developments in the field of machine learning today?

AI has made tremendous progress, and I’m optimistic about building a better society that is embedded up and down with machine intelligence. But AI today is still very limited. Almost all the economic and social value of deep learning is through “supervised learning,” which is limited by the amount of suitably formatted (i.e., labeled) data. Looking ahead, there are many other types of AI beyond supervised learning that I find exciting, such as unsupervised learning (where we have a lot more data available, because the data does not need to be labeled). There’s a lot of excitement about these other forms of learning in our group and others.

 

Link alla fonte ufficiale: Baidu’s Chief Scientist on Intersection of Supercomputing, Machine Learning

 

Facci sapere cosa ne pensi!

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *