La genesi di una rivoluzione tecnologica

Yann LeCun e le deep nets

Un gruppo di scienziati provenienti da diverse discipline accademiche si incontrò in occasione di un workshop a Vancouver nel dicembre del 2003. Si trattava di un meeting di preparazione di quello che sarebbe poi diventato il Neural Computation and Adaptive Perception program (NCAP), che avrebbe segnato la fine dell’inverno (come viene spesso definito) delle reti neurali, e dato il via alla rivoluzione del deep learning.

Geoffrey Hinton organizzò l’incontro e invitò una manciata di ricercatori per discutere dell’NCAP, e fu durante quel workshop che Melvin Silverman (al tempo funzionario del CIFAR) decise di finanziare il programma.

NCAP ora si chiama Learning in Machines and Brain (LMB), è finanziato fino al 2018, ed è co-diretto da Yann LeCun e Yoshua Bengio.

Mel Silverman quel giorno del 2003 si trovò davanti un gruppo eterogeneo di ricercatori, accomunati però da un interesse che in quel periodo era considerato a dir tanto marginale dalla maggior parte degli informatici. Loro credevano fermamente nella possibilità di insegnare a una macchina ad affrontare e risolvere problemi attraverso un processo di apprendimento molto simile a quelli che vengono adottati dagli esseri dotati di strutture encefaliche, mediante l’uso di modelli — le reti neurali appunto — che imitano il funzionamento del cervello umano.

La maggior parte dei colleghi informatici era convinta che il ristretto gruppo di accademici che lavoravano ancora sulle neural nets fosse composto da gente che gettava via il tempo con cose che non potevano (e non avrebbero mai potuto) funzionare, roba da strampalati. Il modo canonico per “insegnare” a un computer a risolvere un problema era programmarlo, non era metterlo nelle condizioni di imparare ad affrontarlo per poi addestrarlo. Silverman però era diverso da questi oppositori, e soprattutto non era un informatico.

Silverman era un medico, e in quel momento aveva nelle sue mani la possibilità di decidere se finanziare questo drappello di “svitati” (loro stessi ironicamente si definivano così) per conto del CIFAR. Davanti a lui aveva un gruppo affiatato e tra di essi c’era Geoff Hinton, un ricercatore originario dell’Inghilterra portato in Canada proprio dal CIFAR anni prima. Geoff Hinton era rispettato, quasi venerato, dagli altri del gruppo e tra essi c’erano anche diversi suoi allievi. Silverman fu molto colpito dalla vastità dei problemi difficili che potevano essere affrontati attraverso questo nuovo approccio, e il gruppo fu molto sincero riguardo alle difficoltà che negli anni successivi avrebbero incontrato e alla natura avventurosa dell’impresa.

Di lì a poco Silverman, che si accorse che Hinton e gli altri erano tutt’altro che folli, convinse il Canadian Institute For Advanced Research a finanziare il gruppo con 10 milioni di dollari in 10 anni. Così facendo un brillante medico anticonformista contribuì a dare inizio a una vera e propria rivoluzione informatica, perché grazie al finanziamento si creò quello che fu il primo programma di ricerca sulle reti neurali profonde.

Il frutto di piu di 20 anni di lavoro e perseveranza..
CIFAR-NCAP essentially bankrolled the initial phase of the “deep learning conspiracy” fomented by Geoff Hinton, Yoshua [Bengio] and me about 10 years ago, whose purpose was to revive the interest of the machine learning and AI community in the problem of learning representations. [Y. LeCun, 11 gen 2014]

Trovate il resto della storia (in inglese) in questo articolo del Financial Post