Ramon

Ramon
Ramon Gallart

diumenge, 11 de setembre del 2022

Claude Shannon i la teoria del deep learning.

Entre els grans enginyers del segle XX, qui va contribuir més a les tecnologies del segle XXI va ser Claude Shannon.

Shannon és més conegut per establir el camp de la teoria de la informació. En un article de 1948, un dels més importants de la història de l'enginyeria, va inventar una manera de mesurar el contingut d'informació d'un senyal i calcular la velocitat màxima a la qual la informació es podia transmetre de manera fiable per qualsevol tipus de canal de comunicació. L'article, titulat  A Mathematical Theory of Communication, descriu la base de totes les comunicacions modernes.

Una dècada abans, mentre treballava en la seva tesi de màster al MIT, va inventar la porta lògica. Aleshores, els relés electromagnètics, petits dispositius que utilitzen el magnetisme per obrir i tancar interruptors elèctrics, s'utilitzaven per construir circuits que encaminaven trucades telefòniques o controlaven màquines complexes. Tanmateix, no hi havia una teoria coherent sobre com dissenyar o analitzar aquests circuits. Llavors, només es pensava  en les bobines del relé que s'alimentaven o no. Shannon va demostrar que l'àlgebra de Boole, es podria utilitzar i prescindir dels relés i fer possible  una comprensió més abstracta de la funció d'un circuit. Va utilitzar aquesta àlgebra de lògica per analitzar, i després sintetitzar, circuits de commutació i per demostrar que el circuit  funcionava com es desitjava. En la seva tesi va inventar les portes lògiques AND, OR i NOT. Les portes lògiques són els blocs de construcció de tots els circuits digitals, sobre els quals es basa tota la informàtica.

Shannon és més conegut per establir el camp de la teoria de la informació. En un article de 1948, un dels més importants de la història de l'enginyeria, va inventar una manera de mesurar el contingut d'informació d'un senyal i calcular la velocitat màxima a la qual la informació es podia transmetre de manera fiable per qualsevol tipus de canal de comunicació. L'article, titulat " A Mathematical Theory of Communication ", descriu la base de totes les comunicacions modernes, inclosa la Internet sense fil al vostre telèfon intel·ligent i fins i tot un senyal de veu analògic en un telèfon fix de parell trenat. El 1966, l'IEEE li va donar el seu màxim premi, la Medalla d'Honor , per aquest treball.

Si la teoria de la informació hagués estat l'únic èxit de Shannon, hauria estat suficient per assegurar-se el seu lloc al panteó. Però va fer molt més.

Una dècada abans, mentre treballava en la seva tesi de màster al MIT, va inventar la porta lògica. Aleshores, els relés electromagnètics, petits dispositius que utilitzen el magnetisme per obrir i tancar interruptors elèctrics, s'utilitzaven per construir circuits que encaminaven trucades telefòniques o controlaven màquines complexes. Tanmateix, no hi havia una teoria coherent sobre com dissenyar o analitzar aquests circuits. La manera com la gent pensava sobre ells era en termes de les bobines del relé que s'alimentaven o no. Shannon va demostrar que l'àlgebra de Boolees podria utilitzar per allunyar-se dels mateixos relés, cap a una comprensió més abstracta de la funció d'un circuit. Va utilitzar aquesta àlgebra de lògica per analitzar, i després sintetitzar, circuits de commutació i per demostrar que el circuit global funcionava com es desitjava. En la seva tesi va inventar les portes lògiques AND, OR i NOT. Les portes lògiques són els blocs de construcció de tots els circuits digitals, sobre els quals es basa tot l'edifici de la informàtica.

L'any 1950 Shannon, va publicar un article a Scientific American i també un article d'investigació que descrivia com programar un ordinador per jugar als escacs. Va entrar en detalls sobre com dissenyar un programa per a un ordinador real. Va discutir com es representarien les estructures de dades a la memòria, va estimar quants bits de memòria es necessitarien per al programa i va dividir el programa en coses que va anomenar subprogrames. Avui anomenaríem es coneixen com funcions, o procediments. Alguns dels seus subprogrames eren per generar possibles moviments; alguns havien de donar avaluacions heurístiques de com era de bona una posició.

Shannon va fer tot això en un moment en què hi havia menys de 10 ordinadors al món. I tots s'utilitzaven per a càlculs numèrics. Va començar el seu treball de recerca especulant sobre tot tipus de coses que els ordinadors podrien programar per fer més enllà dels càlculs numèrics, com ara el disseny de circuits de commutació, el disseny de filtres electrònics per a comunicacions, la traducció entre idiomes humans i la realització de deduccions lògiques. Els ordinadors fan totes aquestes coses avui. Va donar quatre raons per les quals havia triat treballar primer amb els escacs, i una important va ser que la gent creia que jugar als escacs requeria "pensar". Per tant, va raonar, seria un gran cas de prova per saber si els ordinadors es podrien fer pensar.

També, va suggerir que podria millorar el seu programa analitzant els jocs als quals ja havia jugat i ajustant els termes i coeficients en les seves avaluacions heurístiques de les fortaleses de les posicions del consell amb què s'havia trobat. No hi havia ordinadors disponibles per a Shannon en aquell moment, així que no va poder provar la seva idea. Però només cinc anys més tard, el 1955, Arthur Samuel , un enginyer d'IBM que tenia accés als ordinadors mentre s'estaven provant abans de ser lliurats als clients, estava executant un programa de joc de dames que utilitzava el mètode exacte de Shannon per millorar-ne el joc. I el 1959 Samuel va publicar un article sobre això amb el títol deep learning. Va ser, la primera vegada que aquesta paraula va aparèixer impresa.

Per tant, resumim: teoria de la informació, portes lògiques, programació informàtica no numèrica, estructures de dades i, sens dubte, aprenentatge automàtic. Claude Shannon no es va molestar en predir el futur, només va avançar i el va inventar, i fins i tot va viure el temps suficient per veure l'adopció de les seves idees.