Dynamics of Two Neuron Cellular Neural Networks
Mireia Viñoles Serra · TDX (Tesis Doctorals en Xarxa) · 2011
Les xarxes neuronals cel·lulars altrament anomenades CNNs, son un tipus de sistema dinamic que relaciona diferents elements que s'anomenen neurones via unes plantilles de parametres. Aquest sistema queda completament determinat coneixent quines son les entrades a la xarxa, les sortides i els parametres o pesos. En aquest treball fem un estudi exhaustiu sobre aquest tipus de xarxa en el cas mes senzill on nomes hi intervenen dues neurones. Tot i la simplicitat del sistema, veurem que pot tenir una dinamica molt rica. Primer de tot, revisem l'estabilitat d'aquest sistema des de dos punts de vista diferents. Usant la teoria de Lyapunov, trobem el rang de parametres en el que hem de treballar per aconseguir la convergencia de la xarxa cap a un punt fix. Aquest metode ens obre les portes per abordar els diferents tipus de problemes que es poden resoldre usant una xarxa neuronal cel·lular de dues neurones. D'altra banda, el comportament dinamic de la CNN esta determinat per la funcio lineal a trossos que defineix les sortides del sistema. Aixo ens permet estudiar els diferents sistemes que apareixen en cada una de les regions on el sistema es lineal, aconseguint un estudi complet de l'estabilitat de la xarxa en funcio de les posicions locals dels diferents punts d'equilibri del sistema. D'aqui obtenim basicament dos tipus de convergencia, cap a un punt fix o be cap a un cicle limit. Aquests resultats ens permeten organitzar aquest estudi basicament en aquests dos tipus de convergencia. Entendre el sistema d'equacions diferencials que defineixen la CNN en dimensio 1 usant nomes dues neurones, ens permet trobar les dificultats intrinseques de les xarxes neuronals cel·lulars aixi com els possibles usos que els hi podem donar. A mes, ens donara les claus per a poder entendre el cas general. Un dels primers problemes que abordem es la dependencia de les sortides del sistema respecte les condicions inicials. La funcio de Lyapunov que usem en l'estudi de l'estabilitat es pot veure com una quadrica si la pensem com a funcio de les sortides. La posicio i la geometria d'aquesta forma quadratica ens permeten trobar condicions sobre els parametres que descriuen el sistema dinamic. Treballant en aquestes regions aconseguim abolir el problema de la dependencia. A partir d'aqui ja comencem a estudiar les diferents aplicacions de les CNN treballant en un rang de parametres on el sistema convergeix a un punt fix. Una primera aplicacio la trobem usant aquest tipus de xarxa per a reproduir distribucions de probabilitat tipus Bernoulli usant altre cop la funcio de Lyapunov emprada en l'estudi de l'estabilitat. Una altra aplicacio apareix quan ens centrem a treballar dins del quadrat unitat. En aquest cas, el sistema es capac de reproduir funcions lineals. L'existencia de la funcio de Lyapunov permet tambe de construir unes grafiques que depenen dels parametres de la CNN que ens indiquen la relacio que hi ha entre les entrades de la CNN i les sortides. Aquestes grafiques ens donen un algoritme per a dissenyar plantilles de parametres reproduint aquestes relacions. Tambe ens obren la porta a un nou problema: com composar diferents plantilles per aconseguir una determinada relacio entrada¬sortida. Tot aquest estudi ens porta a pensar en buscar una relacio funcional entre les entrades externes a la xarxa i les sortides. Com que les possibles sortides es un conjunt discret d'elements gracies a la funcio lineal a trossos, la correspondencia entrada¬sortida es pot pensar com un problema de classificacio on cada una de les classes esta definida per les diferent possibles sortides. Pensant¬ho d'aquesta manera, estudiem quins problemes de classificacio es poden resoldre usant una CNN de dues neurones i trobem quina relacio hi ha entre els parametres de la CNN, les entrades i les sortides. Aixo ens permet trobar un metode per a dissenyar plantilles per a cada problema concret de classificacio. A mes, els resultats obtinguts d'aquest estudi ens porten cap al problema de reproduir funcions Booleanes usant CNNs i ens mostren alguns dels limits que tenen les xarxes neuronals cel·lulars tot intentant reproduir el capcal de la maquina universal de Turing descoberta per Marvin Minsky l'any 1962. A partir d'aqui comencem a estudiar la xarxa neuronal cel·lular quan convergeix cap a un cicle limit. Basat en un exemple particular extret del llibre de L.O Chua, estudiem primer com trobar cicles limit en el cas que els parametres de la CNN que connecten les diferents neurones siguin antisimetrics. D'aquesta manera trobem en quin rang de parametres hem de treballar per assegurar que l'estat final de la xarxa sigui una corba tancada. A mes ens dona la base per poder abordar el problema en el cas general. El comportament periodic d'aquestes corbes ens incita primer a calcular aquest periode per cada cicle i despres a pensar en possibles aplicacions com ara usar les CNNs per a generar senyals de rellotge. Finalment, un cop estudiats els diferents tipus de comportament dinamics i les seves possibles aplicacions, fem un estudi comparatiu de la xarxa neuronal cel·lular quan la sortida esta definida per la funcio lineal a trossos i quan esta definida per la tangent hiperbolica ja que moltes vegades en la literatura s'usa l'una en comptes de l'altra aprofitant la seva diferenciabilitat. Aquest estudi ens indica que no sempre es pot usar la tangent hiperbolica en comptes de la funcio lineal a trossos ja que la convergencia del sistema es diferent en un segons com es defineixin les sortides de la CNN.