Stationary processes and equilibrium states in non-symmetric neural networks
Antonio Castellanos, Laura Dalila Silva Viana · Revista Mexicana de Física · 2002
SE DISCUTEN LOS PROCESOS ESTACIONARIOS Y LOS ESTADOS DE EQUILIBRIO EN REDES NEURONALES RECURRENTES, FINITAS Y SEPARABLES, CON Y MUY LEJOS DE LA SATURACION. POR MEDIO DE LA CORRESPONDIENTE ECUACION DE FOKKER-PLANCK, DESCRIBIMOS LAS FLUCTUACIONES TERMICAS DE LA DINAMICA DE LOS PARAMETROS DE ORDEN, ORIGINADAS COMO EFECTOS DE TAMANO FINITO PROBABILIDAD DEPENDIENTE DEL TIEMPO. INTRODUCIMOS EL CONCEPTO DE ENTROPIA EXTENDIDA DE LAS FLUCTUACIONES PARA ENCONTRAR UNA CONDICION GENERAL QUE CARACTERICE LOS ESTADOS ESTACIONARIOS EN REDES NEURONALES CON INTERACCIONES NO SIMETRICAS. TAMBIEN SE UTILIZAN LA DIVERGENCIA Y EL ROTACIONAL DE LA CORRIENTE DE PROBABILIDAD EN EL ESPACIO DE FLUCTUACIONES PARA DIFERENCIAR ENTRE ESTADOS ESTACIONARIOS Y DE EQUILIBRIO. ADEMAS, SE ENCUENTRAN LAS CONDICIONES ALGEBRAICAS PARA SABER CUANDO PUEDEN EXISTIR LOS ESTADOS ESTACIONARIOS. LOS RESULTADOS SON ILUSTRADOS MEDIANTE EL ANALISIS DE UNA RED NEURONAL CON UN PUNTO FIJO EN LA DINAMICA MACROSCOPICA PERO QUE NO SATISFACE EL BALANCE DETALLADO A NIVEL MICROSCOPICO. Abstract STATIONARY PROCESSES AND EQUILIBRIUM STATES ARE DISCUSSED IN FINITE SEPARABLE RECURRENT NEURAL NETWORKS WITH SEQUENTIAL DYNAMICS AND AWAY FROM SATURATION. WE DESCRIBE THERMAL FLUCTUATIONS OF THE DYNAMICAL ORDER PARAMETERS ORIGINATED AS FINITE SIZE EFFECTS OF ORDER O_N1=2_BY MEANS OF THEIR CORRESPONDING FOKKER-PLANCK EQUATION, AND FIND THEIR TIME DEPENDENT PROBABILITY DISTRIBUTION. WE INTRODUCE THE CONCEPT OF EXTENDED ENTROPY OF FLUCTUATIONS IN ORDER TO FIND A GENERAL CONDITION TO CHARACTERIZE STATIONARY STATES IN NEURAL NETWORKS WITH NON SYMMETRIC INTERACTIONS. DIVERGENCE AND ROTATIONAL OF THE PROBABILITY CURRENT IN THE SPACE OF FLUCTUATIONS ARE ALSO USED TO DIFFERENTIATE BETWEEN STATIONARY AND EQUILIBRIUM STATES. BESIDES, ALGEBRAIC CONDITIONS ARE FOUND TO KNOW WHEN STATIONARY STATES CAN EXIST. THE RESULTS ARE ILLUSTRATED BY ANALYZING A NEURAL NETWORK WITH A MACROSCOPIC DYNAMICAL FIXED POINT BUT NOT SATISFYING DETAILED BALANCE AT MICROSCOPIC LEVEL.