Analogía entre las Redes Neuronales Biológicas y Artificiales

Las neuronas se modelan mediante unidades de proceso, caracterizadas por una función de activación que convierte la entrada total recibida de otras unidades en un valor de salida, el cual hace la función de la tasa de disparo de la neurona. Cada unidad de proceso se compone de una red de conexiones de entrada, una función de red (de propagación), encargada de computar la entrada total combinada de todas las conexiones, un núcleo central de proceso, encargado de aplicar la función de activación, y la salida, por dónde se transmite el valor de activación a otras unidades.

Las conexiones sinápticas se simulan mediante conexiones ponderadas; la fuerza o peso de la conexión cumple el papel de la efectividad de la sinapsis. Las conexiones determinan si es posible que una unidad influya sobre otra, los pesos definen la intensidad de la influencia.

Una unidad de proceso recibe varias entradas procedentes de las salidas de otras unidades de proceso. La entrada total de una unidad de proceso se suele calcular como la suma de todas las entradas ponderadas, es decir, multiplicadas por el peso de la conexión. El efecto inhibitorio o excitatorio de las sinapsis se logra usando pesos negativos o positivos respectivamente.

La función de red es típicamente el sumatorio ponderado, mientras que la función de activación suele ser alguna función de umbral o una función sigmoidal.

Tanto las redes neuronales biológicas como las redes neuronales artificiales tienen el mismo funcionamiento de comunicación, con una estructura muy similar solo que cada una con sus respectivos nombres. Ambas utilizan una potencia máxima y mínima para lograr la comunicación

Redes Neuronales Biológicas

El cerebro puede considerarse un sistema altamente complejo. Su unidad básica, la neurona, está masivamente distribuida con conexiones entre ellas (se calcula que hay aproximadamente 10 billones de neuronas en la corteza cerebral y 60 trillones de conexiones neuronales).

Si bien hay distintos tipos de neuronas biológicas, en la figura 1 se muestra un esquema simplificado de un tipo particular que es muy común. Vemos que la misma está compuesta por:

• El cuerpo central, llamado soma, que contiene el núcleo celular.
• Una prolongación del soma, el axón.
• Una ramificación terminal, las dendritas.
• Una zona de conexión entre una neurona y otra, conocida como sinapsis.

La función principal de las neuronas es la transmisión de los impulsos nerviosos. Estos viajan por toda la neurona comenzando por las dendritas hasta llegar a las terminaciones del axón, donde pasan a otra neurona por medio de la conexión sináptica.

El objetivo principal de las redes neuronales de tipo biológico es desarrollar un elemento sintético para verificar las hipótesis que conciernen a los sistemas biológicos.

El sistema de neuronas biológico está compuesto por neuronas de entrada (sensores) conectados a una compleja red de neuronas “calculadoras” (neuronas ocultas), las cuales, a su vez, están conectadas a las neuronas de salidas que controlan.

Redes Neuronales Artificiales

Una RNA (Red Neuronal Artificial) es un modelo matemático inspirado en el comportamiento biológico de las neuronas y en la estructura del cerebro. Esta también puede ser vista como un sistema inteligente que lleva a cabo tareas de manera distinta a como lo hacen las computadoras actuales. Si bien estas últimas son muy rápidas en el procesamiento de la información, existen tareas muy complejas, como el reconocimiento y clasificación de patrones, que demandan demasiado tiempo y esfuerzo aún en las computadoras más potentes de la actualidad, pero que el cerebro humano es más apto para resolverlas, muchas veces sin aparente esfuerzo (considere el lector como ejemplo el reconocimiento de un rostro familiar entre una multitud de otros rostros).

Elementos Básicos de las Redes Neuronales

Una red neuronal se compone de unidades llamadas neuronas. Cada neurona recibe una series de entradas a través de interconexiones y emite una salida. Esta salida viene dada por tres funciones

·         Una función de entrada

 La neurona trata a muchos valores de entrada como si fueran uno solo; esto recibe el nombre de entrada global. Por lo tanto, ahora nos enfrentamos al problema de cómo se pueden combinar estas simples entradas (ini1, ini2) dentro de la entrada global, gini. Esto se logra a través de la función de entrada, la cual se calcula a partir del vector entrada. La función de entrada puede describirse como sigue:

donde:   * representa al operador apropiado (por ejemplo: máximo, sumatoria, productoria, etc.), n al número de entradas a la neurona Ni y WI al peso.

Los valores de entrada se multiplican por los pesos anteriormente ingresados a la neurona. Por consiguiente, los pesos que generalmente no están restringidos cambian la medida de influencia que tienen los valores de entrada. Es decir, que permiten que un gran valor de entrada tenga solamente una pequeña influencia, si estos son lo suficientemente pequeños.

Algunas de las funciones de entrada más comúnmente utilizadas y conocidas son:

1)  Sumatoria de las entradas pesadas: es la suma de todos los valores de entrada a la neurona, multiplicados por sus correspondientes pesos.

2)  Productoria de las entradas pesadas: es el producto de todos los valores de entrada a la neurona, multiplicados por sus correspondientes pesos.

3)  Máximo de las entradas pesadas: solamente toma en consideración el valor de entrada más fuerte, previamente multiplicado por su peso correspondiente.

·         Una función de activación:

La función activación calcula el estado de actividad de una neurona. Determina el estado de activación actual de la neurona en base al potencial resultante hi y al estado de activación anterior de la neurona Ai(t-1). El estado de activación de la neurona para un determinado instante de tiempo t puede ser expresado de la siguiente manera:

Sin embargo, en la mayoría de los modelos se suele ignorar el estado anterior de la neurona, definiéndose el estado de activación en función del potencial resultante hi:

 

 

  

·         Una función de salida

El ultimo componente que una neurona necesita es la función de salida. El valor resultante de esta función es la salida de la neurona i  (out); por ende, la función de salida determina que valor se transfiere a las neuronas vinculadas. Si la función de activación está por debajo de un umbral determinado, ninguna salida se pasa a la neurona subsiguiente. Normalmente, no cualquier valor es permitido como una entrada para una neurona, por lo tanto, los valores de salida están comprendidos en el rango    [0, 1] o [-1, 1]. También pueden ser binarios {0, 1} o {-1, 1}.

Dos de las funciones de salida más comunes son:

ü  Ninguna: Este es el tipo de función más sencillo, tal que la salida es la misma que la entrada. Es también llamada función identidad.

ü  Binaria:

Elementos de una red neuronal artificial

Las redes neuronales artificiales (RNA) son modelos que intentan reproducir el comportamiento del cerebro. Como tal modelo, realiza una simplificación, averiguando cuáles son los elementos relevantes del sistema, bien  porque la cantidad de información de que se dispone es excesiva o bien porque es redundante. Una elección adecuada de sus características, más una estructura conveniente, es el procedimiento convencional utilizado para construir redes capaces de realizar determinada tarea.

·          Unidad de proceso: La neurona Artificial. Existen tres tipos de unidades en cualquier sistema: entradas, salidas y ocultas. Las unidades de entrada reciben señales desde el entorno; las de salida envían la señal fuera de la red, y las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro del sistema.

Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de la misma fuente y cuyas salidas se dirigen al mismo destino.

·         Estado de Activación: Los estados del sistema en un tiempo t se representan por un vector A(t). Los valores de activación pueden ser continuos o discretos, limitados o ilimitados. Si son discretos, suelen tomar un conjunto discreto de valores binarios, así un estado activo se indicaría con un 1 y un estado pasivo se representaría por un cero. En otros modelos se considera un conjunto de estados de activación, en cuyo valor entre [0,1], o en el intervalo [-1,1], siendo una función sigmoidal.

·         Función de Salida o de Transferencia: Asociada con cada unidad hay una función de salida, que transforma el estado actual de activación en una señal de salida.

Existen cuatro funciones de transferencia típicas que determinan distintos tipos de neuronas:

ü  Función Escalón

ü  Función Lineal y Mixta

ü Sigmoidal

ü  Función Gaussiana

·         Conexiones entre neuronas: Las conexiones que unen a las neuronas que forman una RNA tiene asociado un peso, que es el que hace que la red adquiera conocimiento. Se considera que el efecto de cada señal es aditivo, de tal forma que la entrada neta que recibe una neurona es la suma del producto de cada señal individual por el valor de la sinapsis que conecta ambas neuronas y es lo que se conoce como red de propagación. Se utiliza una matriz W con todos los pesos, Si wji es positivo indica que la relación entre las neuronas es excitadora, es decir, siempre que la neurona i esté activada, la neurona j recibirá una señal que tenderá a activarla. Si wji es negativo, la sinapsis será inhibidora. En este caso si i está activada, enviará una señal que desactivará a j. Finalmente si wji es 0 se supone que no hay conexión entre ambas 5. Función o Regla de Activación. Se requiere una regla que combine las entradas con el estado actual de la neurona para producir un nuevo estado de activación. Esta función F produce un nuevo estado de activación en una neurona a partir del estado que existía y la combinación de las entradas con los pesos de las conexiones. Esa F es denominada función de activación, y las salidas que se obtienen en una neurona para las diferentes formas de F serán:

Función de Activación Escalón Función de Activación Identidad Función de Activación Lineal –Mixta

Función de Activación Sigmoidal 6. Regla de Aprendizaje. El aprendizaje puede ser comprendido como la modificación de comportamiento inducido por la interacción con el entorno y como resultado de experiencias conduce al establecimiento de nuevos modelos de respuesta a estímulos externos. En el cerebro humano el conocimiento se encuentra en la sinapsis. En el caso de las RNA el conocimiento se encuentra en los pesos de las conexiones entre neuronas. Todo proceso de aprendizaje implica cierto número de cambios en estas conexiones. En realidad, puede decirse que se aprende modificando los valores de lo pesos de la red.

Estructura de una red neuronal artificial

 Anteriormente ya se estipuló que la distribución de neuronas dentro de la red se realiza formando niveles o capas de un número determinado de neuronas cada una, y que existen capas de entrada, de salida, y ocultas, ahora veamos las formas de conexión entre neuronas.

Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes, la red se describe como de propagación hacia adelante. Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel, incluyéndose ellas mismas, la red es de propagación hacia atrás.

Características de las redes neuronales

Existen cuatro aspectos que caracterizan una red neuronal: su topología, el mecanismo de aprendizaje, tipo de asociación realizada entre la información de entrada y salida, y la forma de representación de estas informaciones:

·         Topología de las Redes Neuronales: La arquitectura de las redes neuronales consiste en la organización y disposición de las neuronas formando capas más o menos alejadas de la entrada y salida de la red. En este sentido, los parámetros fundamentales de la red son: el número de capas, el número de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas.

Redes Mono capa: Se establecen conexiones laterales, cruzadas o autor recurrentes entre las neuronas que pertenecen a la única capa que constituye la red. Se utilizan en tareas relacionadas con lo que se conoce como auto asociación; por ejemplo, para generar informaciones de entrada que se presentan a las redes incompletas o distorsionadas.

Redes Multicapa: Son aquellas que disponen de conjuntos de neuronas agrupadas en varios niveles o capas. Una forma de distinguir la capa a la que pertenece la neurona, consiste en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de salida. Según el tipo de conexión, se distinguen las redes feedforward, y las redes feedforward/feedback.

·          Mecanismo de Aprendizaje: El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una información de entrada. Los cambios que se producen durante el proceso de aprendizaje se reducen a la destrucción, modificación y creación de conexiones entre las neuronas, la creación de una nueva conexión implica que el peso de la misma pasa a tener un valor distinto de cero, una conexión se destruye cuando su peso pasa a ser cero. Se puede afirmar que el proceso de aprendizaje ha finalizado (la red ha aprendido) cuando los valores de los pesos permanecen estables (dwij / dt = 0).

Un criterio para diferenciar las reglas de aprendizaje se basa en considerar si la red puede aprender durante su funcionamiento habitual, o si el aprendizaje supone la desconexión de la red.

Otro criterio suele considerar dos tipos de reglas de aprendizaje: las de aprendizaje supervisado y las correspondientes a un aprendizaje no supervisado, estas reglas dan pie a una de las clasificaciones que se realizan de las RNA: Redes neuronales con aprendizaje supervisado y redes neuronales con aprendizaje no supervisado. La diferencia fundamental entre ambos tipos estriba en la existencia o no de un agente externo (supervisor) que controle el aprendizaje de la red.

Redes con Aprendizaje Supervisado. El proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro) que determina la respuesta que debería generar la red a partir de una entrada determinada. El supervisor comprueba la salida de la red y en el caso de que ésta no coincida con la deseada, se procederá a modificar los pesos de las conexiones, con el fin de conseguir que la salida se aproxime a la deseada.

Se consideran tres formas de llevar a cabo este tipo de aprendizaje:

ü  Aprendizaje por corrección de error: Consiste en ajustar los pesos en función de la diferencia entre los valores deseados y los obtenidos en la salida de la red; es decir, en función del error.

ü  Aprendizaje por refuerzo: Se basa en la idea de no indicar durante el entrenamiento exactamente la salida que se desea que proporcione la red ante una determinada entrada. La función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida obtenida en la red se ajusta a la deseada (éxito=+1 o fracaso=-1), y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

ü   Aprendizaje estocástico: Este tipo de aprendizaje consiste básicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad.

Redes con Aprendizaje No Supervisado:

 Estas redes no requieren influencia externa para ajustar los pesos de las conexiones entre neuronas. La red no recibe ninguna información por parte del entorno que le indique si la salida generada es o no correcta, así que existen varias posibilidades en cuanto a la interpretación de la salida de estas redes.

En algunos casos, la salida representa el grado de familiaridad o similitud entre la información que se le está presentando en la entrada y las informaciones que se le han mostrado en el pasado. En otro caso podría realizar una codificación de los datos de entrada, generando a la salida una versión codificada de la entrada, con menos bits, pero manteniendo la información relevante de los datos, o algunas redes con aprendizaje no supervisado lo que realizan es un mapeo de características, obteniéndose en las neuronas de salida una disposición geométrica que representa un, mapa topográfico de las características de los datos de entrada, de tal forma que si se presentan a la red informaciones similares, siempre sean afectadas neuronas de salidas próximas entre sí, en la misma zona del mapa.

En general en este tipo de aprendizaje se suelen considerar dos tipos: 

ü  Aprendizaje Hebbiano: Consiste básicamente en el ajuste de los pesos de las conexiones de acuerdo con la correlación, así si las dos unidades son activas (positivas), se produce un razonamiento de la conexión. Por el contrario cuando un es activa y la otra pasiva (negativa), se produce un debilitamiento de la conexión.

ü  Aprendizaje competitivo y cooperativo: Las neuronas compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Con este tipo de aprendizaje se pretende que cuando se presente a la red cierta información de entrada, solo una de las neuronas de salida se active (alcance su valor de respuesta máximo). Por tanto las neuronas compiten por activarse , quedando finalmente una, o una por grupo, como neurona vencedora

·         Tipo de Asociación entre las Informaciones de Entrada y Salida: Las RNA son sistemas que almacenan cierta información aprendida; está información se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas de entrada y salida. Existen dos formas primarias de realizar esa asociación de entrada/salida. Una primera sería la denominada heteroasociación, que se refiere al caso en el que la red aprende parejas de datos [(A1, B1), (A2, B2)… (An, Bn)], de tal forma que cuando se presente cierta información de entrada Ai, deberá responder generándola correspondiente salida Bi. La segunda se conoce como auto asociación, donde la red aprende ciertas informaciones A1, A2…An, de tal forma que cuando se le presenta una información de entrada realizará una auto correlación, respondiendo con uno de los datos almacenados, el más parecido al de la entrada.

Estos dos mecanismos de asociación de asociación dan lugar a dos tipos de redes neuronales: las redes hetero-asociativas y las auto-asociativas. Una red hetero-asociativa podría considerarse aquella que computa cierta función, que en la mayoría de los casos no podrá expresarse analíticamente, entre un conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible entrada una determinada salida. Existen redes hetero-asociativas con conexiones feedforward, feedforward/feedback y redes con conexiones laterales. También existen redes hetero-asociativas multidimensionales y su aprendizaje puede ser supervisado o no supervisado. Por otra parte, una red auto-asociativa es una red cuya principal misión es reconstruir una determinada información de entrada que se presenta incompleta o distorsionada (le asocia el dato almacenado más parecido). Pueden implementarse con una sola capa, existen conexiones laterales o también autorrecurrentes, habitualmente son de aprendizaje no supervisado.

Representación de la Información de Entrada y Salida: Las redes neuronales pueden también clasificarse en función de la forma en que se representan las informaciones de entrada y las respuestas o datos de salida. Así un gran número de redes, tanto los datos de entrada como de salida son de naturaleza analógica, cuando esto ocurre, las funciones de activación de las neuronas serán también continuas, del tipo lineal o sigmoidal. Otras redes sólo admiten valores discretos o binarios a su entrada, generando también unas respuestas en la salida de tipo binario. En este caso, las funciones de activación de las neuronas son de tipo escalón. Existe también un tipo de redes híbridas en las que las informaciones de entrada pueden ser valores continuos, aunque las salidas de la red son discretas.

Implementación de las redes neuronales

En la búsqueda de sistemas inteligentes en general, se ha llegado a un importante desarrollo del software, dentro de esta línea se encuentran algunos de los neuro-computadores más conocidos. Un neuro-computador es básicamente un conjunto de procesadores conectados con cierta regularidad que operan concurrentemente. En la actualidad ya existen un serie de neuro-computadores comerciales destinados a la realización de redes neuronales. Por otro lado la realización de RNA puede llevarse a cabo por medio de uno o varios circuitos integrados específicos, para así poder obtener una estructura que se comporte lo más similar posible a como lo haría una red neuronal. Otra tecnología que podría ser apropiada en la implementación de las redes neuronales es la tecnología electroóptica, con la ventaja de utilizar la luz como medio de transporte de la información, permitiendo la transición, masiva de datos.

·         Realización de Redes Neuronales: La realización más simple e inmediata consiste en simular la red sobre un ordenador convencional mediante un software específico. Es un procedimiento rápido, económico, e instituible, pero su mayor desventaja radica en el hecho de que se intentan simular redes con un alto grado de paralelismo sobre máquinas que ejecuten secuencialmente las operaciones. Valores intrínsecos de las redes neuronales no pueden obtenerse de esta forma.

Otro método es la realización de redes neuronales a través de arquitecturas orientadas a la ejecución de procesos con un alto de paralelismo, tales como redes de transportes, arquitecturas sistólicas, etc. Este método es una optimización del anterior, ya que el acelera el proceso, permitiendo una respuesta en tiempo real, pero el comportamiento real de la red sigue siendo simulado por una estructura ajena a la estructura intrínseca de una red neuronal.

Una tercera aproximación radicalmente distinta es la realización de redes neuronales mediante su implementación por uno o varios circuitos integrados específicos. Son los llamados chips neuronales. Las neuronas y las conexiones se emulan con dispositivos específicos, de forma que la estructura del circuito integrado refleja la arquitectura de la red. Se consigue de esta forma realizaciones que funcionan a alta velocidad, pero a costa de una pérdida notable de velocidad.

·         Herramientas software de desarrollo: La comercialización de productos software es la forma más extendida para simular redes neuronales, debido a las ventajas citadas anteriormente. La diferencia entre los distintos productos software radica en aspectos tales como el tipo y el número de arquitecturas de red que soporta, velocidad de procesamiento, interfaz gráfica, exportación de código C para el desarrollo automático de aplicaciones, etc.

Algunos de los productos comerciales son: ANSim (DOS), ExpertNet (DOS, Windows), Neuralesk (Windows), Neuralworks Pro II/Plus (DOS, OS/2, UNIX, VMS)

·         Neuro-computadores de propósito especial y de propósito general: Como se dijo anteriormente un neuro-computador es básicamente un conjunto de procesadores conectados con cierta regularidad que operan concurrentemente. Los de propósito general deben ser capaces de emular un gran número de modelos de red neuronal.

Los de propósito especial han sido diseñados para implementar un modelo específico de red neuronal.

·         Implementación microelectrónica (VLSI): En general si la red ha estado previamente simulada y su configuración de conexiones perfectamente determinada, se busca la implementación sobre un circuito de conexiones fijas. La presentación del panorama que actualmente existe en el ámbito de la implementación VLSI de redes neuronales resulta complicada por la gran cantidad de aportaciones existentes, tanto en soluciones analógicas como digitales y con la alternativa de matriz de neuronas o de sinapsis.

Ventajas de las redes neuronales

Debido a su constitución y a sus fundamentos, las RNA presentan un gran número de características semejantes a las del cerebro. Por ejemplo, son capaces de aprender de la experiencia, de generalizar de casos anteriores a nuevos casos, de abstraer características esenciales a partir de entradas que representan información irrelevante, etc. Esto hace que ofrezcan numerosas ventajas y que este tipo de tecnología se esté aplicando en múltiples áreas. Estas ventajas incluyen:

·         Aprendizaje Adaptativo: Es una de las características más atractivas de las redes neuronales, es la capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial.

En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan de manera que se obtengan unos resultados específicos. Una RNA no necesita un algoritmo para resolver un problema, ya que ella puede generar su propia distribución de los pesos de los enlaces mediante el aprendizaje. También existen redes que continúan aprendiendo a lo largo de su vida, después de completado e periodo inicial de entrenamiento.

La función del diseñador es únicamente la obtención de la arquitectura apropiada. No es problema del diseñador el cómo la red aprenderá a discriminar; sin embargo, si es necesario que desarrolle un buen algoritmo de aprendizaje que proporcione la capacidad de discriminar de la red mediante un entrenamiento con patrones.

·         Auto-organización: Las redes neuronales usan su capacidad de aprendizaje adaptativo para organizar la información que reciben durante el aprendizaje y/o la operación. Una RNA puede crear su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Esta auto-organización provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente.

·         Tolerancia a Fallos: Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeño error de memoria, en las redes neuronales, si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento del sistema se ve influenciado, sin embargo no sufre una caída repentina.

Hay dos aspectos distintos respecto a la tolerancia a fallos: primero, las redes pueden aprender a reconocer patrones con ruido, distorsionados, o incompleta. Segundo pueden seguir realizando su función (con cierta degradación) aunque se destruya parte de la red.

La razón por la que las redes neuronales son tolerantes a fallos es que tienen su información distribuida en las conexiones entre neuronas, existiendo cierto grado de redundancia en ese tipo de almacenamiento, a diferencia de la mayoría de los ordenadores algorítmicos y sistemas de recuperación de datos que almacenan cada pieza de información en un estado único, localizado y direccionarle.

·         Operación en Tiempo Real: Los computadores neuronales pueden ser realizados en paralelo, y se diseñan y fabrican máquinas con hardware especial para obtener esta capacidad.

·         Fácil inserción dentro de la tecnología existente: Debido a que una red puede ser rápidamente entrenada, comprobada, verificada y trasladada a una implementación hardware de bajo costo, es fácil insertar RNA para aplicaciones específicas dentro de sistemas existentes (chips, por ejemplo). De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma incremental, y cada paso puede ser evaluado antes de acometer un desarrollo más amplio.