5 votos

Posible fusionar 2 sumas?

Estoy haciendo una tarea sobre redes neuronales y sugiere que de alguna manera es posible combinar 2 sumatorias. En la que, uno contiene al otro. Pensé que esto no era posible..

También traté de encontrar una etiqueta adecuada, pero no había ninguno :(.

He aquí la pregunta:

Supongamos que tienes una red neuronal con lineal de funciones de activación. Es decir, para cada unidad, la salida es alguna constante c veces la suma ponderada de las entradas.

Suponer que la red tiene una capa oculta. Para una determinada tarea, a los pesos w, escribir las ecuaciones para el valor de las unidades en la capa de salida como una función de w y la capa de entrada x, sin ninguna mención explícita de theb de salida de la capa oculta. Mostrar que hay una red sin unidades ocultos que calcula la misma función.

Para explicar esto para los que no saben de las redes neuronales. Una red neuronal tiene un conjunto si los insumos y un conjunto de capas ocultas. Estas capas tienen un número de nodos. La primera capa oculta es conectarse a la segunda y de la segunda a la tercera y, finalmente, la última capa está conectada a la capa de salida.

La capa de entrada tiene un cierto número de nodos. Cada entrada está conectada a cada nodo en la primera capa oculta, de manera que cada nodo de la capa oculta se lleva todas las entradas como una entrada.

Cada entrada a un nodo en una capa oculta tiene un peso de determinar el grado de influencia de una entrada en un nodo de la capa oculta.

El nodo de la capa oculta, a continuación, se aplica una función de activación (en mi caso uno lineal) a la suma de la ponderación de los insumos.

Esto lineal de la función de activación sería como sigue:

$$ c \sum\limits_{i=1}^n w x_{i} $$

Donde c es la constante, n es el número de nodos en la capa anterior, w es el peso de la entrada x.

Esto es lo que la red neuronal se vería como si allí donde no hay capas ocultas, pero sólo la de entrada y la capa de salida. Donde x denota una entrada desde la capa de entrada.

Ahora bien, si tomamos una red neuronal con una capa oculta tendría este aspecto:

$$ c \sum\limits_{j=1}^m w_{2} (c \sum\limits_{i=1}^n w_{1} x_{i})_{j} $$

Como puede ver, esta se aplica el lineal de la función de activación de una capa oculta y lo define como la entrada x de la capa de salida.

Espero que esto está claro hasta el momento.

Ahora para mi pregunta. Se sugiere que estas sumatorias son de alguna forma de combinación de poder en una sola suma, porque se sugiere que hay una red neuronal NO oculta las unidades que consigue el mismo.

Prácticamente no tengo experiencia en el uso de totalización (sé lo que hacer, pero no cómo interactúan con otros sumatorias).

Esto es lo que yo tengo uso de mi comprensión básica:

$$ c^2 \sum w_{2} (\sum w_{1} x) $$

La única constante en la ecuación es de curso de c, de modo que es el único que puede moverse a través de las sumatorias por lo que yo sé.

Así que, básicamente, ¿cómo puedo reescribir la ecuación dos en la forma de la ecuación?

Gracias de antemano, de la Cuerda.

0voto

DiGi Puntos1925

Mi conocimiento de las redes neuronales es mínima, por lo que tomar esto con un grano de sal. También, yo lo he hecho en más generalidad que el problema requiere.

Estoy asumiendo $n$ entradas y $m$ nodos en la capa oculta. Estoy asumiendo que cada nodo de la capa oculta tiene su propia lineal de la función de activación, con su propia y constante pesos; la función de nodo ($k$ es

$$y_k=c_{1k}\sum_{i=1}^nw_{1ki}x_i\;,\tag{1}$$

con la constante $c_{1k}$ peso y $w_{1ki}$ entrada $x_i$. Del mismo modo, estoy asumiendo que cada nodo en la capa de salida tiene su propio lineal de la función de activación, con su propia y constante pesos; la función de nodo ($j$ es

$$z_k=c_{2j}\sum_{k=1}^nw_{2jk}y_k\;,\tag{2}$$

con la constante $c_{2j}$ peso y $w_{2jk}$ entrada $y_k$. Sustituyendo $(1)$ a $(2)$, obtenemos

$$\begin{align*} z_j=c_{2j}\sum_{k=1}^mw_{2jk}y_k&=c_{2j}\sum_{k=1}^mc_{1k}w_{2jk}\sum_{i=1}^nw_{1ki}x_i\\ &=c_{2j}\sum_{i=1}^n\left(\sum_{k=1}^mc_{1k}w_{2jk}w_{1ki}\right)x_i\;; \end{align*}$$

de esta manera se expresa la salida de $z_j$ directamente como un lineal de la función de activación de las entradas de $x_i$, con una constante $c_{2j}$ y el peso

$$\sum_{k=1}^mc_{1k}w_{2jk}w_{1ki}$$

para la entrada de $x_i$.

Todo esto se puede hacer más fácilmente con matrices. Si hay $r$ nodos de salida, vamos a

$$W_1=\pmatrix{c_{11}w_{111}&\dots&c_{11}w_{11n}\\\vdots&\ddots&\vdots\\c_{1m}w_{1m1}&\dots&c_{1m}w_{1mn}}\text{ and }W_2=\pmatrix{c_{21}w_{211}&\dots&c_{21}w_{21m}\\\vdots&\ddots&\vdots\\c_{2r}w_{2r1}&\dots&c_{2r}w_{2rm}}\;,$$ and let $$X=\pmatrix{x_1\\\vdots\\x_n},Y=\pmatrix{y_1\\\vdots\\y_m},\text{ and }Z=\pmatrix{z_1\\\vdots\\z_r}\;.$$ The matrices $W_1$ and $W_2$ incorporate all of the information contained in the activation functions. Then $Y=W_1X$ and $Z=W_2Y$, so $Z=W_2(W_1)X=(W_2W_1)X$; i.e., the product matrix $W_2W_1$ similarly incorporates the constants and weights expressing the output $Z$ in terms of the input $X$.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by: