7.1 Autoencoders y Variational Autoencoders (VAEs)

A medida que los sistemas de inteligencia artificial se vuelven cada vez más sofisticados y poderosos, el deep learning continúa expandiendo las fronteras de las capacidades de las máquinas. Un área que ha despertado un gran interés es el campo del aprendizaje no supervisado y generativo. Este capítulo profundiza en conceptos avanzados como autoencoders, variational autoencoders (VAEs) y generative adversarial networks (GANs), junto con otras arquitecturas de vanguardia.

Estos enfoques innovadores permiten a los modelos de IA lograr hazañas notables, como generar datos completamente nuevos, comprimir información con una eficiencia sin precedentes e identificar anomalías sutiles en conjuntos de datos complejos.

Nuestra exploración comienza con un examen exhaustivo de los autoencoders y VAEs. Estas técnicas fundamentales en el aprendizaje no supervisado han revolucionado numerosos dominios, ofreciendo una amplia gama de aplicaciones.

Desde lograr notables ratios de compresión de datos hasta generar imágenes sintéticas altamente realistas y extraer características significativas de datos sin procesar, los autoencoders y VAEs se han convertido en herramientas indispensables en el conjunto de herramientas del aprendizaje automático moderno. Profundizaremos en el funcionamiento intrincado de estos modelos, desentrañando sus principios subyacentes y mostrando sus implementaciones prácticas en diversos escenarios del mundo real.

En esta sección, profundizaremos en dos poderosas técnicas de aprendizaje no supervisado: Autoencoders y Variational Autoencoders (VAEs). Estas arquitecturas de redes neuronales han revolucionado el campo del aprendizaje automático al permitir una compresión eficiente de datos, extracción de características y modelado generativo. Exploraremos sus principios subyacentes, diseños arquitectónicos y aplicaciones prácticas en diversos dominios.

7.1.1 Autoencoders: Una Visión General

Un autoencoder es una arquitectura de red neuronal sofisticada diseñada para el aprendizaje no supervisado. Su objetivo principal es aprender una representación eficiente y comprimida (codificación) de los datos de entrada y, posteriormente, reconstruir la entrada a partir de esta versión condensada. Este proceso es crucial, ya que obliga a la red a identificar y retener las características más importantes de los datos, filtrando eficazmente el ruido y la información irrelevante.

La arquitectura de un autoencoder es elegantemente simple pero poderosa, y consta de dos componentes principales:

1. Codificador

Este componente crucial forma la base de la arquitectura del autoencoder. Su función principal es comprimir los datos de entrada de alta dimensión en una representación compacta de menor dimensión, conocida como el espacio latente. Este proceso de reducción de dimensionalidad es similar a destilar la esencia de los datos, capturando sus características más importantes mientras se descarta la información redundante o menos importante.

El espacio latente, a menudo denominado el "cuello de botella" de la red, sirve como una representación comprimida y abstracta de la entrada. Este cuello de botella obliga al codificador a aprender un esquema de codificación eficiente, creando efectivamente una versión condensada de los datos originales que retiene sus características más críticas.

El codificador logra esta compresión a través de una serie de capas de redes neuronales, que típicamente involucran operaciones como convoluciones, pooling y activaciones no lineales. A medida que los datos pasan por estas capas, la red transforma progresivamente la entrada en representaciones cada vez más abstractas y compactas. La capa final del codificador genera la representación del espacio latente, que se puede pensar como un conjunto de coordenadas en un espacio de alta dimensión donde los puntos de datos similares se agrupan.

Este proceso de mapeo de datos de entrada de alta dimensión a un espacio latente de menor dimensión no es solo una técnica de compresión simple. Más bien, es una transformación aprendida que tiene como objetivo preservar las características y relaciones más importantes dentro de los datos. El codificador aprende a identificar y priorizar los aspectos más informativos de la entrada, creando una representación que se puede utilizar de manera efectiva para diversas tareas, como la reconstrucción, generación o análisis posterior.

2. Decodificador

El decodificador es un componente crucial que toma la representación comprimida del espacio latente y reconstruye hábilmente los datos de entrada originales. Este intrincado proceso de reconstrucción cumple múltiples propósitos esenciales:

En primer lugar, asegura que la representación comprimida en el espacio latente retenga suficiente información para regenerar la entrada con alta fidelidad. Esto es fundamental para mantener la integridad y utilidad del autoencoder.

En segundo lugar, el decodificador actúa como un poderoso modelo generativo. Al alimentarlo con diferentes representaciones latentes, podemos generar nuevos datos sintéticos que se asemejan a la distribución original de la entrada. Esta capacidad es particularmente valiosa en diversas aplicaciones, como la ampliación de datos y la generación de contenido creativo.

Además, la capacidad del decodificador para reconstruir datos a partir del espacio latente proporciona información sobre la calidad y el significado de las representaciones aprendidas. Si la salida reconstruida se asemeja estrechamente a la entrada original, esto indica que el codificador ha capturado con éxito las características más importantes de los datos en su forma comprimida.

La arquitectura del decodificador es típicamente una imagen espejo del codificador, utilizando técnicas como convoluciones transpuestas o capas de aumento de tamaño para aumentar gradualmente la dimensionalidad de los datos hasta su tamaño original. Esta simetría en la arquitectura ayuda a mantener la integridad estructural de la información a medida que fluye a través de la red.

El proceso de entrenamiento de un autoencoder se centra en minimizar el error de reconstrucción: la diferencia entre la entrada original y la salida reconstruida. Este proceso de optimización impulsa a la red a aprender una representación significativa y eficiente de los datos. Como resultado, los autoencoders se vuelven competentes en capturar la estructura subyacente y los patrones dentro de los datos.

Las aplicaciones de los autoencoders son diversas y de gran impacto. Se destacan en tareas como:

Reducción de Dimensionalidad

Los autoencoders sobresalen en la compresión de datos de alta dimensionalidad en representaciones compactas de menor dimensión. Esta capacidad es particularmente valiosa en la visualización de datos, donde los conjuntos de datos complejos pueden proyectarse en espacios 2D o 3D para facilitar su interpretación. En la extracción de características, los autoencoders pueden identificar las características más importantes de los datos, destilando eficazmente grandes conjuntos de datos complejos en sus componentes esenciales.

El poder de los autoencoders en la reducción de dimensionalidad se extiende más allá de la simple compresión. Al forzar a la red a aprender una representación comprimida, los autoencoders crean efectivamente un mapeo no lineal de los datos de entrada a un espacio de menor dimensión. Este mapeo a menudo captura patrones y estructuras subyacentes que podrían no ser evidentes en el espacio de alta dimensión original.

Por ejemplo, en el procesamiento de imágenes, un autoencoder podría aprender a representar imágenes en términos de características abstractas como bordes, formas y texturas, en lugar de valores de píxeles individuales. En el procesamiento del lenguaje natural, podría aprender a representar palabras o frases en términos de su contenido semántico, en lugar de solo sus características superficiales.

Los beneficios de esta reducción de dimensionalidad son numerosos:

Visualización Mejorada: Al reducir los datos a representaciones 2D o 3D, los autoencoders permiten la creación de visualizaciones intuitivas que pueden revelar agrupaciones, tendencias y valores atípicos en los datos.
Mejora del Rendimiento del Aprendizaje Automático: Las representaciones de menor dimensión a menudo conducen a tiempos de entrenamiento más rápidos y a una mejor generalización en tareas de aprendizaje automático posteriores. Esto se debe a que el autoencoder ya ha realizado gran parte del trabajo al extraer características relevantes de los datos sin procesar.
Reducción de Ruido: El proceso de codificación y decodificación de datos a menudo tiene el efecto de filtrar el ruido, ya que la red aprende a enfocarse en los aspectos más importantes de la entrada.
Compresión de Datos: En escenarios donde el almacenamiento o la transmisión de datos es una preocupación, los autoencoders pueden usarse para crear representaciones comprimidas eficientes de los datos.

Además, el espacio latente aprendido por los autoencoders a menudo tiene propiedades interesantes que se pueden aprovechar para diversas tareas. Por ejemplo, la interpolación entre puntos en el espacio latente puede generar nuevos puntos de datos significativos, lo que puede ser útil para la ampliación de datos o aplicaciones creativas.

Esta reducción de dimensionalidad no solo ayuda en la visualización y acelera las tareas de aprendizaje automático posteriores al reducir la complejidad computacional, sino que también proporciona una herramienta poderosa para comprender y manipular conjuntos de datos complejos y de alta dimensión en una amplia gama de aplicaciones.

Detección de Anomalías

Los autoencoders sobresalen en la identificación de anomalías o valores atípicos al aprender a reconstruir patrones normales en los datos. Esta capacidad proviene de su arquitectura y proceso de entrenamiento únicos. Cuando un autoencoder se encuentra con un punto de datos anómalo, tiene dificultades para reconstruirlo con precisión, lo que resulta en un mayor error de reconstrucción. Esta discrepancia entre la entrada y la salida reconstruida sirve como un poderoso indicador de anomalías.

El proceso funciona de la siguiente manera: durante el entrenamiento, el autoencoder aprende a comprimir y reconstruir de manera eficiente los puntos de datos típicos, "normales". Desarrolla una representación interna que captura las características y patrones esenciales de la distribución de los datos. Cuando se le presenta un punto de datos anómalo que se desvía significativamente de esta distribución aprendida, el intento de reconstrucción del autoencoder falla, lo que genera un mayor error.

Esta propiedad hace que los autoencoders sean particularmente valiosos en diversos dominios:

Detección de Fraude Financiero: En banca y finanzas, los autoencoders pueden identificar patrones de transacciones inusuales que podrían indicar actividad fraudulenta. Al aprender las características de las transacciones legítimas, pueden señalar aquellas que se desvían significativamente de la norma.
Control de Calidad en Manufactura: En entornos industriales, los autoencoders pueden detectar defectos de fabricación al aprender las características de los productos fabricados correctamente e identificar artículos que no se ajustan a estos patrones.
Ciberseguridad: Los sistemas de detección de intrusiones en redes pueden emplear autoencoders para identificar patrones de tráfico inusuales que pueden señalar un ataque cibernético o intentos de acceso no autorizados.
Salud: Los autoencoders pueden ayudar a detectar anomalías en imágenes médicas o signos vitales de pacientes, identificando potencialmente signos tempranos de enfermedades o problemas de salud urgentes.

El poder de los autoencoders en la detección de anomalías radica en su naturaleza no supervisada. A diferencia de los métodos de aprendizaje supervisado que requieren ejemplos etiquetados de anomalías, los autoencoders pueden detectar desviaciones de la norma sin necesidad de etiquetar explícitamente las instancias anómalas. Esto los hace particularmente útiles en escenarios donde las anomalías son raras, diversas o difíciles de definir explícitamente.

Además, los autoencoders pueden adaptarse a la evolución de las distribuciones de datos a lo largo del tiempo. A medida que se procesan nuevos datos, el modelo se puede ajustar para capturar los cambios en lo que constituye un comportamiento "normal", manteniendo su efectividad en entornos dinámicos.

Sin embargo, es importante señalar que, aunque los autoencoders son herramientas poderosas para la detección de anomalías, no están exentos de limitaciones. La efectividad de un sistema de detección de anomalías basado en autoencoders depende de factores como la calidad y representatividad de los datos de entrenamiento, la arquitectura del autoencoder y el umbral elegido para determinar qué constituye una anomalía. Por lo tanto, en aplicaciones prácticas, los autoencoders a menudo se utilizan junto con otras técnicas para crear sistemas de detección de anomalías robustos y confiables.

Eliminación de Ruido

Los autoencoders pueden entrenarse específicamente para eliminar el ruido de los datos, un proceso conocido como eliminación de ruido. Esta técnica poderosa implica corromper intencionalmente los datos de entrada con ruido durante el entrenamiento y asignar al autoencoder la tarea de reconstruir la versión original y limpia. A través de este proceso, el modelo aprende a distinguir entre señal significativa y ruido no deseado, filtrando eficazmente las distorsiones y artefactos.

Las aplicaciones de los autoencoders de eliminación de ruido son vastas y de gran impacto en diversos dominios:

Imágenes Médicas: En radiología, los autoencoders de eliminación de ruido pueden mejorar significativamente la calidad de las radiografías, resonancias magnéticas y tomografías computarizadas. Al reducir el ruido y los artefactos, estos modelos ayudan a los profesionales médicos a realizar diagnósticos más precisos e identificar anomalías sutiles que de otro modo podrían quedar ocultas.
Procesamiento de Audio: En el ámbito del reconocimiento de voz y la producción musical, los autoencoders de eliminación de ruido pueden aislar y amplificar los sonidos deseados mientras suprimen el ruido de fondo. Esto es particularmente valioso para mejorar la precisión de los asistentes de voz, la calidad de la música grabada y para ayudar en la investigación forense de audio.
Datos de Sensores Industriales: En aplicaciones de manufactura e IoT, los datos de los sensores a menudo contienen ruido debido a factores ambientales o limitaciones del equipo. Los autoencoders de eliminación de ruido pueden limpiar estos datos, lo que conduce a sistemas de monitoreo más confiables, mantenimiento predictivo y procesos de control de calidad.
Imágenes Astronómicas: Los telescopios espaciales capturan imágenes que a menudo están afectadas por la radiación cósmica y otras formas de interferencia. Los autoencoders de eliminación de ruido pueden ayudar a los astrónomos a recuperar imágenes más claras y detalladas de cuerpos celestes distantes, lo que potencialmente lleva a nuevos descubrimientos en astrofísica.

El poder de los autoencoders de eliminación de ruido radica en su capacidad para aprender patrones complejos de ruido y separarlos de la estructura subyacente de los datos. Esto va más allá de las simples técnicas de filtrado, ya que el modelo puede adaptarse a diversos tipos de ruido y preservar características importantes de la señal original. Como resultado, los autoencoders de eliminación de ruido se han convertido en una herramienta esencial en el procesamiento de señales, la limpieza de datos y la extracción de características en una amplia gama de aplicaciones científicas e industriales.

Aprendizaje de Características

Las representaciones del espacio latente aprendidas por los autoencoders son una herramienta poderosa para capturar características abstractas y significativas de los datos de entrada. Esta capacidad va más allá de la simple compresión de datos, ofreciendo un enfoque sofisticado para comprender estructuras de datos complejas.

En el ámbito del procesamiento de imágenes, estas características aprendidas a menudo corresponden a conceptos visuales de alto nivel. Por ejemplo, cuando se aplican a tareas de reconocimiento facial, las representaciones latentes podrían codificar características como la estructura facial, la expresión o incluso conceptos más abstractos como la edad o el género. Esta capacidad de destilar información visual compleja en representaciones compactas y significativas tiene implicaciones significativas para las aplicaciones de visión por computadora, desde sistemas de reconocimiento facial hasta análisis de imágenes médicas.

En el procesamiento del lenguaje natural (NLP), los autoencoders pueden aprender a representar palabras o frases de manera que capturen relaciones semánticas y sintácticas profundas. Estas representaciones pueden codificar matices del lenguaje como el contexto, el tono o incluso conceptos abstractos, proporcionando una base rica para tareas como el análisis de sentimientos, la traducción de idiomas o la generación de texto. Por ejemplo, en el modelado de temas, las características derivadas de autoencoders podrían capturar elementos temáticos que abarcan varios documentos, ofreciendo ideas que van más allá del simple análisis de palabras clave.

El poder de estas características aprendidas se hace particularmente evidente en escenarios de aprendizaje por transferencia. Los modelos preentrenados en conjuntos de datos grandes y diversos pueden generar representaciones de características ricas que pueden ajustarse para tareas específicas con datos de entrenamiento adicionales mínimos. Este enfoque ha revolucionado muchas áreas del aprendizaje automático, permitiendo el desarrollo rápido de modelos sofisticados en dominios donde los datos etiquetados son escasos.

Además, las capacidades de aprendizaje de características de los autoencoders han encontrado aplicaciones en la detección de anomalías y la eliminación de ruido. Al aprender a reconstruir patrones de datos "normales", los autoencoders pueden identificar puntos de datos fuera de lugar o corruptos que se desvían significativamente de estas representaciones aprendidas. Esto tiene implicaciones prácticas en campos como la detección de fraudes en transacciones financieras, la identificación de defectos de fabricación o la detección de patrones inusuales en datos médicos.

A medida que la investigación en este área continúa avanzando, estamos viendo la aparición de arquitecturas de autoencoders más sofisticadas, como los variational autoencoders (VAEs) y los autoencoders adversariales. Estos modelos no solo aprenden características significativas, sino que también capturan las distribuciones de probabilidad subyacentes de los datos, lo que abre nuevas posibilidades para el modelado generativo y la síntesis de datos.

El impacto del aprendizaje de características basado en autoencoders se extiende a diversas industrias y disciplinas científicas. En el descubrimiento de fármacos, estas técnicas se utilizan para identificar posibles candidatos a medicamentos al aprender representaciones compactas de estructuras moleculares. En la robótica, están ayudando a crear sistemas de control más eficientes y adaptables al aprender representaciones compactas de entornos y tareas complejas.

A medida que continuamos expandiendo los límites de lo que es posible con los autoencoders y el aprendizaje de características, podemos esperar ver aún más aplicaciones innovadoras emerger, consolidando aún más el papel de estas técnicas como un pilar del aprendizaje automático moderno y la inteligencia artificial.

La versatilidad y efectividad de los autoencoders los han convertido en una piedra angular en el campo del aprendizaje no supervisado, abriendo nuevas posibilidades para el análisis de datos y el aprendizaje de representaciones en diversos dominios.

Ejemplo: Construyendo un Autoencoder Simple en Keras

Implementemos un autoencoder básico en Keras utilizando el conjunto de datos MNIST (un conjunto de datos de dígitos escritos a mano).

import tensorflow as tf
from tensorflow.keras import layers, models

# Load the MNIST dataset and normalize it
(x_train, _), (x_test, _) = tf.keras.datasets.mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), 28, 28, 1))
x_test = x_test.reshape((len(x_test), 28, 28, 1))

# Encoder
input_img = layers.Input(shape=(28, 28, 1))
x = layers.Conv2D(16, (3, 3), activation='relu', padding='same')(input_img)
x = layers.MaxPooling2D((2, 2), padding='same')(x)
x = layers.Conv2D(8, (3, 3), activation='relu', padding='same')(x)
x = layers.MaxPooling2D((2, 2), padding='same')(x)
encoded = layers.Conv2D(8, (3, 3), activation='relu', padding='same')(x)

# Decoder
x = layers.Conv2D(8, (3, 3), activation='relu', padding='same')(encoded)
x = layers.UpSampling2D((2, 2))(x)
x = layers.Conv2D(16, (3, 3), activation='relu')(x)
x = layers.UpSampling2D((2, 2))(x)
decoded = layers.Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)

# Autoencoder model
autoencoder = models.Model(input_img, decoded)
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

# Train the autoencoder
autoencoder.fit(x_train, x_train, epochs=50, batch_size=256, validation_data=(x_test, x_test))

Este código implementa un autoencoder básico utilizando Keras para el conjunto de datos MNIST de dígitos escritos a mano.

Aquí tienes un desglose de los componentes principales:

Preparación de Datos: El conjunto de datos MNIST se carga, se normaliza a valores entre 0 y 1, y se remodela para ajustarse a la forma de entrada del autoencoder.
Codificador: La parte del codificador del autoencoder utiliza capas convolucionales para comprimir la imagen de entrada. Consta de tres capas Conv2D con activación ReLU y dos capas MaxPooling2D para reducir la dimensionalidad.
Decodificador: El decodificador refleja la estructura del codificador pero utiliza capas UpSampling2D para aumentar la dimensionalidad. Reconstruye la imagen original a partir de la representación comprimida.
Compilación del Modelo: El modelo de autoencoder se compila utilizando el optimizador Adam y la función de pérdida binary crossentropy, que es adecuada para tareas de reconstrucción de imágenes.
Entrenamiento: El modelo se entrena durante 50 épocas con un tamaño de lote de 256, utilizando los datos de entrenamiento tanto como entrada como objetivo. Los datos de prueba se utilizan para la validación.

Este autoencoder aprende a comprimir las imágenes de MNIST en una representación de menor dimensión y luego las reconstruye, posiblemente aprendiendo características útiles en el proceso.

7.1.2 Autoencoders Variacionales (VAEs)

Aunque los autoencoders estándar son excelentes para comprimir datos, los Autoencoders Variacionales (VAEs) elevan este concepto al introducir un elemento probabilístico en el proceso de codificación. A diferencia de los autoencoders tradicionales que asignan cada entrada a un punto fijo en el espacio latente, los VAEs generan una distribución de probabilidad—típicamente gaussiana—de la cual se muestrean las variables latentes. Este enfoque probabilístico permite que los VAEs capturen la estructura subyacente de los datos de manera más efectiva, teniendo en cuenta la variabilidad y la incertidumbre inherentes.

La naturaleza probabilística de los VAEs los hace particularmente poderosos para el modelado generativo. Al aprender a asignar las entradas a distribuciones en lugar de puntos fijos, los VAEs pueden generar puntos de datos nuevos y diversos que son consistentes con la distribución aprendida. Esto se logra al muestrear desde el espacio latente y luego decodificar estas muestras, lo que da como resultado nuevos datos que se asemejan al conjunto de entrenamiento. Esta capacidad tiene amplias implicaciones en varios dominios:

En visión por computadora, los VAEs pueden generar nuevas imágenes realistas que mantienen las características de los datos de entrenamiento, como la creación de nuevas caras o estilos artísticos.
En procesamiento del lenguaje natural, los VAEs se pueden utilizar para la generación de texto, produciendo oraciones o párrafos coherentes que capturan la esencia del corpus de entrenamiento.
En el descubrimiento de fármacos, los VAEs pueden sugerir nuevas estructuras moleculares con propiedades deseadas, lo que podría acelerar el desarrollo de nuevos productos farmacéuticos.

Además, el espacio latente aprendido por los VAEs a menudo captura características significativas de los datos de entrada, lo que permite una manipulación e interpolación intuitiva entre diferentes puntos de datos. Esta propiedad hace que los VAEs sean valiosos para tareas como la ampliación de datos, la detección de anomalías e incluso el aprendizaje por transferencia en diferentes dominios.

Cómo Funcionan los VAEs

Codificador: El codificador en un VAE difiere significativamente del de un autoencoder estándar. En lugar de producir una representación latente fija, genera dos parámetros clave: la media y la log-varianza de una distribución de probabilidad en el espacio latente. Este enfoque probabilístico permite que el VAE capture la incertidumbre y la variabilidad en los datos de entrada. La representación latente real se muestrea de una distribución normal definida por estos parámetros, introduciendo un elemento estocástico que mejora las capacidades generativas del modelo.
Decodificador: El decodificador en un VAE funciona de manera similar al de un autoencoder estándar, pero con una diferencia crucial. Toma la representación latente muestreada como entrada y reconstruye los datos originales. Sin embargo, dado que esta entrada es ahora una muestra de una distribución de probabilidad en lugar de un punto fijo, el decodificador aprende a ser más robusto y flexible. Esto permite que el VAE genere salidas diversas pero realistas, incluso cuando se muestrean diferentes puntos en el espacio latente.
Divergencia KL: La Divergencia de Kullback-Leibler (KL) juega un papel vital en los VAEs, actuando como un término de regularización en la función de pérdida. Asegura que la distribución latente aprendida se aproxime a una distribución gaussiana estándar. Esta regularización tiene dos efectos importantes:
- Alienta al espacio latente a ser continuo y bien estructurado, facilitando una interpolación suave entre diferentes puntos.
- Evita que el modelo simplemente memorice los datos de entrenamiento, en su lugar, aprende una representación significativa y generalizable.
El equilibrio entre la precisión de la reconstrucción y la divergencia KL es crucial para el rendimiento y las capacidades generativas del VAE.
Truco de Reparametrización: Para habilitar la retropropagación a través del proceso de muestreo, los VAEs emplean el truco de reparametrización. Esto implica expresar el muestreo aleatorio como una función determinista de la media, la log-varianza y una fuente externa de aleatoriedad. Esta ingeniosa técnica permite entrenar el modelo de manera completa utilizando métodos de optimización estándar.
Función de Pérdida: La función de pérdida del VAE combina dos componentes:
- Pérdida de reconstrucción: Mide qué tan bien el decodificador puede reconstruir la entrada a partir de la representación latente muestreada.
- Divergencia KL: Regulariza la distribución del espacio latente.
El equilibrio entre estos dos componentes es clave para entrenar un VAE efectivo que pueda tanto reconstruir entradas con precisión como generar muestras nuevas y realistas.

Ejemplo: Implementación de un Autoencoder Variacional en Keras

from tensorflow.keras import layers, models
import tensorflow as tf
import numpy as np

# Sampling function for the latent space
def sampling(args):
    z_mean, z_log_var = args
    batch = tf.shape(z_mean)[0]
    dim = tf.shape(z_mean)[1]
    epsilon = tf.keras.backend.random_normal(shape=(batch, dim))
    return z_mean + tf.exp(0.5 * z_log_var) * epsilon

# Encoder
latent_dim = 2
inputs = layers.Input(shape=(28, 28, 1))
x = layers.Conv2D(32, 3, activation="relu", strides=2, padding="same")(inputs)
x = layers.Conv2D(64, 3, activation="relu", strides=2, padding="same")(x)
x = layers.Flatten()(x)
x = layers.Dense(16, activation="relu")(x)
z_mean = layers.Dense(latent_dim, name="z_mean")(x)
z_log_var = layers.Dense(latent_dim, name="z_log_var")(x)

# Latent space sampling
z = layers.Lambda(sampling, output_shape=(latent_dim,), name="z")([z_mean, z_log_var])

# Decoder
decoder_input = layers.Input(shape=(latent_dim,))
x = layers.Dense(7 * 7 * 64, activation="relu")(decoder_input)
x = layers.Reshape((7, 7, 64))(x)
x = layers.Conv2DTranspose(64, 3, activation="relu", strides=2, padding="same")(x)
x = layers.Conv2DTranspose(32, 3, activation="relu", strides=2, padding="same")(x)
decoder_output = layers.Conv2DTranspose(1, 3, activation="sigmoid", padding="same")(x)

# VAE model
encoder = models.Model(inputs, [z_mean, z_log_var, z], name="encoder")
decoder = models.Model(decoder_input, decoder_output, name="decoder")
vae_output = decoder(encoder(inputs)[2])

vae = models.Model(inputs, vae_output, name="vae")

# Loss: Reconstruction + KL divergence
reconstruction_loss = tf.keras.losses.binary_crossentropy(tf.keras.backend.flatten(inputs), tf.keras.backend.flatten(vae_output))
reconstruction_loss *= 28 * 28
kl_loss = 1 + z_log_var - tf.square(z_mean) - tf.exp(z_log_var)
kl_loss = tf.reduce_mean(-0.5 * tf.reduce_sum(kl_loss, axis=-1))
vae_loss = tf.reduce_mean(reconstruction_loss + kl_loss)

vae.add_loss(vae_loss)
vae.compile(optimizer="adam")

# Train the VAE
vae.fit(x_train, x_train, epochs=50, batch_size=128, validation_data=(x_test, x_test))

Este código implementa un Autoencoder Variacional (VAE) utilizando Keras y TensorFlow.

Aquí tienes un desglose de los componentes clave:

Función de Muestreo: La función sampling implementa el truco de reparametrización, que permite al modelo retropropagar a través del proceso de muestreo aleatorio.
Codificador: La red del codificador toma la entrada (imágenes de 28x28x1) y produce la media y la log-varianza de la distribución del espacio latente. Utiliza capas convolucionales y densas.
Espacio Latente: El espacio latente se muestrea utilizando la función sampling, creando una representación latente de dos dimensiones.
Decodificador: El decodificador toma la representación latente y reconstruye la imagen original. Utiliza capas densas y convoluciones transpuestas.
Modelo VAE: El modelo VAE completo se crea combinando el codificador y el decodificador.
Función de Pérdida: La pérdida consta de dos partes:
- Pérdida de reconstrucción: Binary cross-entropy entre la entrada y la salida reconstruida.
- Pérdida de divergencia KL: Asegura que la distribución latente aprendida esté cerca de una distribución normal estándar.
Entrenamiento: El modelo se compila con el optimizador Adam y se entrena durante 50 épocas utilizando el conjunto de datos MNIST (representado por x_train y x_test).

Este VAE puede aprender a comprimir los dígitos de MNIST en un espacio latente 2D y generar nuevos dígitos similares al muestrear desde este espacio.