5.4 Técnicas de Evaluación para el Aprendizaje No Supervisado

Evaluar los modelos de aprendizaje no supervisado presenta desafíos únicos debido a la ausencia de etiquetas predefinidas para comparación. A diferencia del aprendizaje supervisado, donde podemos medir directamente el rendimiento del modelo frente a resultados conocidos, el aprendizaje no supervisado requiere enfoques más matizados para evaluar la calidad del modelo. Esta sección profundiza en una variedad de técnicas de evaluación diseñadas específicamente para escenarios de aprendizaje no supervisado.

Exploraremos métodos para evaluar la efectividad de los algoritmos de clustering, que tienen como objetivo agrupar puntos de datos similares sin conocimiento previo de las agrupaciones correctas. Además, examinaremos estrategias para evaluar técnicas de reducción de dimensionalidad, que buscan comprimir datos de alta dimensionalidad en representaciones de menor dimensión, preservando la información esencial y las relaciones.

Al emplear estos métodos de evaluación indirecta, podemos obtener valiosas ideas sobre el rendimiento y la fiabilidad de los modelos de aprendizaje no supervisado. Estas técnicas no solo ayudan a evaluar la calidad de los resultados, sino que también guían el proceso de selección de modelos y ajuste de parámetros, lo que finalmente conduce a resultados de aprendizaje no supervisado más sólidos y significativos.

5.4.1 Evaluación de Algoritmos de Clustering

Los algoritmos de clustering agrupan puntos de datos según su similitud, con el objetivo de crear clústeres donde los puntos dentro de un clúster sean más similares entre sí que con los puntos en otros clústeres. Sin embargo, determinar la efectividad de un algoritmo de clustering sin etiquetas de verdad fundamental presenta un desafío significativo en el aprendizaje no supervisado. Para abordar esto, se han desarrollado varias técnicas de evaluación para medir la calidad de los clústeres basándose en las propiedades inherentes de los datos mismos.

Estas técnicas de evaluación pueden clasificarse en dos tipos:

1. Métricas de evaluación interna

Estas métricas evalúan la calidad del clustering al analizar propiedades intrínsecas de los datos y los clústeres resultantes, sin depender de información externa o etiquetas predefinidas. Examinar factores como la cohesión intra-clúster y la separación inter-clúster ayuda a evaluar qué tan bien ha agrupado el algoritmo puntos de datos similares juntos mientras mantiene separados a los puntos disímiles.

Ejemplos incluyen:

Silhouette Score

Esta métrica evalúa qué tan bien se ajusta cada punto de datos a su clúster asignado en comparación con otros clústeres. Proporciona una medida integral de la calidad del clustering al evaluar tanto la cohesión dentro de los clústeres como la separación entre ellos.

El puntaje oscila entre -1 y 1, donde:

Un puntaje de 1 indica que el punto de datos está muy bien ajustado a su propio clúster y mal ajustado a los clústeres vecinos, lo que sugiere un clustering óptimo.
Un puntaje de 0 indica que el punto de datos está en o muy cerca del límite de decisión entre dos clústeres vecinos.
Un puntaje de -1 indica que el punto de datos podría haber sido asignado al clúster incorrecto, ya que es más similar a los clústeres vecinos que a su propio clúster.

El Silhouette Score se calcula para cada punto de datos utilizando los siguientes pasos:

Calcular la distancia promedio entre el punto de datos y todos los demás puntos en su clúster (a).
Para cada otro clúster, calcular la distancia promedio entre el punto de datos y todos los puntos en ese clúster.
Encontrar el mínimo de estas distancias promedio (b).
El Silhouette Score para el punto de datos es (b - a) / max(a, b).

El puntaje general de Silhouette para un clustering es el promedio de los puntajes de Silhouette para todos los puntos de datos. Este puntaje se utiliza ampliamente en diversas aplicaciones, como la segmentación de imágenes, el reconocimiento de patrones y la minería de datos, para evaluar y optimizar algoritmos de clustering.

Ejemplo: Silhouette Score para K-Means con Scikit-learn

Calculemos el Silhouette Score para un ejemplo de clustering K-Means.

import numpy as np
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt

# Generate synthetic data
n_samples = 1000
n_features = 2
n_clusters = 4
X, y = make_blobs(n_samples=n_samples, n_features=n_features, centers=n_clusters, random_state=42)

# Perform K-Means clustering
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
labels = kmeans.fit_predict(X)

# Calculate Silhouette Score
silhouette_avg = silhouette_score(X, labels)

# Visualize the clusters
plt.figure(figsize=(10, 5))
plt.subplot(121)
scatter = plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
plt.colorbar(scatter)
plt.title('K-Means Clustering Result')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')

# Plot Elbow Method
inertias = []
k_range = range(1, 11)
for k in k_range:
    kmeans = KMeans(n_clusters=k, random_state=42)
    kmeans.fit(X)
    inertias.append(kmeans.inertia_)

plt.subplot(122)
plt.plot(k_range, inertias, 'bo-')
plt.xlabel('Number of Clusters (k)')
plt.ylabel('Inertia')
plt.title('Elbow Method for Optimal k')

plt.tight_layout()
plt.show()

print(f"Silhouette Score: {silhouette_avg:.4f}")
print(f"Optimal number of clusters (from elbow method): {n_clusters}")

Este ejemplo de código demuestra un enfoque integral para el clustering con K-Means, que incluye la generación de datos, clustering, evaluación y visualización.

Desglose del código:

Importar bibliotecas necesarias:
- numpy para operaciones numéricas.
- KMeans de sklearn.cluster para el clustering.
- make_blobs de sklearn.datasets para generar datos sintéticos.
- silhouette_score de sklearn.metrics para la evaluación del clustering.
- matplotlib.pyplot para la visualización.
Generación de datos sintéticos:
- Se usa make_blobs para crear un conjunto de datos con 1000 muestras, 2 características y 4 clusters.
- Esto simula un escenario real de clustering.
Realizar clustering con K-Means:
- Inicializar KMeans con 4 clusters.
- Ajustar el modelo a los datos y predecir las etiquetas de los clusters.
Calcular el Silhouette Score:
- Usar silhouette_score para evaluar la calidad del clustering.
- El puntaje de Silhouette varía de -1 a 1, con valores más altos indicando clusters mejor definidos.
Visualizar los clusters:
- Crear un gráfico de dispersión de los puntos de datos, coloreados por sus asignaciones de clusters.
- Añadir una barra de color para mostrar las etiquetas de los clusters.
Implementar el método del codo (Elbow Method):
- Ejecutar K-Means para diferentes números de clusters (de 1 a 10).
- Calcular la inercia (suma de cuadrados dentro del cluster) para cada valor de k.
- Graficar la inercia frente al número de clusters.
Mostrar los resultados:
- Mostrar la visualización del clustering y el gráfico del método del codo uno al lado del otro.
- Imprimir el Silhouette Score y el número óptimo de clusters.

Este ejemplo completo no solo realiza clustering con K-Means, sino que también incluye métodos para determinar el número óptimo de clusters (Método del Codo) y evaluar la calidad del clustering (Silhouette Score). Las visualizaciones ayudan a entender la estructura del cluster y el proceso de selección del mejor número de clusters.

Índice de Davies-Bouldin

Este índice evalúa la calidad de los algoritmos de clustering midiendo la similitud promedio entre cada cluster y su cluster más similar. Se calcula de la siguiente manera:

Para cada cluster, se encuentra su cluster más similar basado en la relación entre las distancias dentro del cluster y las distancias entre clusters.
Se calcula la medida de similitud para este par de clusters.
Se toma el promedio de estas medidas de similitud a lo largo de todos los clusters.

Características clave del Índice de Davies-Bouldin:

Rango: Varía de 0 al infinito.
Interpretación: Valores más bajos indican un mejor clustering, siendo 0 la mejor puntuación posible.
Propiedades del cluster: Favorece clusters compactos (bajas distancias dentro del cluster) y bien separados de otros clusters (altas distancias entre clusters).
Limitaciones: Al igual que algunas otras métricas, asume que los clusters son convexos e isotrópicos, lo que puede no ser siempre el caso en datos del mundo real.

Al usar el Índice de Davies-Bouldin:

Un puntaje cercano a 0 sugiere clusters bien definidos y distintos.
Puntajes más altos indican clusters solapados o mal separados.
A menudo se usa en combinación con otras métricas para una evaluación integral de la calidad del clustering.

Interpretación de ejemplos:

Puntaje de 0.2: Indica clusters bien separados.
Puntaje de 1.5: Sugiere clusters solapados o mal separados.

El Índice de Davies-Bouldin es particularmente útil al comparar diferentes algoritmos de clustering o configuraciones de parámetros en el mismo conjunto de datos, ayudando a los científicos de datos a elegir el enfoque más efectivo para sus datos específicos.

Ejemplo: Índice de Davies-Bouldin con Scikit-learn.

import numpy as np
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.metrics import davies_bouldin_score
import matplotlib.pyplot as plt

# Generate synthetic data for clustering
X, y = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# Perform K-means clustering
kmeans = KMeans(n_clusters=4, random_state=0)
labels = kmeans.fit_predict(X)

# Calculate the Davies-Bouldin Index
db_index = davies_bouldin_score(X, labels)

# Visualize the clusters
plt.figure(figsize=(10, 5))
plt.subplot(121)
scatter = plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
plt.colorbar(scatter)
plt.title('K-means Clustering Result')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')

# Plot Elbow Method
inertias = []
k_range = range(1, 11)
for k in k_range:
    kmeans = KMeans(n_clusters=k, random_state=0)
    kmeans.fit(X)
    inertias.append(kmeans.inertia_)

plt.subplot(122)
plt.plot(k_range, inertias, 'bo-')
plt.xlabel('Number of Clusters (k)')
plt.ylabel('Inertia')
plt.title('Elbow Method for Optimal k')

plt.tight_layout()
plt.show()

print(f"Davies-Bouldin Index: {db_index:.2f}")

Este ejemplo demuestra un enfoque integral para el clustering con K-means, que incluye la generación de datos, clustering, evaluación usando el Índice de Davies-Bouldin y visualización.

Desglose del código:

Importar bibliotecas necesarias:
- numpy para operaciones numéricas.
- KMeans de sklearn.cluster para el clustering.
- make_blobs de sklearn.datasets para generar datos sintéticos.
- davies_bouldin_score de sklearn.metrics para la evaluación del clustering.
- matplotlib.pyplot para la visualización.
Generación de datos sintéticos:
- Usar make_blobs para crear un conjunto de datos con 300 muestras, 4 centros y una desviación estándar de los clusters de 0.60.
- Esto simula un escenario de clustering del mundo real.
Realizar clustering con K-means:
- Inicializar KMeans con 4 clusters.
- Ajustar el modelo a los datos y predecir las etiquetas de los clusters.
Calcular el Índice de Davies-Bouldin:
- Usar davies_bouldin_score para evaluar la calidad del clustering.
- El Índice de Davies-Bouldin varía de 0 al infinito, con valores más bajos que indican clusters mejor definidos.
Visualizar los clusters:
- Crear un gráfico de dispersión de los puntos de datos, coloreados por sus asignaciones de clusters.
- Añadir una barra de color para mostrar las etiquetas de los clusters.
Implementar el método del codo (Elbow Method):
- Ejecutar K-means para diferentes números de clusters (de 1 a 10).
- Calcular la inercia (suma de cuadrados dentro del cluster) para cada valor de k.
- Graficar la inercia frente al número de clusters.
Mostrar los resultados:
- Mostrar la visualización del clustering y el gráfico del método del codo uno al lado del otro.
- Imprimir el puntaje del Índice de Davies-Bouldin.

Este ejemplo no solo realiza clustering con K-means, sino que también incluye métodos para determinar el número óptimo de clusters (Método del Codo) y evaluar la calidad del clustering (Índice de Davies-Bouldin). Las visualizaciones ayudan a entender la estructura del cluster y el proceso de selección del mejor número de clusters.

Índice de Calinski-Harabasz

El Índice de Calinski-Harabasz, también conocido como el Criterio de la Relación de Varianza, es una métrica importante para evaluar la calidad de los resultados del clustering. Este índice mide la relación entre la dispersión entre clusters y la dispersión dentro de los clusters, proporcionando información valiosa sobre la efectividad de un algoritmo de clustering.

Explicación más detallada del Índice de Calinski-Harabasz:

Dispersión entre clusters: Mide qué tan bien separados están los clusters entre sí. Un valor alto indica que los clusters son más distintos y están más alejados.
Dispersión dentro del cluster: Mide qué tan compactos están los puntos de datos dentro de cada cluster. Un valor bajo indica que los puntos dentro de cada cluster están más agrupados.

El Índice de Calinski-Harabasz se calcula dividiendo la dispersión entre clusters por la dispersión dentro del cluster. Un valor alto del índice sugiere clusters mejor definidos, ya que indica que los clusters están bien separados entre sí mientras los puntos dentro de cada cluster están agrupados de forma compacta.

Al interpretar el Índice de Calinski-Harabasz:

Valores más altos indican mejores resultados de clustering, con clusters más distintos y bien definidos.
El índice se puede usar para comparar diferentes algoritmos de clustering o para determinar el número óptimo de clusters para un conjunto de datos.
Es particularmente útil cuando se trabaja con datos de alta dimensionalidad, ya que proporciona un valor escalar único para evaluar la calidad del clustering.

Sin embargo, es importante notar que, al igual que otras métricas de evaluación de clustering, el Índice de Calinski-Harabasz tiene sus limitaciones. Tiende a favorecer clusters convexos y esféricos y puede no funcionar tan bien con clusters de densidades variables o formas no globulares. Por lo tanto, se recomienda usar este índice junto con otras métricas de evaluación para una evaluación más integral de la calidad del clustering.

Ejemplo:

Aquí hay un ejemplo completo de cómo calcular el Índice de Calinski-Harabasz usando Scikit-learn.

import numpy as np
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score
from sklearn.datasets import make_blobs

# Generate synthetic data for clustering
X, y = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# Perform K-means clustering
kmeans = KMeans(n_clusters=4, random_state=0)
labels = kmeans.fit_predict(X)

# Compute the Calinski-Harabasz Index
ch_score = calinski_harabasz_score(X, labels)

print(f"Calinski-Harabasz Index: {ch_score:.2f}")

Desglose del código:

Importar bibliotecas necesarias:
- numpy para operaciones numéricas
- KMeans de sklearn.cluster para realizar el clustering con K-means
- calinski_harabasz_score de sklearn.metrics para calcular el Índice de Calinski-Harabasz
- make_blobs de sklearn.datasets para generar datos sintéticos
Generar datos sintéticos:
- Crear un conjunto de datos con 300 muestras, 4 centros y una desviación estándar del cluster de 0.60
- Se establece random_state en 0 para reproducibilidad
Realizar clustering con K-means:
- Inicializar KMeans con 4 clusters (coincidiendo con el número de centros en los datos sintéticos)
- Ajustar el modelo a los datos y predecir las etiquetas de los clusters
Calcular el Índice de Calinski-Harabasz:
- Usar la función calinski_harabasz_score, pasando los datos (X) y las etiquetas de los clusters
Imprimir el resultado:
- Mostrar el puntaje del Índice de Calinski-Harabasz, formateado a dos decimales

Interpretación:

El Índice de Calinski-Harabasz varía de 0 al infinito. Un puntaje más alto indica clusters mejor definidos. Al interpretar los resultados:

Un puntaje más alto sugiere que los clusters son densos y están bien separados.
Un puntaje más bajo puede indicar clusters solapados o puntos de datos mal separados.

Este índice es especialmente útil al comparar diferentes algoritmos de clustering o al determinar el número óptimo de clusters para un conjunto de datos determinado. Al ejecutar este código con diferentes números de clusters o con distintos algoritmos de clustering, puedes comparar los puntajes resultantes para encontrar el enfoque de clustering más efectivo para tus datos.

Recuerda que, aunque el Índice de Calinski-Harabasz es una herramienta valiosa, debe usarse junto con otras métricas de evaluación y el conocimiento del dominio para una evaluación integral de la calidad del clustering.

2. Métricas de evaluación externa

Estas se utilizan cuando se tiene algún conocimiento externo sobre los datos, como etiquetas de clase o anotaciones humanas. Las métricas de evaluación externa proporcionan una forma de evaluar la calidad de los resultados del clustering o de la reducción de dimensionalidad al compararlos con información de verdad fundamental conocida. Dos métricas de evaluación externa comúnmente usadas son:

Adjusted Rand Index (ARI): Esta métrica mide la similitud entre las etiquetas verdaderas y las etiquetas predichas. Tiene en cuenta el número de pares de puntos de datos que están correctamente colocados en el mismo o diferente cluster, ajustado por azar. El ARI varía de -1 a 1, donde 1 indica un acuerdo perfecto entre las etiquetas verdaderas y las predichas, 0 representa un etiquetado aleatorio, y valores negativos indican menos acuerdo que lo esperado por azar.
Normalized Mutual Information (NMI): Esta métrica cuantifica la información mutua entre las etiquetas verdaderas y las etiquetas predichas. Mide cuánta información se comparte entre los dos conjuntos de etiquetas, normalizada en un rango de 0 a 1. Un puntaje más alto de NMI indica un mejor acuerdo entre las etiquetas verdaderas y las predichas, con 1 representando una coincidencia perfecta y 0 indicando ninguna información mutua.

Estas métricas de evaluación externa son particularmente útiles cuando se valida el rendimiento de los algoritmos de clustering en conjuntos de datos donde se conocen las etiquetas verdaderas, como en estudios de referencia o cuando se trabaja con datos parcialmente etiquetados. Sin embargo, es importante notar que en muchos escenarios reales de aprendizaje no supervisado, las etiquetas verdaderas pueden no estar disponibles, lo que limita la aplicabilidad de estas métricas.

Ejemplos incluyen:

Adjusted Rand Index (ARI): Mide la similitud entre las etiquetas verdaderas y las etiquetas predichas del clustering, ajustado por azar.
Normalized Mutual Information (NMI): Cuantifica la información mutua entre las etiquetas verdaderas y las etiquetas predichas del clustering, normalizada en un rango de 0 a 1.

Al aplicar estas técnicas de evaluación, es importante considerar múltiples métricas, ya que cada una proporciona una perspectiva diferente sobre la calidad del clustering. Además, la elección de la métrica de evaluación debe alinearse con los objetivos específicos de la tarea de clustering y las características del conjunto de datos que se esté analizando.

5.4.2 Evaluación de Técnicas de Reducción de Dimensionalidad

Las técnicas de reducción de dimensionalidad, como el Análisis de Componentes Principales (PCA), el t-Distributed Stochastic Neighbor Embedding (t-SNE) y la Aproximación y Proyección Uniforme de Manifold (UMAP), son métodos potentes utilizados en aprendizaje no supervisado para abordar los desafíos que presenta el manejo de datos de alta dimensionalidad. Estas técnicas tienen como objetivo reducir el número de características o variables en un conjunto de datos, preservando al mismo tiempo las estructuras y relaciones importantes dentro de los datos.

El PCA es una técnica lineal que identifica los componentes principales de los datos, es decir, nuevas variables que son combinaciones lineales de las características originales y que capturan la máxima varianza en el conjunto de datos. Es especialmente útil para conjuntos de datos con relaciones lineales entre variables.

Por otro lado, el t-SNE es una técnica no lineal que destaca en la preservación de las estructuras locales en los datos. Mapea los datos de alta dimensionalidad a un espacio de menor dimensionalidad (generalmente 2D o 3D), de manera que los puntos de datos similares en el espacio de alta dimensionalidad permanezcan cercanos en la representación de menor dimensionalidad.

UMAP es otra técnica no lineal, similar a t-SNE, pero a menudo más rápida y mejor en la preservación tanto de las estructuras locales como globales en los datos. Es especialmente útil para la visualización de conjuntos de datos complejos y de alta dimensionalidad.

La importancia de estas técnicas radica en su capacidad para mitigar la "maldición de la dimensionalidad", un fenómeno en el que la dispersión de los datos en espacios de alta dimensionalidad dificulta el análisis estadístico. Al reducir la dimensionalidad, estos métodos pueden mejorar el rendimiento de los modelos de aprendizaje automático, facilitar la visualización de los datos y descubrir patrones ocultos en los mismos.

Evaluar el rendimiento de las técnicas de reducción de dimensionalidad implica el uso de diferentes métricas, dependiendo del método específico y del contexto del problema. Para PCA, a menudo se utiliza la proporción de varianza explicada para determinar cuánta información se retiene en las dimensiones reducidas. Para t-SNE y UMAP, es común la inspección visual de la representación en baja dimensionalidad, junto con métricas como la confianza y la continuidad, que miden qué tan bien se preserva la estructura local de los datos.

Varianza Explicada (PCA)

Para el Análisis de Componentes Principales (PCA), la proporción de varianza explicada es una métrica crucial que cuantifica la proporción de la varianza del conjunto de datos explicada por cada componente principal. Esta proporción proporciona información valiosa sobre la retención de información en el proceso de reducción de dimensionalidad.

La proporción de varianza explicada se calcula dividiendo la varianza de cada componente principal entre la varianza total de todos los componentes. Matemáticamente, puede expresarse como:

explained_variance_ratio = variance_of_component / sum_of_all_component_variances

Al examinar la varianza explicada acumulada, que es la suma de las proporciones de varianza explicada hasta un determinado número de componentes, podemos determinar el número óptimo de componentes principales a retener. Este enfoque permite encontrar un equilibrio entre la reducción de dimensionalidad y la preservación de la información.

Típicamente, los científicos de datos buscan retener suficientes componentes como para explicar entre el 90% y el 95% de la varianza total. Este umbral asegura que el conjunto de datos reducido mantenga la mayor parte de la información original, mientras disminuye significativamente su dimensionalidad.

Por ejemplo, si la varianza explicada acumulada alcanza el 95% con los tres primeros componentes principales, esto indica que esos tres componentes capturan el 95% de la variabilidad en el conjunto de datos original. Este conocimiento puede guiar las decisiones sobre cuántos componentes conservar para un análisis o modelado posterior.

Comprender y utilizar la proporción de varianza explicada es esencial para:

Determinar el número óptimo de componentes principales a retener.
Evaluar la efectividad de la reducción de dimensionalidad.
Equilibrar la retención de información con la eficiencia computacional.
Visualizar datos de alta dimensionalidad en espacios de menor dimensionalidad.

Al aprovechar esta métrica, los científicos de datos pueden tomar decisiones informadas sobre el equilibrio entre la compresión de datos y la preservación de la información en sus aplicaciones de PCA.

Ejemplo: Varianza Explicada en PCA

import numpy as np
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

# Generate some example data
np.random.seed(42)
n_samples = 1000
n_features = 50
X = np.random.randn(n_samples, n_features)

# Create a PCA instance
pca = PCA()

# Fit the PCA model to the data
X_pca = pca.fit_transform(X)

# Calculate the cumulative explained variance ratio
cumulative_variance_ratio = np.cumsum(pca.explained_variance_ratio_)

# Plot the cumulative explained variance
plt.figure(figsize=(10, 6))
plt.plot(range(1, len(cumulative_variance_ratio) + 1), cumulative_variance_ratio, 'bo-')
plt.xlabel('Number of Components')
plt.ylabel('Cumulative Explained Variance Ratio')
plt.title('Explained Variance Ratio vs. Number of Components')
plt.grid(True)

# Add a horizontal line at 95% explained variance
plt.axhline(y=0.95, color='r', linestyle='--')
plt.text(0, 0.96, '95% explained variance', color='r')

# Find the number of components needed to explain 95% of the variance
n_components_95 = np.argmax(cumulative_variance_ratio >= 0.95) + 1
plt.axvline(x=n_components_95, color='g', linestyle='--')
plt.text(n_components_95 + 1, 0.5, f'{n_components_95} components', color='g', rotation=90)

plt.tight_layout()
plt.show()

print(f"Number of components needed to explain 95% of variance: {n_components_95}")

# Perform PCA with the number of components that explain 95% of the variance
pca_95 = PCA(n_components=n_components_95)
X_pca_95 = pca_95.fit_transform(X)

print(f"Original data shape: {X.shape}")
print(f"Reduced data shape: {X_pca_95.shape}")

# Calculate and print the total explained variance ratio
total_variance_ratio = np.sum(pca_95.explained_variance_ratio_)
print(f"Total explained variance ratio: {total_variance_ratio:.4f}")

Este código demuestra un enfoque más completo para implementar el Análisis de Componentes Principales (PCA) utilizando Scikit-learn.

A continuación se presenta un desglose del código y sus funcionalidades:

Generación de Datos:
- Utilizamos NumPy para generar un conjunto de datos aleatorio con 1000 muestras y 50 características.
- La semilla aleatoria se establece para garantizar la reproducibilidad.
Implementación de PCA:
- Creamos una instancia de PCA sin especificar el número de componentes, lo que utilizará todos los componentes disponibles.
- El modelo PCA se ajusta a los datos, y luego los transforma.
Análisis de la Varianza Explicada:
- Calculamos la proporción acumulada de varianza explicada, que muestra cuánto de la varianza total es explicada por cada componente principal.
Visualización:
- Se crea una gráfica para visualizar la proporción acumulada de varianza explicada en función del número de componentes.
- Se añade una línea horizontal en el 95% de varianza explicada y una línea vertical en el número de componentes necesarios para alcanzar este umbral.
- Esta visualización ayuda a determinar el número óptimo de componentes a conservar.
Selección de Componentes:
- Encontramos el número de componentes necesarios para explicar el 95% de la varianza en los datos.
- Este número se imprime y se utiliza para el análisis posterior.
Reducción de Dimensionalidad:
- Se crea un nuevo modelo PCA con el número de componentes determinado en el paso anterior.
- Los datos se transforman utilizando este modelo, reduciendo efectivamente su dimensionalidad mientras se retiene el 95% de la varianza.
Análisis de Resultados:
- Imprimimos las formas de los conjuntos de datos originales y reducidos para mostrar el efecto de la reducción de dimensionalidad.
- Se calcula y se imprime la proporción total de varianza explicada, confirmando que hemos retenido al menos el 95% de la varianza original.

Este ejemplo integral no solo implementa PCA, sino que también demuestra cómo analizar los resultados, visualizar la varianza explicada y tomar decisiones informadas sobre el número de componentes a conservar. Proporciona un enfoque práctico para la reducción de dimensionalidad, asegurando que se preserve la mayor parte de la información importante en el conjunto de datos.

Confianza (t-SNE y UMAP)

Para técnicas no lineales de reducción de dimensionalidad como t-SNE (t-Distributed Stochastic Neighbor Embedding) y UMAP (Uniform Manifold Approximation and Projection), medimos la confianza de la transformación. La confianza es una métrica crucial que evalúa qué tan bien se preservan las relaciones locales en el espacio original de alta dimensionalidad en la representación de baja dimensionalidad.

El concepto de confianza es particularmente importante porque estas técnicas tienen como objetivo mantener la estructura de los datos mientras reducen su dimensionalidad. Un puntaje de confianza alto indica que la representación en baja dimensionalidad refleja con precisión la estructura de los datos originales, preservando las relaciones entre los puntos cercanos.

Aquí se explica con más detalle cómo funciona la confianza:

Preservación Local: La confianza se enfoca en qué tan bien se conserva el vecindario local de cada punto de datos después de la reducción de dimensionalidad. Mide si los puntos que estaban cerca en el espacio de alta dimensionalidad permanecen cerca en el espacio reducido.
Interpretación del Puntaje: El puntaje de confianza generalmente varía de 0 a 1, donde 1 indica una preservación perfecta de las relaciones locales, y los puntajes más bajos sugieren cierta distorsión en la estructura local.
Cálculo: El puntaje se calcula comparando los k-vecinos más cercanos de cada punto en ambos espacios, el original y el reducido. Penaliza situaciones donde puntos que no eran vecinos en el espacio original se convierten en vecinos en el espacio reducido.

Al usar la confianza como métrica de evaluación, los científicos de datos pueden asegurarse de que sus técnicas de reducción de dimensionalidad capturen de manera efectiva la estructura esencial de los datos, lo cual es crucial para las tareas subsecuentes de análisis, visualización o modelado.

Ejemplo: Confianza con Scikit-learn

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.manifold import trustworthiness
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris
import umap

# Load and standardize the Iris dataset
data = load_iris()
X = StandardScaler().fit_transform(data.data)

# Apply UMAP to reduce to 2 dimensions
umap_model = umap.UMAP(n_neighbors=15, min_dist=0.1, random_state=42)
X_umap = umap_model.fit_transform(X)

# Calculate trustworthiness
trust = trustworthiness(X, X_umap)
print(f"Trustworthiness of UMAP projection: {trust:.4f}")

# Visualize the UMAP projection
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_umap[:, 0], X_umap[:, 1], c=data.target, cmap='viridis')
plt.colorbar(scatter)
plt.title('UMAP projection of Iris dataset')
plt.xlabel('UMAP1')
plt.ylabel('UMAP2')
plt.show()

# Compare with PCA
from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# Calculate trustworthiness for PCA
trust_pca = trustworthiness(X, X_pca)
print(f"Trustworthiness of PCA projection: {trust_pca:.4f}")

# Visualize the PCA projection
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1], c=data.target, cmap='viridis')
plt.colorbar(scatter)
plt.title('PCA projection of Iris dataset')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

Este ejemplo de código demuestra el uso de UMAP para la reducción de dimensionalidad y visualización, junto con una comparación con PCA.

Desglosémoslo paso a paso:

Importar las librerías necesarias:
- numpy y pandas para la manipulación de datos.
- matplotlib para la visualización.
- sklearn para la preprocesamiento de datos, el cálculo de la confianza, y el conjunto de datos de Iris.
- umap para el algoritmo UMAP.
Cargar y preprocesar el conjunto de datos Iris:
- Utilizamos la función load_iris() de sklearn para obtener el conjunto de datos.
- Estandarizamos las características utilizando StandardScaler para asegurar que todas las características estén en la misma escala.
Aplicar UMAP:
- Creamos un modelo UMAP con parámetros específicos (n_neighbors=15, min_dist=0.1).
- Ajustamos y transformamos los datos para reducirlos a 2 dimensiones.
Calcular la confianza:
- Utilizamos la función trustworthiness de sklearn para medir qué tan bien se preserva la estructura local de los datos en el espacio de baja dimensionalidad.
Visualizar la proyección UMAP:
- Creamos un diagrama de dispersión de los datos reducidos por UMAP.
- Coloreamos los puntos en función de la variable objetivo (especies de iris).
- Añadimos una barra de color, un título y etiquetas de los ejes.
Comparar con PCA:
- Realizamos PCA para reducir los datos a 2 dimensiones.
- Calculamos la confianza para la proyección PCA.
- Visualizamos la proyección de PCA de forma similar a la visualización de UMAP.

Este ejemplo integral permite una comparación directa entre UMAP y PCA en términos tanto de las puntuaciones de confianza como de la representación visual. Demuestra cómo UMAP puede preservar más de la estructura de los datos en dimensiones más bajas, especialmente para conjuntos de datos con relaciones no lineales entre las características.

Las puntuaciones de confianza proporcionan una medida cuantitativa de qué tan bien cada método preserva los vecindarios locales del espacio de alta dimensionalidad en la proyección de baja dimensionalidad. Una puntuación más alta indica una mejor preservación de la estructura local.

Al visualizar ambas proyecciones, podemos ver cómo UMAP y PCA difieren en su representación de los datos. UMAP a menudo resulta en grupos más distintos, lo que puede ser particularmente útil para el análisis exploratorio de datos y las tareas de agrupamiento.

5.4.3 Técnicas de Validación de Agrupamiento con Verdades de Referencia

En el aprendizaje no supervisado, a veces tenemos acceso a etiquetas de verdad de referencia, aunque el proceso de aprendizaje en sí no las utilice. En tales casos, podemos evaluar los resultados de agrupamiento comparando los grupos predichos con estas etiquetas verdaderas. Esta comparación nos permite evaluar qué tan bien nuestro algoritmo no supervisado ha capturado la estructura subyacente de los datos. Dos métricas ampliamente utilizadas para este propósito son el Índice de Rand Ajustado (ARI) y la Información Mutua Normalizada (NMI).

El Índice de Rand Ajustado (ARI) es una medida de similitud entre dos agrupamientos de datos. Calcula la proporción de pares de puntos cuyos asignaciones de agrupamiento son consistentes entre las etiquetas de verdad y la salida del algoritmo. La parte "ajustada" de ARI proviene de su corrección por azar, lo que lo hace más robusto que el Índice de Rand simple. Los valores de ARI van de -1 a 1, donde 1 indica un acuerdo perfecto entre los dos agrupamientos, 0 representa una asignación aleatoria y los valores negativos indican menos acuerdo que el esperado por azar.

Por otro lado, la Información Mutua Normalizada (NMI) cuantifica la cantidad de información compartida entre los grupos predichos y las etiquetas verdaderas. Se basa en el concepto de información mutua de la teoría de la información, que mide cuánto el conocimiento de un agrupamiento reduce la incertidumbre sobre el otro. La normalización en NMI la hace menos sensible al número de grupos, permitiendo comparaciones más justas entre diferentes resultados de agrupamiento. Los valores de NMI van de 0 a 1, donde 1 indica una correlación perfecta entre los agrupamientos y 0 indica que no hay información mutua.

Ambas métricas proporcionan información valiosa sobre el rendimiento del agrupamiento, pero capturan aspectos ligeramente diferentes de la similitud entre agrupamientos. ARI se enfoca en las relaciones por pares, mientras que NMI considera la distribución general de los puntos entre los grupos. Utilizar ambas métricas puede proporcionar una evaluación más completa de los resultados de agrupamiento.

Índice de Rand Ajustado (ARI)

El Índice de Rand Ajustado (ARI) es una métrica sofisticada que se utiliza para evaluar la similitud entre las etiquetas verdaderas y los grupos predichos en los algoritmos de agrupamiento. Es una mejora del Índice de Rand simple, ofreciendo una medida más robusta al tener en cuenta los acuerdos por azar.

ARI funciona comparando todos los pares posibles de puntos de datos y verificando si son tratados de la misma manera (ya sea en el mismo grupo o en grupos diferentes) tanto en el etiquetado verdadero como en el agrupamiento predicho. El aspecto "ajustado" de ARI proviene de su corrección por la similitud esperada de agrupamientos aleatorios, lo que le da una ventaja sobre el Índice de Rand básico.

La fórmula para ARI se puede expresar como:

ARI = (RI - Expected_RI) / (max(RI) - Expected_RI)

Donde RI es el Índice de Rand, Expected_RI es el Índice de Rand esperado asumiendo asignaciones de grupos aleatorias, y max(RI) es el máximo Índice de Rand posible.

Los valores de ARI van de -1 a 1:

Una puntuación de 1 indica un acuerdo perfecto entre los dos agrupamientos.
Una puntuación de 0 sugiere que el agrupamiento no es mejor que aleatorio.
Valores negativos indican menos acuerdo que el esperado por azar.

Este índice es particularmente útil en escenarios donde el número de grupos en las etiquetas verdaderas y el agrupamiento predicho pueden diferir, lo que lo convierte en una herramienta versátil para la evaluación de agrupamientos en varios algoritmos y conjuntos de datos.

Ejemplo: ARI con Scikit-learn

import numpy as np
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score
import matplotlib.pyplot as plt

# Generate synthetic data
n_samples = 300
n_features = 2
n_clusters = 3
X, y_true = make_blobs(n_samples=n_samples, n_features=n_features, centers=n_clusters, random_state=42)

# Perform K-means clustering
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
y_pred = kmeans.fit_predict(X)

# Calculate ARI
ari_score = adjusted_rand_score(y_true, y_pred)
print(f"Adjusted Rand Index (ARI): {ari_score:.2f}")

# Calculate NMI
nmi_score = normalized_mutual_info_score(y_true, y_pred)
print(f"Normalized Mutual Information (NMI): {nmi_score:.2f}")

# Visualize the clusters
plt.figure(figsize=(10, 5))
plt.subplot(121)
plt.scatter(X[:, 0], X[:, 1], c=y_true, cmap='viridis', alpha=0.7)
plt.title('True Labels')
plt.subplot(122)
plt.scatter(X[:, 0], X[:, 1], c=y_pred, cmap='viridis', alpha=0.7)
plt.title('Predicted Labels')
plt.tight_layout()
plt.show()

Este ejemplo demuestra un enfoque integral para evaluar el rendimiento de un agrupamiento utilizando el Índice de Rand Ajustado (ARI) y la Información Mutua Normalizada (NMI).

Desglosémoslo paso a paso:

Importar las librerías necesarias:
- numpy para operaciones numéricas.
- sklearn.datasets para generar datos sintéticos.
- sklearn.cluster para el agrupamiento K-means.
- sklearn.metrics para los cálculos de ARI y NMI.
- matplotlib.pyplot para la visualización.
Generar datos sintéticos:
- Usamos make_blobs para crear un conjunto de datos con 300 muestras, 2 características y 3 grupos.
- Esto nos da tanto la matriz de características X como las etiquetas verdaderas y_true.
Realizar agrupamiento K-means:
- Inicializamos KMeans con 3 grupos.
- Utilizamos el método fit_predict para ajustar el modelo y predecir las etiquetas de los grupos.
Calcular las métricas de evaluación:
- ARI se calcula utilizando adjusted_rand_score(y_true, y_pred).
- NMI se calcula utilizando normalized_mutual_info_score(y_true, y_pred).
- Ambas métricas van de 0 a 1, donde 1 indica un acuerdo perfecto.
Visualizar los resultados:
- Creamos una gráfica comparativa lado a lado de las etiquetas verdaderas y las etiquetas predichas.
- Esta comparación visual ayuda a entender qué tan bien se ha desempeñado el algoritmo de agrupamiento.

El Índice de Rand Ajustado (ARI) mide la similitud entre dos agrupamientos, ajustando para tener en cuenta las coincidencias que se darían por azar. Un puntaje más cercano a 1 indica un mejor acuerdo entre las etiquetas verdaderas y las predichas.

La Información Mutua Normalizada (NMI) cuantifica la cantidad de información obtenida sobre un agrupamiento al observar el otro agrupamiento, normalizada para que los valores estén entre 0 y 1. Los valores más altos indican un mejor acuerdo entre los agrupamientos.

Al utilizar tanto ARI como NMI, obtenemos una evaluación más completa del rendimiento del agrupamiento, ya que capturan diferentes aspectos de la similitud entre los agrupamientos verdaderos y los predichos.

Información Mutua Normalizada (NMI)

La Información Mutua Normalizada (NMI) es una métrica sofisticada que cuantifica la cantidad de información compartida entre los grupos predichos y las etiquetas verdaderas en los algoritmos de agrupamiento. NMI se deriva de conceptos de la teoría de la información y proporciona una medida normalizada de la información mutua entre dos agrupamientos.

El cálculo de NMI implica los siguientes pasos:

Calcular la información mutua (MI) entre los grupos predichos y las etiquetas verdaderas.
Calcular la entropía de ambos, los grupos predichos y las etiquetas verdaderas.
Normalizar la MI usando las entropías.

La fórmula para NMI puede expresarse como:

NMI = MI(U, V) / sqrt(H(U) * H(V))

Donde:

MI(U, V) es la información mutua entre los agrupamientos U y V.
H(U) y H(V) son las entropías de U y V, respectivamente.

Los valores de NMI van de 0 a 1:

Un puntaje de 1 indica una correlación perfecta entre los agrupamientos.
Un puntaje de 0 sugiere que no hay información mutua entre los agrupamientos.

La normalización en NMI la hace menos sensible al número de grupos, permitiendo comparaciones más justas entre diferentes resultados de agrupamiento. Esta propiedad hace que NMI sea particularmente útil cuando se comparan algoritmos de agrupamiento que pueden producir diferentes números de grupos.

Ejemplo: NMI con Scikit-learn

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import normalized_mutual_info_score, adjusted_rand_score
from sklearn.cluster import KMeans

# Generate synthetic data
X, y = make_classification(n_samples=1000, n_features=20, n_classes=3, random_state=42)

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Perform K-means clustering
kmeans = KMeans(n_clusters=3, random_state=42)
cluster_labels = kmeans.fit_predict(X_test)

# Calculate NMI
nmi_score = normalized_mutual_info_score(y_test, cluster_labels)
print(f"Normalized Mutual Information (NMI): {nmi_score:.2f}")

# Calculate ARI for comparison
ari_score = adjusted_rand_score(y_test, cluster_labels)
print(f"Adjusted Rand Index (ARI): {ari_score:.2f}")

Este ejemplo de código muestra un enfoque integral para utilizar la Información Mutua Normalizada (NMI) en la evaluación del rendimiento de un agrupamiento.

Desglosémoslo paso a paso:

Importar las librerías necesarias:
- numpy para operaciones numéricas.
- make_classification de sklearn.datasets para generar datos sintéticos.
- train_test_split para dividir el conjunto de datos.
- normalized_mutual_info_score y adjusted_rand_score para las métricas de evaluación.
- KMeans para el agrupamiento.
Generar datos sintéticos:
- Creamos un conjunto de datos sintético con 1000 muestras, 20 características y 3 clases.
- Esto simula un escenario del mundo real en el que tenemos datos de alta dimensionalidad con múltiples clases.
Dividir los datos:
- Dividimos los datos en conjuntos de entrenamiento y prueba (80% para entrenamiento, 20% para prueba).
- Este paso es crucial para evaluar el rendimiento del agrupamiento en datos no vistos.
Realizar el agrupamiento K-means:
- Aplicamos agrupamiento K-means en el conjunto de prueba.
- El número de grupos se establece en 3, coincidiendo con el número de clases en nuestros datos sintéticos.
Calcular NMI:
- Utilizamos normalized_mutual_info_score para calcular la NMI entre las etiquetas verdaderas y las asignaciones de los grupos.
- La NMI varía de 0 a 1, donde 1 indica una correlación perfecta entre los agrupamientos.
Calcular ARI para la comparación:
- También calculamos el Índice de Rand Ajustado (ARI) como una métrica adicional.
- ARI proporciona una perspectiva diferente sobre la calidad del agrupamiento, complementando la NMI.
- ARI varía de -1 a 1, donde 1 indica un acuerdo perfecto entre los agrupamientos.

Este ejemplo muestra cómo usar NMI en un escenario práctico, demostrando su aplicación para evaluar los resultados de un agrupamiento. Al incluir ARI, proporcionamos una evaluación más completa del rendimiento del agrupamiento. Este enfoque permite una comprensión profunda de cómo el algoritmo de agrupamiento ha capturado la estructura subyacente de los datos.

Evaluar modelos de aprendizaje no supervisado es más complejo que en el aprendizaje supervisado, ya que no contamos con etiquetas predefinidas. Métricas como el Silhouette Score, el Índice de Davies-Bouldin y el Método del Codo ayudan a evaluar la calidad del agrupamiento.

Para la reducción de dimensionalidad, métricas como la varianza explicada en PCA y la confianza en t-SNE y UMAP proporcionan información sobre qué tan bien las dimensiones reducidas representan los datos originales. Cuando hay etiquetas de verdad disponibles, el Índice de Rand Ajustado y la Información Mutua Normalizada pueden usarse para comparar el rendimiento del agrupamiento con las etiquetas verdaderas.