Proyecto 3: Análisis de Comentarios de Clientes Usando Análisis de Sentimientos
6. Paso 4: Evaluación del Modelo
Evaluar el modelo entrenado en el conjunto de prueba para medir su rendimiento.
from sklearn.metrics import classification_report
# Predict on the evaluation set
predictions = trainer.predict(eval_dataset)
# Convert predictions to labels
predicted_labels = predictions.predictions.argmax(-1)
# Print classification report
print(classification_report(eval_dataset['label'], predicted_labels))Desglose del código:
1. Importación y Configuración
from sklearn.metrics import classification_reportEsto importa la herramienta de informe de clasificación de scikit-learn para evaluar el rendimiento del modelo.
2. Realizando Predicciones
predictions = trainer.predict(eval_dataset)
predicted_labels = predictions.predictions.argmax(-1)Este código:
- Utiliza el modelo entrenado para hacer predicciones sobre el conjunto de datos de evaluación
- Convierte las predicciones brutas en etiquetas de clase usando argmax (eligiendo la clase con la probabilidad más alta)
3. Evaluación
print(classification_report(eval_dataset['label'], predicted_labels))Esto genera un informe que compara las etiquetas verdaderas con las etiquetas predichas, mostrando métricas como precisión, exhaustividad y puntuación F1 para cada clase de sentimiento. Este paso de evaluación es crucial para entender qué tan bien funciona el modelo con datos no vistos antes de implementarlo para el análisis real de retroalimentación de clientes.
6. Paso 4: Evaluación del Modelo
Evaluar el modelo entrenado en el conjunto de prueba para medir su rendimiento.
from sklearn.metrics import classification_report
# Predict on the evaluation set
predictions = trainer.predict(eval_dataset)
# Convert predictions to labels
predicted_labels = predictions.predictions.argmax(-1)
# Print classification report
print(classification_report(eval_dataset['label'], predicted_labels))Desglose del código:
1. Importación y Configuración
from sklearn.metrics import classification_reportEsto importa la herramienta de informe de clasificación de scikit-learn para evaluar el rendimiento del modelo.
2. Realizando Predicciones
predictions = trainer.predict(eval_dataset)
predicted_labels = predictions.predictions.argmax(-1)Este código:
- Utiliza el modelo entrenado para hacer predicciones sobre el conjunto de datos de evaluación
- Convierte las predicciones brutas en etiquetas de clase usando argmax (eligiendo la clase con la probabilidad más alta)
3. Evaluación
print(classification_report(eval_dataset['label'], predicted_labels))Esto genera un informe que compara las etiquetas verdaderas con las etiquetas predichas, mostrando métricas como precisión, exhaustividad y puntuación F1 para cada clase de sentimiento. Este paso de evaluación es crucial para entender qué tan bien funciona el modelo con datos no vistos antes de implementarlo para el análisis real de retroalimentación de clientes.
6. Paso 4: Evaluación del Modelo
Evaluar el modelo entrenado en el conjunto de prueba para medir su rendimiento.
from sklearn.metrics import classification_report
# Predict on the evaluation set
predictions = trainer.predict(eval_dataset)
# Convert predictions to labels
predicted_labels = predictions.predictions.argmax(-1)
# Print classification report
print(classification_report(eval_dataset['label'], predicted_labels))Desglose del código:
1. Importación y Configuración
from sklearn.metrics import classification_reportEsto importa la herramienta de informe de clasificación de scikit-learn para evaluar el rendimiento del modelo.
2. Realizando Predicciones
predictions = trainer.predict(eval_dataset)
predicted_labels = predictions.predictions.argmax(-1)Este código:
- Utiliza el modelo entrenado para hacer predicciones sobre el conjunto de datos de evaluación
- Convierte las predicciones brutas en etiquetas de clase usando argmax (eligiendo la clase con la probabilidad más alta)
3. Evaluación
print(classification_report(eval_dataset['label'], predicted_labels))Esto genera un informe que compara las etiquetas verdaderas con las etiquetas predichas, mostrando métricas como precisión, exhaustividad y puntuación F1 para cada clase de sentimiento. Este paso de evaluación es crucial para entender qué tan bien funciona el modelo con datos no vistos antes de implementarlo para el análisis real de retroalimentación de clientes.
6. Paso 4: Evaluación del Modelo
Evaluar el modelo entrenado en el conjunto de prueba para medir su rendimiento.
from sklearn.metrics import classification_report
# Predict on the evaluation set
predictions = trainer.predict(eval_dataset)
# Convert predictions to labels
predicted_labels = predictions.predictions.argmax(-1)
# Print classification report
print(classification_report(eval_dataset['label'], predicted_labels))Desglose del código:
1. Importación y Configuración
from sklearn.metrics import classification_reportEsto importa la herramienta de informe de clasificación de scikit-learn para evaluar el rendimiento del modelo.
2. Realizando Predicciones
predictions = trainer.predict(eval_dataset)
predicted_labels = predictions.predictions.argmax(-1)Este código:
- Utiliza el modelo entrenado para hacer predicciones sobre el conjunto de datos de evaluación
- Convierte las predicciones brutas en etiquetas de clase usando argmax (eligiendo la clase con la probabilidad más alta)
3. Evaluación
print(classification_report(eval_dataset['label'], predicted_labels))Esto genera un informe que compara las etiquetas verdaderas con las etiquetas predichas, mostrando métricas como precisión, exhaustividad y puntuación F1 para cada clase de sentimiento. Este paso de evaluación es crucial para entender qué tan bien funciona el modelo con datos no vistos antes de implementarlo para el análisis real de retroalimentación de clientes.