Proyecto 1: Predicción del Precio de la Casa con Ingeniería de Características
1. Exploración y Limpieza de Características
Bienvenido al primer proyecto de esta sección, en el cual nos enfocaremos en aplicar técnicas de ingeniería de características para construir un modelo predictivo de precios de viviendas. En este proyecto, trabajarás con un conjunto de datos que contiene varias características de las viviendas, como ubicación, tamaño, número de habitaciones y otras características, y utilizarás esta información para predecir el precio de venta de cada propiedad.
Aunque construir modelos de machine learning es fundamental, la ingeniería de características es lo que a menudo marca la diferencia entre un buen modelo y un excelente modelo. Se trata de crear nuevas características significativas a partir de datos en bruto y transformar las características existentes para capturar patrones importantes. En este proyecto, explorarás una variedad de técnicas de ingeniería de características que te ayudarán a descubrir información oculta en los datos y a mejorar la precisión de tu modelo.
Comencemos explorando el conjunto de datos e identificando las características clave, seguidas de análisis detallados de las diversas técnicas de ingeniería de características que aumentarán el poder predictivo de tu modelo.
Descripción del Conjunto de Datos: Precios de Viviendas
El conjunto de datos con el que trabajaremos contiene varias columnas que representan características de las viviendas, tales como:
- Metros cuadrados de la casa
- Número de dormitorios
- Número de baños
- Tamaño del terreno
- Año de construcción
- Ubicación (código postal)
Nuestro objetivo es predecir la variable objetivo, SalePrice (precio de venta), en función de estas características. Sin embargo, antes de construir un modelo, necesitamos asegurarnos de que los datos estén en las mejores condiciones posibles mediante la limpieza, transformación y creación de características.
El primer paso en cualquier tarea de análisis de datos es comprender a fondo el conjunto de datos y prepararlo para el modelado. Esta fase crucial involucra varios componentes clave:
- Exploración de Datos: Examinar la estructura, el contenido y las características del conjunto de datos. Esto incluye observar el número y tipo de características, el rango de valores y cualquier patrón o anomalía en los datos.
- Identificación de Valores Faltantes: Evaluar la extensión y naturaleza de los datos faltantes. Este paso es crítico, ya que los valores faltantes pueden afectar significativamente el rendimiento del modelo y llevar a resultados sesgados si no se manejan adecuadamente.
- Manejo de Valores Atípicos: Detectar y abordar valores extremos que podrían sesgar el análisis. Los valores atípicos pueden representar anomalías genuinas en los datos o errores que necesitan corrección.
- Evaluación de la Calidad de los Datos: Evaluar la calidad y confiabilidad general de los datos, incluyendo la verificación de inconsistencias, duplicados o problemas de formato.
- Análisis Inicial de Características: Comenzar a identificar características potencialmente importantes y sus relaciones con la variable objetivo (en este caso, los precios de las viviendas).
Al realizar estos pasos meticulosamente, establecemos una base sólida para las etapas posteriores de ingeniería de características y desarrollo del modelo, asegurando que nuestro análisis se base en datos limpios, confiables y bien comprendidos.
Paso 1: Cargar y Explorar los Datos
Comencemos cargando el conjunto de datos y observando las primeras filas para familiarizarnos con los datos.
Ejemplo de Código: Carga del Conjunto de Datos
import pandas as pd
# Load the house price dataset
df = pd.read_csv('house_prices.csv')
# View the first few rows of the dataset
print(df.head())Después de cargar el conjunto de datos, verás varias columnas que representan diferentes características de las viviendas, incluida la variable objetivo, SalePrice. Este es un paso crucial para familiarizarte con la estructura de los datos, ya que ayuda a identificar cualquier problema que deba abordarse.
Paso 2: Manejo de Valores Faltantes
Los conjuntos de datos del mundo real a menudo contienen valores faltantes, los cuales pueden distorsionar significativamente los resultados de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores faltantes en columnas críticas como LotSize o YearBuilt pueden tener un impacto sustancial en la precisión de tus predicciones.
Por ejemplo, un valor faltante en LotSize podría llevar a subestimar o sobrestimar el valor de una propiedad, ya que el tamaño del terreno es a menudo un factor crucial en la determinación de los precios de las viviendas. De manera similar, un valor faltante en YearBuilt podría ocultar información importante sobre la antigüedad de la vivienda, que típicamente se correlaciona con su condición y valor de mercado.
Además, la forma en que manejas estos valores faltantes puede introducir sesgo en tu modelo. Por ejemplo, simplemente eliminar todas las filas con valores faltantes podría llevar a la pérdida de datos valiosos y potencialmente sesgar tu conjunto de datos hacia ciertos tipos de propiedades.
Por otro lado, imputar valores faltantes con promedios o medianas podría no representar con precisión la verdadera distribución de los datos. Por lo tanto, es crucial considerar cuidadosamente la naturaleza de cada característica y elegir estrategias apropiadas para manejar los valores faltantes, como el uso de técnicas de imputación más sofisticadas o la creación de variables indicadoras para señalar dónde faltaban datos.
Ejemplo de Código: Manejo de Valores Faltantes
# Check for missing values in the dataset
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])
# Example: Fill missing LotSize values with the median
df['LotSize'].fillna(df['LotSize'].median(), inplace=True)
# Example: Drop rows with missing values in critical columns like SalePrice
df.dropna(subset=['SalePrice'], inplace=True)En este ejemplo:
- Primero verificamos los valores faltantes en el conjunto de datos y decidimos cómo manejarlos.
- Para columnas numéricas como LotSize, llenar los valores faltantes con la mediana es una buena estrategia, ya que la mediana es menos sensible a los valores atípicos en comparación con la media.
- Para columnas críticas como SalePrice (nuestra variable objetivo), a menudo es mejor eliminar las filas con valores faltantes, ya que imputar valores para la variable objetivo podría introducir sesgo.
Paso 3: Manejo de Valores Atípicos
Los valores atípicos son puntos de datos que se desvían significativamente de otras observaciones y pueden tener un impacto sustancial en el rendimiento de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores atípicos pueden surgir de varias fuentes y manifestarse de diferentes maneras:
- Valores Extremos: Un SalePrice excepcionalmente alto o un LotSize inusualmente grande podría sesgar la distribución general y llevar a predicciones sesgadas.
- Errores de Entrada de Datos: A veces, los valores atípicos resultan de simples errores de entrada de datos, como un cero extra agregado al precio o al metraje cuadrado.
- Propiedades Únicas: Casas de lujo o propiedades con características especiales podrían tener valores que aparezcan como atípicos en comparación con el mercado general de viviendas.
- Factores Temporales: Las viviendas vendidas durante épocas de auge o crisis económica podrían tener precios que parezcan atípicos cuando se observan en un marco temporal más amplio.
Identificar y manejar los valores atípicos requiere una consideración cuidadosa. Si bien eliminarlos puede mejorar el rendimiento del modelo, es crucial comprender la naturaleza de estos valores atípicos antes de decidir qué acción tomar. En algunos casos, los valores atípicos pueden contener información valiosa sobre las tendencias del mercado o características únicas de las propiedades que podrían ser beneficiosas para que tu modelo las aprenda.
Ejemplo de Código: Identificación y Manejo de Valores Atípicos
import numpy as np
# Identify outliers using the interquartile range (IQR) method
Q1 = df['SalePrice'].quantile(0.25)
Q3 = df['SalePrice'].quantile(0.75)
IQR = Q3 - Q1
# Define a threshold to identify outliers
outliers = df[(df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR))]
print(f"Number of outliers in SalePrice: {len(outliers)}")
# Remove the outliers
df = df[~((df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR)))]Aquí utilizamos el método del Rango Intercuartílico (IQR) para detectar valores atípicos en la columna SalePrice. El IQR es el rango entre el primer cuartil (Q1) y el tercer cuartil (Q3) de los datos. Los puntos de datos que se encuentran fuera de 1.5 veces el IQR desde Q1 o Q3 se consideran valores atípicos. Luego, eliminamos estos valores atípicos para evitar que distorsionen las predicciones del modelo.
Paso 4: Correlación de Características
Antes de sumergirnos en la ingeniería de características, es fundamental entender las relaciones complejas entre las características y la variable objetivo, SalePrice. El análisis de correlación es una herramienta poderosa en este proceso, ya que nos permite descubrir patrones y asociaciones ocultas en los datos. Al examinar estas correlaciones, podemos identificar qué características tienen el mayor impacto en los precios de las viviendas, proporcionando información valiosa que guiará nuestros esfuerzos de ingeniería de características.
Este análisis va más allá de las relaciones lineales simples. Nos ayuda a detectar interacciones complejas entre variables, revelando cómo diferentes características pueden trabajar juntas para influir en el valor de la propiedad. Por ejemplo, podríamos descubrir que la combinación de ubicación y tamaño de la casa tiene un impacto más significativo en el precio que cualquiera de estas características por sí sola. Estos conocimientos son invaluables al decidir qué características transformar o combinar en nuestro proceso de ingeniería.
Además, el análisis de correlación puede resaltar características redundantes o menos importantes, permitiéndonos simplificar nuestro conjunto de datos y concentrarnos en las variables más impactantes. Esto no solo mejora la eficiencia de nuestro modelo, sino que también ayuda a prevenir el sobreajuste al reducir el ruido en los datos. Al aprovechar estas correlaciones, podemos tomar decisiones informadas sobre la selección, transformación y creación de características, mejorando en última instancia el poder predictivo de nuestro modelo de precios de viviendas.
Ejemplo de Código: Análisis de Correlación
import seaborn as sns
import matplotlib.pyplot as plt
# Calculate the correlation matrix
correlation_matrix = df.corr()
# Visualize the correlation matrix using a heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.show()
# Focus on the correlation of each feature with SalePrice
print(correlation_matrix['SalePrice'].sort_values(ascending=False))En este ejemplo:
- Se importan las bibliotecas necesarias: seaborn para visualización y matplotlib para gráficos.
- Se calcula la matriz de correlación usando
df.corr(), que computa las correlaciones por pares entre todas las columnas numéricas del DataFrame. - Se crea un mapa de calor de la matriz de correlación usando la función
heatmapde seaborn. Esto proporciona una representación visual de cómo se correlacionan diferentes características entre sí. - El mapa de calor se personaliza con anotaciones (
annot=True) para mostrar los valores de correlación y usa un esquema de colores (cmap='coolwarm') para representar la intensidad de la correlación. - Finalmente, se imprime la correlación de cada característica con la columna 'SalePrice', ordenada en orden descendente. Esto ayuda a identificar qué características tienen las correlaciones más fuertes, positivas o negativas, con los precios de las viviendas.
Este análisis es crucial para entender las relaciones entre características y puede guiar los esfuerzos de ingeniería de características en el modelo de predicción de precios de viviendas.
Conclusiones Clave
- La limpieza y preparación de datos forman la base de cualquier proyecto exitoso de machine learning. El manejo meticuloso de valores faltantes, el tratamiento de valores atípicos y la garantía de calidad de los datos no solo mejoran la confiabilidad de tu conjunto de datos, sino que también establecen una base sólida para un modelado preciso. Este paso crucial puede impactar significativamente en el rendimiento y la capacidad de generalización de tus modelos predictivos.
- El análisis de correlación sirve como una herramienta poderosa para obtener una comprensión más profunda de las relaciones intrincadas entre las características y la variable objetivo. Al examinar estas correlaciones, puedes descubrir patrones y asociaciones ocultas en los datos, orientando tus decisiones sobre qué características transformar, combinar o crear. Este análisis ayuda a priorizar las variables más influyentes e identificar problemas de multicolinealidad potenciales.
- Esta etapa inicial de exploración y preparación de datos sienta las bases para técnicas de ingeniería de características más sofisticadas. Proporciona el contexto y la comprensión necesarios para implementar eficazmente métodos avanzados como la creación de términos de interacción para capturar relaciones complejas, la codificación de variables categóricas para hacerlas adecuadas para algoritmos de machine learning, y la aplicación de transformaciones matemáticas a las características numéricas para captar mejor sus distribuciones subyacentes y sus relaciones con la variable objetivo.
1. Exploración y Limpieza de Características
Bienvenido al primer proyecto de esta sección, en el cual nos enfocaremos en aplicar técnicas de ingeniería de características para construir un modelo predictivo de precios de viviendas. En este proyecto, trabajarás con un conjunto de datos que contiene varias características de las viviendas, como ubicación, tamaño, número de habitaciones y otras características, y utilizarás esta información para predecir el precio de venta de cada propiedad.
Aunque construir modelos de machine learning es fundamental, la ingeniería de características es lo que a menudo marca la diferencia entre un buen modelo y un excelente modelo. Se trata de crear nuevas características significativas a partir de datos en bruto y transformar las características existentes para capturar patrones importantes. En este proyecto, explorarás una variedad de técnicas de ingeniería de características que te ayudarán a descubrir información oculta en los datos y a mejorar la precisión de tu modelo.
Comencemos explorando el conjunto de datos e identificando las características clave, seguidas de análisis detallados de las diversas técnicas de ingeniería de características que aumentarán el poder predictivo de tu modelo.
Descripción del Conjunto de Datos: Precios de Viviendas
El conjunto de datos con el que trabajaremos contiene varias columnas que representan características de las viviendas, tales como:
- Metros cuadrados de la casa
- Número de dormitorios
- Número de baños
- Tamaño del terreno
- Año de construcción
- Ubicación (código postal)
Nuestro objetivo es predecir la variable objetivo, SalePrice (precio de venta), en función de estas características. Sin embargo, antes de construir un modelo, necesitamos asegurarnos de que los datos estén en las mejores condiciones posibles mediante la limpieza, transformación y creación de características.
El primer paso en cualquier tarea de análisis de datos es comprender a fondo el conjunto de datos y prepararlo para el modelado. Esta fase crucial involucra varios componentes clave:
- Exploración de Datos: Examinar la estructura, el contenido y las características del conjunto de datos. Esto incluye observar el número y tipo de características, el rango de valores y cualquier patrón o anomalía en los datos.
- Identificación de Valores Faltantes: Evaluar la extensión y naturaleza de los datos faltantes. Este paso es crítico, ya que los valores faltantes pueden afectar significativamente el rendimiento del modelo y llevar a resultados sesgados si no se manejan adecuadamente.
- Manejo de Valores Atípicos: Detectar y abordar valores extremos que podrían sesgar el análisis. Los valores atípicos pueden representar anomalías genuinas en los datos o errores que necesitan corrección.
- Evaluación de la Calidad de los Datos: Evaluar la calidad y confiabilidad general de los datos, incluyendo la verificación de inconsistencias, duplicados o problemas de formato.
- Análisis Inicial de Características: Comenzar a identificar características potencialmente importantes y sus relaciones con la variable objetivo (en este caso, los precios de las viviendas).
Al realizar estos pasos meticulosamente, establecemos una base sólida para las etapas posteriores de ingeniería de características y desarrollo del modelo, asegurando que nuestro análisis se base en datos limpios, confiables y bien comprendidos.
Paso 1: Cargar y Explorar los Datos
Comencemos cargando el conjunto de datos y observando las primeras filas para familiarizarnos con los datos.
Ejemplo de Código: Carga del Conjunto de Datos
import pandas as pd
# Load the house price dataset
df = pd.read_csv('house_prices.csv')
# View the first few rows of the dataset
print(df.head())Después de cargar el conjunto de datos, verás varias columnas que representan diferentes características de las viviendas, incluida la variable objetivo, SalePrice. Este es un paso crucial para familiarizarte con la estructura de los datos, ya que ayuda a identificar cualquier problema que deba abordarse.
Paso 2: Manejo de Valores Faltantes
Los conjuntos de datos del mundo real a menudo contienen valores faltantes, los cuales pueden distorsionar significativamente los resultados de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores faltantes en columnas críticas como LotSize o YearBuilt pueden tener un impacto sustancial en la precisión de tus predicciones.
Por ejemplo, un valor faltante en LotSize podría llevar a subestimar o sobrestimar el valor de una propiedad, ya que el tamaño del terreno es a menudo un factor crucial en la determinación de los precios de las viviendas. De manera similar, un valor faltante en YearBuilt podría ocultar información importante sobre la antigüedad de la vivienda, que típicamente se correlaciona con su condición y valor de mercado.
Además, la forma en que manejas estos valores faltantes puede introducir sesgo en tu modelo. Por ejemplo, simplemente eliminar todas las filas con valores faltantes podría llevar a la pérdida de datos valiosos y potencialmente sesgar tu conjunto de datos hacia ciertos tipos de propiedades.
Por otro lado, imputar valores faltantes con promedios o medianas podría no representar con precisión la verdadera distribución de los datos. Por lo tanto, es crucial considerar cuidadosamente la naturaleza de cada característica y elegir estrategias apropiadas para manejar los valores faltantes, como el uso de técnicas de imputación más sofisticadas o la creación de variables indicadoras para señalar dónde faltaban datos.
Ejemplo de Código: Manejo de Valores Faltantes
# Check for missing values in the dataset
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])
# Example: Fill missing LotSize values with the median
df['LotSize'].fillna(df['LotSize'].median(), inplace=True)
# Example: Drop rows with missing values in critical columns like SalePrice
df.dropna(subset=['SalePrice'], inplace=True)En este ejemplo:
- Primero verificamos los valores faltantes en el conjunto de datos y decidimos cómo manejarlos.
- Para columnas numéricas como LotSize, llenar los valores faltantes con la mediana es una buena estrategia, ya que la mediana es menos sensible a los valores atípicos en comparación con la media.
- Para columnas críticas como SalePrice (nuestra variable objetivo), a menudo es mejor eliminar las filas con valores faltantes, ya que imputar valores para la variable objetivo podría introducir sesgo.
Paso 3: Manejo de Valores Atípicos
Los valores atípicos son puntos de datos que se desvían significativamente de otras observaciones y pueden tener un impacto sustancial en el rendimiento de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores atípicos pueden surgir de varias fuentes y manifestarse de diferentes maneras:
- Valores Extremos: Un SalePrice excepcionalmente alto o un LotSize inusualmente grande podría sesgar la distribución general y llevar a predicciones sesgadas.
- Errores de Entrada de Datos: A veces, los valores atípicos resultan de simples errores de entrada de datos, como un cero extra agregado al precio o al metraje cuadrado.
- Propiedades Únicas: Casas de lujo o propiedades con características especiales podrían tener valores que aparezcan como atípicos en comparación con el mercado general de viviendas.
- Factores Temporales: Las viviendas vendidas durante épocas de auge o crisis económica podrían tener precios que parezcan atípicos cuando se observan en un marco temporal más amplio.
Identificar y manejar los valores atípicos requiere una consideración cuidadosa. Si bien eliminarlos puede mejorar el rendimiento del modelo, es crucial comprender la naturaleza de estos valores atípicos antes de decidir qué acción tomar. En algunos casos, los valores atípicos pueden contener información valiosa sobre las tendencias del mercado o características únicas de las propiedades que podrían ser beneficiosas para que tu modelo las aprenda.
Ejemplo de Código: Identificación y Manejo de Valores Atípicos
import numpy as np
# Identify outliers using the interquartile range (IQR) method
Q1 = df['SalePrice'].quantile(0.25)
Q3 = df['SalePrice'].quantile(0.75)
IQR = Q3 - Q1
# Define a threshold to identify outliers
outliers = df[(df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR))]
print(f"Number of outliers in SalePrice: {len(outliers)}")
# Remove the outliers
df = df[~((df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR)))]Aquí utilizamos el método del Rango Intercuartílico (IQR) para detectar valores atípicos en la columna SalePrice. El IQR es el rango entre el primer cuartil (Q1) y el tercer cuartil (Q3) de los datos. Los puntos de datos que se encuentran fuera de 1.5 veces el IQR desde Q1 o Q3 se consideran valores atípicos. Luego, eliminamos estos valores atípicos para evitar que distorsionen las predicciones del modelo.
Paso 4: Correlación de Características
Antes de sumergirnos en la ingeniería de características, es fundamental entender las relaciones complejas entre las características y la variable objetivo, SalePrice. El análisis de correlación es una herramienta poderosa en este proceso, ya que nos permite descubrir patrones y asociaciones ocultas en los datos. Al examinar estas correlaciones, podemos identificar qué características tienen el mayor impacto en los precios de las viviendas, proporcionando información valiosa que guiará nuestros esfuerzos de ingeniería de características.
Este análisis va más allá de las relaciones lineales simples. Nos ayuda a detectar interacciones complejas entre variables, revelando cómo diferentes características pueden trabajar juntas para influir en el valor de la propiedad. Por ejemplo, podríamos descubrir que la combinación de ubicación y tamaño de la casa tiene un impacto más significativo en el precio que cualquiera de estas características por sí sola. Estos conocimientos son invaluables al decidir qué características transformar o combinar en nuestro proceso de ingeniería.
Además, el análisis de correlación puede resaltar características redundantes o menos importantes, permitiéndonos simplificar nuestro conjunto de datos y concentrarnos en las variables más impactantes. Esto no solo mejora la eficiencia de nuestro modelo, sino que también ayuda a prevenir el sobreajuste al reducir el ruido en los datos. Al aprovechar estas correlaciones, podemos tomar decisiones informadas sobre la selección, transformación y creación de características, mejorando en última instancia el poder predictivo de nuestro modelo de precios de viviendas.
Ejemplo de Código: Análisis de Correlación
import seaborn as sns
import matplotlib.pyplot as plt
# Calculate the correlation matrix
correlation_matrix = df.corr()
# Visualize the correlation matrix using a heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.show()
# Focus on the correlation of each feature with SalePrice
print(correlation_matrix['SalePrice'].sort_values(ascending=False))En este ejemplo:
- Se importan las bibliotecas necesarias: seaborn para visualización y matplotlib para gráficos.
- Se calcula la matriz de correlación usando
df.corr(), que computa las correlaciones por pares entre todas las columnas numéricas del DataFrame. - Se crea un mapa de calor de la matriz de correlación usando la función
heatmapde seaborn. Esto proporciona una representación visual de cómo se correlacionan diferentes características entre sí. - El mapa de calor se personaliza con anotaciones (
annot=True) para mostrar los valores de correlación y usa un esquema de colores (cmap='coolwarm') para representar la intensidad de la correlación. - Finalmente, se imprime la correlación de cada característica con la columna 'SalePrice', ordenada en orden descendente. Esto ayuda a identificar qué características tienen las correlaciones más fuertes, positivas o negativas, con los precios de las viviendas.
Este análisis es crucial para entender las relaciones entre características y puede guiar los esfuerzos de ingeniería de características en el modelo de predicción de precios de viviendas.
Conclusiones Clave
- La limpieza y preparación de datos forman la base de cualquier proyecto exitoso de machine learning. El manejo meticuloso de valores faltantes, el tratamiento de valores atípicos y la garantía de calidad de los datos no solo mejoran la confiabilidad de tu conjunto de datos, sino que también establecen una base sólida para un modelado preciso. Este paso crucial puede impactar significativamente en el rendimiento y la capacidad de generalización de tus modelos predictivos.
- El análisis de correlación sirve como una herramienta poderosa para obtener una comprensión más profunda de las relaciones intrincadas entre las características y la variable objetivo. Al examinar estas correlaciones, puedes descubrir patrones y asociaciones ocultas en los datos, orientando tus decisiones sobre qué características transformar, combinar o crear. Este análisis ayuda a priorizar las variables más influyentes e identificar problemas de multicolinealidad potenciales.
- Esta etapa inicial de exploración y preparación de datos sienta las bases para técnicas de ingeniería de características más sofisticadas. Proporciona el contexto y la comprensión necesarios para implementar eficazmente métodos avanzados como la creación de términos de interacción para capturar relaciones complejas, la codificación de variables categóricas para hacerlas adecuadas para algoritmos de machine learning, y la aplicación de transformaciones matemáticas a las características numéricas para captar mejor sus distribuciones subyacentes y sus relaciones con la variable objetivo.
1. Exploración y Limpieza de Características
Bienvenido al primer proyecto de esta sección, en el cual nos enfocaremos en aplicar técnicas de ingeniería de características para construir un modelo predictivo de precios de viviendas. En este proyecto, trabajarás con un conjunto de datos que contiene varias características de las viviendas, como ubicación, tamaño, número de habitaciones y otras características, y utilizarás esta información para predecir el precio de venta de cada propiedad.
Aunque construir modelos de machine learning es fundamental, la ingeniería de características es lo que a menudo marca la diferencia entre un buen modelo y un excelente modelo. Se trata de crear nuevas características significativas a partir de datos en bruto y transformar las características existentes para capturar patrones importantes. En este proyecto, explorarás una variedad de técnicas de ingeniería de características que te ayudarán a descubrir información oculta en los datos y a mejorar la precisión de tu modelo.
Comencemos explorando el conjunto de datos e identificando las características clave, seguidas de análisis detallados de las diversas técnicas de ingeniería de características que aumentarán el poder predictivo de tu modelo.
Descripción del Conjunto de Datos: Precios de Viviendas
El conjunto de datos con el que trabajaremos contiene varias columnas que representan características de las viviendas, tales como:
- Metros cuadrados de la casa
- Número de dormitorios
- Número de baños
- Tamaño del terreno
- Año de construcción
- Ubicación (código postal)
Nuestro objetivo es predecir la variable objetivo, SalePrice (precio de venta), en función de estas características. Sin embargo, antes de construir un modelo, necesitamos asegurarnos de que los datos estén en las mejores condiciones posibles mediante la limpieza, transformación y creación de características.
El primer paso en cualquier tarea de análisis de datos es comprender a fondo el conjunto de datos y prepararlo para el modelado. Esta fase crucial involucra varios componentes clave:
- Exploración de Datos: Examinar la estructura, el contenido y las características del conjunto de datos. Esto incluye observar el número y tipo de características, el rango de valores y cualquier patrón o anomalía en los datos.
- Identificación de Valores Faltantes: Evaluar la extensión y naturaleza de los datos faltantes. Este paso es crítico, ya que los valores faltantes pueden afectar significativamente el rendimiento del modelo y llevar a resultados sesgados si no se manejan adecuadamente.
- Manejo de Valores Atípicos: Detectar y abordar valores extremos que podrían sesgar el análisis. Los valores atípicos pueden representar anomalías genuinas en los datos o errores que necesitan corrección.
- Evaluación de la Calidad de los Datos: Evaluar la calidad y confiabilidad general de los datos, incluyendo la verificación de inconsistencias, duplicados o problemas de formato.
- Análisis Inicial de Características: Comenzar a identificar características potencialmente importantes y sus relaciones con la variable objetivo (en este caso, los precios de las viviendas).
Al realizar estos pasos meticulosamente, establecemos una base sólida para las etapas posteriores de ingeniería de características y desarrollo del modelo, asegurando que nuestro análisis se base en datos limpios, confiables y bien comprendidos.
Paso 1: Cargar y Explorar los Datos
Comencemos cargando el conjunto de datos y observando las primeras filas para familiarizarnos con los datos.
Ejemplo de Código: Carga del Conjunto de Datos
import pandas as pd
# Load the house price dataset
df = pd.read_csv('house_prices.csv')
# View the first few rows of the dataset
print(df.head())Después de cargar el conjunto de datos, verás varias columnas que representan diferentes características de las viviendas, incluida la variable objetivo, SalePrice. Este es un paso crucial para familiarizarte con la estructura de los datos, ya que ayuda a identificar cualquier problema que deba abordarse.
Paso 2: Manejo de Valores Faltantes
Los conjuntos de datos del mundo real a menudo contienen valores faltantes, los cuales pueden distorsionar significativamente los resultados de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores faltantes en columnas críticas como LotSize o YearBuilt pueden tener un impacto sustancial en la precisión de tus predicciones.
Por ejemplo, un valor faltante en LotSize podría llevar a subestimar o sobrestimar el valor de una propiedad, ya que el tamaño del terreno es a menudo un factor crucial en la determinación de los precios de las viviendas. De manera similar, un valor faltante en YearBuilt podría ocultar información importante sobre la antigüedad de la vivienda, que típicamente se correlaciona con su condición y valor de mercado.
Además, la forma en que manejas estos valores faltantes puede introducir sesgo en tu modelo. Por ejemplo, simplemente eliminar todas las filas con valores faltantes podría llevar a la pérdida de datos valiosos y potencialmente sesgar tu conjunto de datos hacia ciertos tipos de propiedades.
Por otro lado, imputar valores faltantes con promedios o medianas podría no representar con precisión la verdadera distribución de los datos. Por lo tanto, es crucial considerar cuidadosamente la naturaleza de cada característica y elegir estrategias apropiadas para manejar los valores faltantes, como el uso de técnicas de imputación más sofisticadas o la creación de variables indicadoras para señalar dónde faltaban datos.
Ejemplo de Código: Manejo de Valores Faltantes
# Check for missing values in the dataset
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])
# Example: Fill missing LotSize values with the median
df['LotSize'].fillna(df['LotSize'].median(), inplace=True)
# Example: Drop rows with missing values in critical columns like SalePrice
df.dropna(subset=['SalePrice'], inplace=True)En este ejemplo:
- Primero verificamos los valores faltantes en el conjunto de datos y decidimos cómo manejarlos.
- Para columnas numéricas como LotSize, llenar los valores faltantes con la mediana es una buena estrategia, ya que la mediana es menos sensible a los valores atípicos en comparación con la media.
- Para columnas críticas como SalePrice (nuestra variable objetivo), a menudo es mejor eliminar las filas con valores faltantes, ya que imputar valores para la variable objetivo podría introducir sesgo.
Paso 3: Manejo de Valores Atípicos
Los valores atípicos son puntos de datos que se desvían significativamente de otras observaciones y pueden tener un impacto sustancial en el rendimiento de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores atípicos pueden surgir de varias fuentes y manifestarse de diferentes maneras:
- Valores Extremos: Un SalePrice excepcionalmente alto o un LotSize inusualmente grande podría sesgar la distribución general y llevar a predicciones sesgadas.
- Errores de Entrada de Datos: A veces, los valores atípicos resultan de simples errores de entrada de datos, como un cero extra agregado al precio o al metraje cuadrado.
- Propiedades Únicas: Casas de lujo o propiedades con características especiales podrían tener valores que aparezcan como atípicos en comparación con el mercado general de viviendas.
- Factores Temporales: Las viviendas vendidas durante épocas de auge o crisis económica podrían tener precios que parezcan atípicos cuando se observan en un marco temporal más amplio.
Identificar y manejar los valores atípicos requiere una consideración cuidadosa. Si bien eliminarlos puede mejorar el rendimiento del modelo, es crucial comprender la naturaleza de estos valores atípicos antes de decidir qué acción tomar. En algunos casos, los valores atípicos pueden contener información valiosa sobre las tendencias del mercado o características únicas de las propiedades que podrían ser beneficiosas para que tu modelo las aprenda.
Ejemplo de Código: Identificación y Manejo de Valores Atípicos
import numpy as np
# Identify outliers using the interquartile range (IQR) method
Q1 = df['SalePrice'].quantile(0.25)
Q3 = df['SalePrice'].quantile(0.75)
IQR = Q3 - Q1
# Define a threshold to identify outliers
outliers = df[(df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR))]
print(f"Number of outliers in SalePrice: {len(outliers)}")
# Remove the outliers
df = df[~((df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR)))]Aquí utilizamos el método del Rango Intercuartílico (IQR) para detectar valores atípicos en la columna SalePrice. El IQR es el rango entre el primer cuartil (Q1) y el tercer cuartil (Q3) de los datos. Los puntos de datos que se encuentran fuera de 1.5 veces el IQR desde Q1 o Q3 se consideran valores atípicos. Luego, eliminamos estos valores atípicos para evitar que distorsionen las predicciones del modelo.
Paso 4: Correlación de Características
Antes de sumergirnos en la ingeniería de características, es fundamental entender las relaciones complejas entre las características y la variable objetivo, SalePrice. El análisis de correlación es una herramienta poderosa en este proceso, ya que nos permite descubrir patrones y asociaciones ocultas en los datos. Al examinar estas correlaciones, podemos identificar qué características tienen el mayor impacto en los precios de las viviendas, proporcionando información valiosa que guiará nuestros esfuerzos de ingeniería de características.
Este análisis va más allá de las relaciones lineales simples. Nos ayuda a detectar interacciones complejas entre variables, revelando cómo diferentes características pueden trabajar juntas para influir en el valor de la propiedad. Por ejemplo, podríamos descubrir que la combinación de ubicación y tamaño de la casa tiene un impacto más significativo en el precio que cualquiera de estas características por sí sola. Estos conocimientos son invaluables al decidir qué características transformar o combinar en nuestro proceso de ingeniería.
Además, el análisis de correlación puede resaltar características redundantes o menos importantes, permitiéndonos simplificar nuestro conjunto de datos y concentrarnos en las variables más impactantes. Esto no solo mejora la eficiencia de nuestro modelo, sino que también ayuda a prevenir el sobreajuste al reducir el ruido en los datos. Al aprovechar estas correlaciones, podemos tomar decisiones informadas sobre la selección, transformación y creación de características, mejorando en última instancia el poder predictivo de nuestro modelo de precios de viviendas.
Ejemplo de Código: Análisis de Correlación
import seaborn as sns
import matplotlib.pyplot as plt
# Calculate the correlation matrix
correlation_matrix = df.corr()
# Visualize the correlation matrix using a heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.show()
# Focus on the correlation of each feature with SalePrice
print(correlation_matrix['SalePrice'].sort_values(ascending=False))En este ejemplo:
- Se importan las bibliotecas necesarias: seaborn para visualización y matplotlib para gráficos.
- Se calcula la matriz de correlación usando
df.corr(), que computa las correlaciones por pares entre todas las columnas numéricas del DataFrame. - Se crea un mapa de calor de la matriz de correlación usando la función
heatmapde seaborn. Esto proporciona una representación visual de cómo se correlacionan diferentes características entre sí. - El mapa de calor se personaliza con anotaciones (
annot=True) para mostrar los valores de correlación y usa un esquema de colores (cmap='coolwarm') para representar la intensidad de la correlación. - Finalmente, se imprime la correlación de cada característica con la columna 'SalePrice', ordenada en orden descendente. Esto ayuda a identificar qué características tienen las correlaciones más fuertes, positivas o negativas, con los precios de las viviendas.
Este análisis es crucial para entender las relaciones entre características y puede guiar los esfuerzos de ingeniería de características en el modelo de predicción de precios de viviendas.
Conclusiones Clave
- La limpieza y preparación de datos forman la base de cualquier proyecto exitoso de machine learning. El manejo meticuloso de valores faltantes, el tratamiento de valores atípicos y la garantía de calidad de los datos no solo mejoran la confiabilidad de tu conjunto de datos, sino que también establecen una base sólida para un modelado preciso. Este paso crucial puede impactar significativamente en el rendimiento y la capacidad de generalización de tus modelos predictivos.
- El análisis de correlación sirve como una herramienta poderosa para obtener una comprensión más profunda de las relaciones intrincadas entre las características y la variable objetivo. Al examinar estas correlaciones, puedes descubrir patrones y asociaciones ocultas en los datos, orientando tus decisiones sobre qué características transformar, combinar o crear. Este análisis ayuda a priorizar las variables más influyentes e identificar problemas de multicolinealidad potenciales.
- Esta etapa inicial de exploración y preparación de datos sienta las bases para técnicas de ingeniería de características más sofisticadas. Proporciona el contexto y la comprensión necesarios para implementar eficazmente métodos avanzados como la creación de términos de interacción para capturar relaciones complejas, la codificación de variables categóricas para hacerlas adecuadas para algoritmos de machine learning, y la aplicación de transformaciones matemáticas a las características numéricas para captar mejor sus distribuciones subyacentes y sus relaciones con la variable objetivo.
1. Exploración y Limpieza de Características
Bienvenido al primer proyecto de esta sección, en el cual nos enfocaremos en aplicar técnicas de ingeniería de características para construir un modelo predictivo de precios de viviendas. En este proyecto, trabajarás con un conjunto de datos que contiene varias características de las viviendas, como ubicación, tamaño, número de habitaciones y otras características, y utilizarás esta información para predecir el precio de venta de cada propiedad.
Aunque construir modelos de machine learning es fundamental, la ingeniería de características es lo que a menudo marca la diferencia entre un buen modelo y un excelente modelo. Se trata de crear nuevas características significativas a partir de datos en bruto y transformar las características existentes para capturar patrones importantes. En este proyecto, explorarás una variedad de técnicas de ingeniería de características que te ayudarán a descubrir información oculta en los datos y a mejorar la precisión de tu modelo.
Comencemos explorando el conjunto de datos e identificando las características clave, seguidas de análisis detallados de las diversas técnicas de ingeniería de características que aumentarán el poder predictivo de tu modelo.
Descripción del Conjunto de Datos: Precios de Viviendas
El conjunto de datos con el que trabajaremos contiene varias columnas que representan características de las viviendas, tales como:
- Metros cuadrados de la casa
- Número de dormitorios
- Número de baños
- Tamaño del terreno
- Año de construcción
- Ubicación (código postal)
Nuestro objetivo es predecir la variable objetivo, SalePrice (precio de venta), en función de estas características. Sin embargo, antes de construir un modelo, necesitamos asegurarnos de que los datos estén en las mejores condiciones posibles mediante la limpieza, transformación y creación de características.
El primer paso en cualquier tarea de análisis de datos es comprender a fondo el conjunto de datos y prepararlo para el modelado. Esta fase crucial involucra varios componentes clave:
- Exploración de Datos: Examinar la estructura, el contenido y las características del conjunto de datos. Esto incluye observar el número y tipo de características, el rango de valores y cualquier patrón o anomalía en los datos.
- Identificación de Valores Faltantes: Evaluar la extensión y naturaleza de los datos faltantes. Este paso es crítico, ya que los valores faltantes pueden afectar significativamente el rendimiento del modelo y llevar a resultados sesgados si no se manejan adecuadamente.
- Manejo de Valores Atípicos: Detectar y abordar valores extremos que podrían sesgar el análisis. Los valores atípicos pueden representar anomalías genuinas en los datos o errores que necesitan corrección.
- Evaluación de la Calidad de los Datos: Evaluar la calidad y confiabilidad general de los datos, incluyendo la verificación de inconsistencias, duplicados o problemas de formato.
- Análisis Inicial de Características: Comenzar a identificar características potencialmente importantes y sus relaciones con la variable objetivo (en este caso, los precios de las viviendas).
Al realizar estos pasos meticulosamente, establecemos una base sólida para las etapas posteriores de ingeniería de características y desarrollo del modelo, asegurando que nuestro análisis se base en datos limpios, confiables y bien comprendidos.
Paso 1: Cargar y Explorar los Datos
Comencemos cargando el conjunto de datos y observando las primeras filas para familiarizarnos con los datos.
Ejemplo de Código: Carga del Conjunto de Datos
import pandas as pd
# Load the house price dataset
df = pd.read_csv('house_prices.csv')
# View the first few rows of the dataset
print(df.head())Después de cargar el conjunto de datos, verás varias columnas que representan diferentes características de las viviendas, incluida la variable objetivo, SalePrice. Este es un paso crucial para familiarizarte con la estructura de los datos, ya que ayuda a identificar cualquier problema que deba abordarse.
Paso 2: Manejo de Valores Faltantes
Los conjuntos de datos del mundo real a menudo contienen valores faltantes, los cuales pueden distorsionar significativamente los resultados de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores faltantes en columnas críticas como LotSize o YearBuilt pueden tener un impacto sustancial en la precisión de tus predicciones.
Por ejemplo, un valor faltante en LotSize podría llevar a subestimar o sobrestimar el valor de una propiedad, ya que el tamaño del terreno es a menudo un factor crucial en la determinación de los precios de las viviendas. De manera similar, un valor faltante en YearBuilt podría ocultar información importante sobre la antigüedad de la vivienda, que típicamente se correlaciona con su condición y valor de mercado.
Además, la forma en que manejas estos valores faltantes puede introducir sesgo en tu modelo. Por ejemplo, simplemente eliminar todas las filas con valores faltantes podría llevar a la pérdida de datos valiosos y potencialmente sesgar tu conjunto de datos hacia ciertos tipos de propiedades.
Por otro lado, imputar valores faltantes con promedios o medianas podría no representar con precisión la verdadera distribución de los datos. Por lo tanto, es crucial considerar cuidadosamente la naturaleza de cada característica y elegir estrategias apropiadas para manejar los valores faltantes, como el uso de técnicas de imputación más sofisticadas o la creación de variables indicadoras para señalar dónde faltaban datos.
Ejemplo de Código: Manejo de Valores Faltantes
# Check for missing values in the dataset
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])
# Example: Fill missing LotSize values with the median
df['LotSize'].fillna(df['LotSize'].median(), inplace=True)
# Example: Drop rows with missing values in critical columns like SalePrice
df.dropna(subset=['SalePrice'], inplace=True)En este ejemplo:
- Primero verificamos los valores faltantes en el conjunto de datos y decidimos cómo manejarlos.
- Para columnas numéricas como LotSize, llenar los valores faltantes con la mediana es una buena estrategia, ya que la mediana es menos sensible a los valores atípicos en comparación con la media.
- Para columnas críticas como SalePrice (nuestra variable objetivo), a menudo es mejor eliminar las filas con valores faltantes, ya que imputar valores para la variable objetivo podría introducir sesgo.
Paso 3: Manejo de Valores Atípicos
Los valores atípicos son puntos de datos que se desvían significativamente de otras observaciones y pueden tener un impacto sustancial en el rendimiento de tu modelo si no se manejan adecuadamente. En el contexto de la predicción de precios de viviendas, los valores atípicos pueden surgir de varias fuentes y manifestarse de diferentes maneras:
- Valores Extremos: Un SalePrice excepcionalmente alto o un LotSize inusualmente grande podría sesgar la distribución general y llevar a predicciones sesgadas.
- Errores de Entrada de Datos: A veces, los valores atípicos resultan de simples errores de entrada de datos, como un cero extra agregado al precio o al metraje cuadrado.
- Propiedades Únicas: Casas de lujo o propiedades con características especiales podrían tener valores que aparezcan como atípicos en comparación con el mercado general de viviendas.
- Factores Temporales: Las viviendas vendidas durante épocas de auge o crisis económica podrían tener precios que parezcan atípicos cuando se observan en un marco temporal más amplio.
Identificar y manejar los valores atípicos requiere una consideración cuidadosa. Si bien eliminarlos puede mejorar el rendimiento del modelo, es crucial comprender la naturaleza de estos valores atípicos antes de decidir qué acción tomar. En algunos casos, los valores atípicos pueden contener información valiosa sobre las tendencias del mercado o características únicas de las propiedades que podrían ser beneficiosas para que tu modelo las aprenda.
Ejemplo de Código: Identificación y Manejo de Valores Atípicos
import numpy as np
# Identify outliers using the interquartile range (IQR) method
Q1 = df['SalePrice'].quantile(0.25)
Q3 = df['SalePrice'].quantile(0.75)
IQR = Q3 - Q1
# Define a threshold to identify outliers
outliers = df[(df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR))]
print(f"Number of outliers in SalePrice: {len(outliers)}")
# Remove the outliers
df = df[~((df['SalePrice'] < (Q1 - 1.5 * IQR)) | (df['SalePrice'] > (Q3 + 1.5 * IQR)))]Aquí utilizamos el método del Rango Intercuartílico (IQR) para detectar valores atípicos en la columna SalePrice. El IQR es el rango entre el primer cuartil (Q1) y el tercer cuartil (Q3) de los datos. Los puntos de datos que se encuentran fuera de 1.5 veces el IQR desde Q1 o Q3 se consideran valores atípicos. Luego, eliminamos estos valores atípicos para evitar que distorsionen las predicciones del modelo.
Paso 4: Correlación de Características
Antes de sumergirnos en la ingeniería de características, es fundamental entender las relaciones complejas entre las características y la variable objetivo, SalePrice. El análisis de correlación es una herramienta poderosa en este proceso, ya que nos permite descubrir patrones y asociaciones ocultas en los datos. Al examinar estas correlaciones, podemos identificar qué características tienen el mayor impacto en los precios de las viviendas, proporcionando información valiosa que guiará nuestros esfuerzos de ingeniería de características.
Este análisis va más allá de las relaciones lineales simples. Nos ayuda a detectar interacciones complejas entre variables, revelando cómo diferentes características pueden trabajar juntas para influir en el valor de la propiedad. Por ejemplo, podríamos descubrir que la combinación de ubicación y tamaño de la casa tiene un impacto más significativo en el precio que cualquiera de estas características por sí sola. Estos conocimientos son invaluables al decidir qué características transformar o combinar en nuestro proceso de ingeniería.
Además, el análisis de correlación puede resaltar características redundantes o menos importantes, permitiéndonos simplificar nuestro conjunto de datos y concentrarnos en las variables más impactantes. Esto no solo mejora la eficiencia de nuestro modelo, sino que también ayuda a prevenir el sobreajuste al reducir el ruido en los datos. Al aprovechar estas correlaciones, podemos tomar decisiones informadas sobre la selección, transformación y creación de características, mejorando en última instancia el poder predictivo de nuestro modelo de precios de viviendas.
Ejemplo de Código: Análisis de Correlación
import seaborn as sns
import matplotlib.pyplot as plt
# Calculate the correlation matrix
correlation_matrix = df.corr()
# Visualize the correlation matrix using a heatmap
plt.figure(figsize=(10, 8))
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.show()
# Focus on the correlation of each feature with SalePrice
print(correlation_matrix['SalePrice'].sort_values(ascending=False))En este ejemplo:
- Se importan las bibliotecas necesarias: seaborn para visualización y matplotlib para gráficos.
- Se calcula la matriz de correlación usando
df.corr(), que computa las correlaciones por pares entre todas las columnas numéricas del DataFrame. - Se crea un mapa de calor de la matriz de correlación usando la función
heatmapde seaborn. Esto proporciona una representación visual de cómo se correlacionan diferentes características entre sí. - El mapa de calor se personaliza con anotaciones (
annot=True) para mostrar los valores de correlación y usa un esquema de colores (cmap='coolwarm') para representar la intensidad de la correlación. - Finalmente, se imprime la correlación de cada característica con la columna 'SalePrice', ordenada en orden descendente. Esto ayuda a identificar qué características tienen las correlaciones más fuertes, positivas o negativas, con los precios de las viviendas.
Este análisis es crucial para entender las relaciones entre características y puede guiar los esfuerzos de ingeniería de características en el modelo de predicción de precios de viviendas.
Conclusiones Clave
- La limpieza y preparación de datos forman la base de cualquier proyecto exitoso de machine learning. El manejo meticuloso de valores faltantes, el tratamiento de valores atípicos y la garantía de calidad de los datos no solo mejoran la confiabilidad de tu conjunto de datos, sino que también establecen una base sólida para un modelado preciso. Este paso crucial puede impactar significativamente en el rendimiento y la capacidad de generalización de tus modelos predictivos.
- El análisis de correlación sirve como una herramienta poderosa para obtener una comprensión más profunda de las relaciones intrincadas entre las características y la variable objetivo. Al examinar estas correlaciones, puedes descubrir patrones y asociaciones ocultas en los datos, orientando tus decisiones sobre qué características transformar, combinar o crear. Este análisis ayuda a priorizar las variables más influyentes e identificar problemas de multicolinealidad potenciales.
- Esta etapa inicial de exploración y preparación de datos sienta las bases para técnicas de ingeniería de características más sofisticadas. Proporciona el contexto y la comprensión necesarios para implementar eficazmente métodos avanzados como la creación de términos de interacción para capturar relaciones complejas, la codificación de variables categóricas para hacerlas adecuadas para algoritmos de machine learning, y la aplicación de transformaciones matemáticas a las características numéricas para captar mejor sus distribuciones subyacentes y sus relaciones con la variable objetivo.