Origen de los Datos

El proyecto “Yerba Mate” surgió de la necesidad de consolidar, limpiar y preparar para análisis un dataset real sobre la producción de yerba mate entre los años 2022 y 2024. Incluye información sobre distintas fincas, zonas geográficas, hectáreas cultivadas, kilos cosechados, tipo de cultivo, precipitaciones, costos operativos y métricas como rendimiento por hectárea y costo por kilogramo. Abarca la producción de yerba mate gestionada por una empresa del sector agroindustrial. La organización registraba información operativa diaria a través de dos fuentes principales: La base de datos del sistema interno, construida en MySQL, que almacenaba tablas relacionadas con:

• Registros de cosecha,
• Datos agronómicos por finca,
• Historial de costos operativos,
• Información ambiental asociada a cada lote.

Archivos de Excel generados por el personal de campo, utilizados para documentar:

• Planificación diaria de actividades,
• Volúmenes realmente cosechados,
• Tiempo de cosecha,
• Condiciones de fertilización,
• Correcciones manuales de los datos operativos.

Dado que cada fuente seguía sus propios criterios de registro —con diferentes formatos, nombres inconsistentes, variaciones ortográficas y diferencias en las unidades—, la empresa carecía de un dataset unificado que pudiera usarse directamente para análisis, informes o toma de decisiones basada en datos.

Aunque este dataset era funcional, presentaba numerosos problemas comunes en datos agroindustriales: valores faltantes, errores ortográficos, columnas incompletas, registros inconsistentes y errores de carga que impedían un análisis confiable. Por este motivo, se desarrolló un proceso completo de limpieza y estandarización utilizando Python y Pandas.

Operaciones de Limpieza de Datos

Identificación y Eliminación de Registros Duplicados

Durante la primera revisión, se detectaron filas potencialmente duplicadas en función de la combinación de Año, Mes, Finca y Zona. Algunos registros representaban el mismo evento de cosecha cargado más de una vez. Se conservó una única versión válida de cada registro.

Detección e Imputación de Valores Faltantes

Varias columnas críticas contenían valores faltantes:

• Kilos_cosechados presentaba registros completamente vacíos.
• Costo_total mostraba un valor faltante en el año 2023.
• Rendimiento_kg_ha contenía valores nulos que podían calcularse a partir de otras columnas.

Para garantizar la consistencia, los valores faltantes se imputaron según su naturaleza: promedios o medianas para datos numéricos y, en el caso del rendimiento, se recalculó como Kilos_cosechados / Hectáreas.

Corrección de Problemas de Formato y Estandarización de Etiquetas

Este dataset contenía múltiples inconsistencias textuales:

• Fincas escritas como "Finc@ @", "Finca cx" o con espacios faltantes.
• Zonas como "Centr0" o "No" en lugar de “Centro” y “Norte”.
• Tipos de cultivo como "C0nvenci0nal", "Convencion@l" o "Orgánic0".

Mediante funciones de normalización y reglas de reemplazo, todas las etiquetas fueron estandarizadas a: “Finca A / B / C”, “Norte / Sur / Centro” y “Convencional / Orgánico”.

Corrección de Valores Numéricos Fuera de Rango

Se identificaron valores anómalos en:

• Lluvia_mm con valores decimales en formato incorrecto.
• Costo_total vacío o extremadamente bajo.
• Tiempo_cosecha_dias faltante o igual a cero.

Estos casos se corrigieron mediante reemplazo por valores consistentes del mismo período o eliminación en casos críticos.

Validación de la Estructura del Dataset

Una vez corregidos los errores, se verificó:

• Que todas las columnas tuvieran el tipo de dato correcto (numérico o categórico).
• Que los rendimientos fueran coherentes (Kilos / Hectáreas).
• Que no existieran fechas fuera de rango.
• Que no hubiera inconsistencias lógicas (por ejemplo, fertilizado = “Sí” con costos atípicamente bajos).

Exportación de la Versión Limpia

Finalmente, se generó una versión limpia del dataset y se exportó en formato CSV. Esta versión quedó lista para análisis exploratorio de datos (EDA), modelos predictivos o visualizaciones.

Análisis Exploratorio de Datos (EDA)

Con los datos ya depurados, se exploraron las siguientes preguntas clave:

• ¿Qué zona produce más kilos por hectárea?
• ¿Los cultivos orgánicos presentan menor producción pero mayores costos?
• ¿Existe una correlación entre las precipitaciones y la producción?
• ¿Qué finca logra el costo por kilogramo más eficiente?

Para responder estas preguntas se utilizaron resúmenes estadísticos, gráficos comparativos y análisis por categorías.

Conclusión

Gracias a este proceso integral, el dataset pasó de ser un conjunto de registros inconsistentes a una fuente confiable de información. El proceso de limpieza permitió realizar análisis precisos y sentó las bases para visualizaciones, dashboards y la toma de decisiones basada en datos dentro del sector yerbatero.

El uso de Python, Pandas y Numpy permitió desarrollar un pipeline sólido y replicable, fundamental para cualquier proyecto de análisis de datos agrícolas.