Proceso de Construcción del modelo multimodal de AustralMetrics

Bloque A: Modelo de Deep Learning

Entrenamiento de un modelo basado en ResNet usando fotos de cultivo (en terreno, por dron y satélite) complementadas con análisis foliar. Cada imagen se etiqueta con coordenadas, NDVI, valores foliares y etapa de crecimiento para predecir la probabilidad de problemas.

Bloque B: Datos Históricos y Meteorológicos

Integración de datos históricos, temperatura, condiciones meteorológicas, informes técnicos y datos fenológicos que sustentan las predicciones.

Bloque C: Extracción de Información Textual

Aplicación de técnicas de NLP (por ejemplo, LangChain) para extraer información relevante de documentos y reportes, aportando contexto adicional.

Bloque D: Integración y Recomendaciones (RAG)

Fusión de los outputs de los bloques A, B y C mediante un sistema RAG que genera informes breves con recomendaciones basadas en la probabilidad de problemas detectados.

Bloque E: Evaluación Económica y ROI

Análisis de métricas económicas que, combinado con el informe de recomendaciones, alimenta un modelo de Reinforcement Learning para estimar el ROI o el dinero ahorrado si se aplican las acciones recomendadas.