A pesar de su potencial, la adopción de la Inteligencia Artificial (a través de avances en modelos de lenguaje, visión por computador y modelos generativos como GPT-4, LLaMA, DALL-E o CLIP) en entornos industriales aún presenta barreras significativas. Las soluciones actuales de inspección visual y detección de anomalías dependen de grandes volúmenes de datos etiquetados, lo que implica costes elevados. Además, las interfaces disponibles no permiten una interacción natural en lenguaje humano, limitando su usabilidad en planta.
En este contexto, el proyecto IKUN, formado por los centros tecnológicos miembros del BRTA VICOMTECH (líder), TECNALIA, IKERLAN, TEKNIKER y AZTERLAN; la Universidad del País Vasco (UPV/EHU); la unidad de I+D empresarial IKOR TECHNOLOGY CENTER; y el agente de intermediación IMH Campus, nace con el objetivo de superar estos retos, adaptando los Grandes Modelos Multimodales (MLLM) al contexto industrial, y sentando las bases para una industria más inteligente, autónoma y conectada. Así, IKUN aborda varios desafíos clave para la integración de los MLLM en entornos industriales:
- Creación de datasets industriales multimodales, que sirvan como base para adaptar estos modelos al dominio específico de la producción.
- Investigación en técnicas de adaptación de MLLM, orientadas a garantizar modelos robustos, explicables y fiables en condiciones reales de operación.
- Generación de datos sintéticos, incluyendo imágenes industriales y series temporales, para entrenar sistemas avanzados de inspección visual y detección de anomalías sin necesidad de grandes volúmenes de datos reales.
- Desarrollo de interfaces conversacionales multimodales, que permitan a los operarios interactuar de forma natural (texto, voz, imagen) con los sistemas, facilitando el acceso al conocimiento técnico y a los cuadros de mando.
El proyecto se basa en una aproximación práctica y progresiva que abarca desde la definición de pilotos y recopilación de datos industriales reales, hasta la adaptación de modelos multimodales al entorno productivo. Se desarrollarán modelos específicos para imagen y series temporales, y se explorarán interfaces conversacionales que mejoren la interacción entre operarios y sistemas. Finalmente, todos los desarrollos se validarán en entornos industriales reales para asegurar su aplicabilidad y transferencia.
Resultados esperados
- La creación de datasets industriales multimodales inéditos, clave para el entrenamiento y evaluación de nuevos modelos.
- La generación de imágenes y series temporales industriales sintéticas de alta calidad que reduzcan la dependencia de datos reales.
- El diseño de asistentes conversacionales inteligentes, capaces de asistir a los operarios mediante texto, voz e imagen, tanto en línea de producción como a través de fuentes documentales (manuales, informes técnicos).
- El desarrollo de prototipos validados, con alto potencial de transferencia al ecosistema industrial local.
El proyecto IKUN «Grandes Modelos Multimodales para Aseguramiento de Calidad y Soporte al Operario en Industria Inteligente» está financiado a través del programa ELKARTEK 2024 (KK_2024 00064) del Gobierno Vasco.
