El proyecto IKUN “Desarrollo de Grandes Modelos Multimodales para el aseguramiento de la calidad y soporte al personal operativo de la Industria Inteligente” trabaja en la adaptación de los avances en Inteligencia Artificial al entorno industrial.
La inteligencia artificial (IA) está transformando sectores estratégicos gracias a los avances en modelos de lenguaje, visión por computador y generación de contenidos como GPT-4, LLaMA, DALL-E o CLIP. No obstante, su integración en entornos industriales aún presenta importantes desafíos, desde la necesidad de grandes volúmenes de datos etiquetados hasta interfaces poco adaptadas a las realidades de las plantas productivas.
En este contexto, el proyecto IKUN nace con el objetivo de adaptar los Grandes Modelos Multimodales (MLLM) al contexto industrial, abriendo la puerta al desarrollo y la implantación de soluciones más inteligentes, accesibles y eficientes.
Con este fin, el proyecto aborda varios retos tecnológicos clave:
- Creación de datasets industriales multimodales, fundamentales para adaptar los modelos al entorno productivo;
- Desarrollo de técnicas de adaptación de MLLM orientadas a garantizar sistemas robustos, explicables y fiables;
- Generación de datos sintéticos (imágenes y series temporales) para el entrenamiento de sistemas avanzados de aseguramiento de calidad que reduzcan la necesidad de datos reales
- Diseño de interfaces conversacionales que permitan al personal operario interactuar de forma natural con los sistemas, ya sea mediante texto, voz o imagen.
Con una aproximación práctica y progresiva, IKUN aborda desde la definición de pilotos y la recopilación de datos reales, hasta la validación de modelos en entornos industriales. Se están desarrollando soluciones específicas para diferentes tipos de datos, mejorando la interacción entre personas y sistemas, y asegurando su utilidad y transferencia en condiciones reales de operación.
Además de participar en la definición de los datos multimodales para los diferentes pilotos industriales que se ejecutan en el proyecto, como parte del consorcio de IKUN, AZTERLAN cumple un rol relevante en la investigación relacionada con la estandarización industrial del almacenamiento de información multimodal. Como detalla el responsable de la línea de investigación de Tecnologías Inteligentes de Fabricación de AZTERLAN Javier Nieves “en el entorno de fabricación industrial nos encontramos con una gran heterogeneidad de los datos y de la información que hay que procesar (imágenes, sensores, equipos, sistemas de gestión, protocolos de producción, …) y cada una de estas tipologías necesita de modos de almacenamiento diferentes y casuísticas particulares. El objetivo final es posibilitar que estos datos sean utilizados de tal forma que los diferentes sistemas con acceso a ellos puedan conseguir una definición estándar para su explotación. Como ejemplo ilustrativo tendríamos, por ejemplo, el desarrollo de sistemas capaces de describir e interpretar secuencias de vídeo de seguimiento de producciones industriales. Aunque se trata de herramientas que cuentan con un amplio desarrollo en otros ámbitos de aplicación, hay un importante vacío de etiquetado descriptivo de valor que permita interpretar sucesos industriales. En este caso, al nivel al que deseamos explotar los datos no es suficiente con que se identifique que cierta imagen corresponde a cierto proceso industrial, sino que la descripción tiene que aportar información sobre si lo que está sucediendo en la misma es correcto o incorrecto respecto al proceso normalizado».
Aseguramiento de la calidad de los productos y mejora la interacción entre personas y sistemas
Entre los resultados esperados destacan la creación de nuevos datasets industriales, la generación de imágenes y series temporales sintéticas de alta calidad para aseguramiento de calidad. “Entre otras aplicaciones prácticas trabajamos en el desarrollo de un sistema avanzado de detección de anomalías (defectos) y generación de imágenes sintéticas, utilizando las últimas técnicas en modelos generativos y aprendizaje profundo. La inspección visual sigue siendo un proceso crucial de control de calidad y garantía de seguridad industrial, por lo que su automatización tiene un alto impacto, que puede conducir a una mayor eficiencia, precisión y ahorro de costes, generando una ventaja competitiva en el sector industrial”.
Asimismo, el equipo de investigación trabaja en el diseño de asistentes conversacionales inteligentes que ayuden al personal de planta en la línea de producción o en la consulta de documentación técnica, y la validación de prototipos listos para su transferencia al ecosistema industrial. “En AZTERLAN llevamos tiempo trabajando en sistemas inteligentes orientados a facilitar la toma de decisiones y la puesta en práctica de acciones por parte del personal productivo de las plantas, hasta ahora, fundamentalmente, a través de sistemas avanzados de control y tecnologías predictivas. No obstante, facilitar el consumo y la comprensión de información útil y relevante mediante sistemas conversacionales amigables, es la forma más eficiente de trasladar el conocimiento metalúrgico y de proceso a la industria y es un ámbito de desarrollo tecnológico prioritario para nuestro equipo”.
El consorcio de IKUN está formado por los centros tecnológicos miembros del BRTA VICOMTECH (líder del proyecto), TECNALIA, IKERLAN, TEKNIKER y AZTERLAN; la Universidad del País Vasco (EHU); la unidad de I+D empresarial IKOR TECHNOLOGY CENTER; y el agente de intermediación IMH Campus. El proyecto cuenta con financiación del programa ELKARTEK 2024 del Gobierno Vasco.
