Caracterización de Escenas Industriales Multimodales para la Monitorización del Proceso de Vertido mediante una Mezcla de Expertos

Los procesos industriales de vertido operan bajo condiciones altamente dinámicas en las que pequeñas desviaciones pueden provocar defectos, rechazo y pérdidas de producción. Aunque las fundiciones modernas están equipadas con múltiples sensores y sistemas de inspección visual, la mayoría de los enfoques de monitorización siguen siendo fragmentados, unimodales y difíciles de interpretar. Además, las muestras anómalas anotadas en entornos industriales son escasas, lo que dificulta el desarrollo de métodos tradicionales. Como resultado, muchas anomalías críticas del vertido se detectan demasiado tarde o carecen de suficiente información contextual para una toma de decisiones eficaz.

En este trabajo, proponemos un marco multimodal para la caracterización de escenas industriales que combina información visual y señales de proceso mediante una estrategia de fusión de expertos al estilo Mezcla de Expertos (MoE) explicable. En primer lugar, desplegamos un conjunto de módulos especializados que colaboran para identificar regiones de interés, evaluar la calidad del vertido y contextualizar los eventos dentro del proceso productivo, generando así una descripción interpretable de los eventos de vertido. En segundo lugar, introducimos un nuevo método de detección de anomalías para datos de vídeo multimodal, que combina un transformador auto-supervisado con un algoritmo de agrupamiento consciente de valores atípicos. Nuestro enfoque identifica eficazmente anomalías raras sin requerir un etiquetado manual extensivo. La información resultante se estructura en una representación preparada para gemelo digital, facilitando la sincronización entre el sistema físico y su contraparte virtual. Esta solución proporciona una vía escalable y desplegable para transformar datos industriales heterogéneos en conocimiento accionable, apoyando la monitorización avanzada, la detección de anomalías y el control de calidad en entornos reales de fundición.

Reconocimiento: Este trabajo de investigación ha sido financiado por el Programa Elkartek (Gobierno Vasco) para el proyecto IKUN (número de subvención KK-2024/00064). Las opiniones y puntos de vista expresados son exclusivamente responsabilidad de los autores y no reflejan necesariamente los del Gobierno Vasco, ni este puede ser considerado responsable de los mismos.