Implementación de técnicas de visión artificial para la detección de objetos en contextos de realidad mixta

Abstract

Este Trabajo Fin de Grado aborda la estimación de pose 6D de objetos físicos en entornos de realidad mixta, utilizando exclusivamente las cámaras pasivas del visor Meta Quest 3. El objetivo es implementar y evaluar un pipeline de visión artificial capaz de determinar la posición y orientación de un controlador Touch Plus a partir de pares de imágenes estéreo, sin recurrir a sensores adicionales. El sistema desarrollado se organiza en una secuencia de etapas encadenadas que comprenden la adquisición de datos mediante la Passthrough Camera API del dispositivo, la reconstrucción estereoscópica 3D (rectificación, estimación de disparidad y generación de nubes de puntos), la segmentación geométrica del objeto de interés y la estimación de pose mediante Point Pair Features (PPF) con refinamiento Iterative Closest Point (ICP). Este proceso se complementa con una evaluación cuantitativa basada en la comparación de las poses estimadas con la referencia proporcionada por el sistema de seguimiento nativo del visor. Los resultados obtenidos ponen de manifiesto la viabilidad del enfoque propuesto, evidenciando un comportamiento robusto y preciso en condiciones experimentales representativas, y respaldan el uso de técnicas estereoscópicas para la estimación de pose en contextos de realidad mixta, estableciendo una base sólida para futuras líneas de investigación.