UNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICO Facultad de Ingeniería

Evaluación de la Interacción Humano-Robot Basada en Expresiones Faciales Detectadas por CNN en Entornos Sociales

Guerrero Martínez Erick · Salgado Miranda Maya Jily

Director de Tesis: Ing. Elorza López Neftalí

Conocer el proyecto Probar reconocimiento

468 puntos faciales

PROBLEMÁTICA

¿Por qué importa la Interacción Humano-Robot?

Robots sociales

Asistentes en salud, educación y hogar que necesitan entender el estado emocional del usuario para responder apropiadamente.

Comunicación no verbal

Las expresiones faciales representan el canal más rico de información emocional — hasta el 55% de la comunicación humana.

Brecha tecnológica

Los sistemas actuales carecen de módulos de percepción emocional robustos, accesibles y evaluados bajo condiciones reales.

OBJETIVO

Diseñar, implementar y evaluar un sistema de reconocimiento de 6 emociones faciales mediante 5 modelos de clasificación, como módulo de percepción emocional para robots sociales.

Construir un dataset propio de ~900 imágenes faciales en condiciones controladas.

Comparar enfoques basados en imagen (CNN, MobileNetV2) vs. geometría facial (MLP, SVM, RF).

Demostración de un detector en tiempo real que ejecute los modelos simultáneamente.

DATASET

Construcción del conjunto de datos propio

~900 Imágenes totales

150 Por emoción

6 Clases

1 Sujeto

Felicidad Tristeza Enojo Disgusto Asombro Neutralidad

Condiciones de captura

Estudio fotográfico montado en el Centro de Ingeniería Avanzada

Cámara Samsung NX2000 con iluminación profesional (softboxes).

Fondo verde eliminado digitalmente.

Un sujeto (Maya) como modelo.

División: 80% entrenamiento / 20% prueba

PREPROCESAMIENTO

Pipeline de procesamiento de imagen

Color original

Foto RGB de estudio

→

Escala de grises

Reducir complejidad

→

Detección facial

Haar Cascade · OpenCV

→

Recorte 96×96 px

Redimensionar rostro

→

Normalización [0,1]

Valores de píxel / 255

Para modelos de imagen

CNN Base

Imagen 96×96 en grises (1 canal).

MobileNetV2

Imagen 96×96 en RGB (3 canales).

Para modelos geométricos

MediaPipe Face Mesh

468 puntos 3D.

Características geométricas

Extracción de 11 features geométricas y distancias normalizadas respecto al ancho del rostro.

ARQUITECTURA DEL SISTEMA

Dos enfoques complementarios de clasificación emocional

Enfoque: Imágenes

CNN Base

3 capas Conv2D

96×96 grises

32 → 64 → 128 filtros

Dropout 0.5

MobileNetV2

Transfer Learning

96×96 RGB

Fase 1: Base congelada

Fase 2: Fine-tuning (30 capas)

Enfoque: Geometría Facial

MLP

Perceptrón multicapa

Landmarks faciales

SVM

Kernel RBF

11 features geométricas normalizadas

C=10 · StandardScaler

Random Forest

300 árboles

11 features geométricas

RESULTADOS COMPARATIVOS

Evaluación de los modelos

Modelo	Entrada	Accuracy	F1-Score
Random Forest	11 features geom.	99.44%	0.9944
CNN Base	Imagen 96×96 grises	98.89%	0.9889
SVM (RBF)	11 features geom.	98.33%	0.9832
MobileNetV2	Imagen 96×96 RGB	98.08%	0.9808
MLP	Landmarks faciales	83.50%	0.829

Random Forest 99.44%

CNN Base 98.89%

SVM 98.33%

MobileNetV2 98.08%

MLP 83.50%

PRUEBAS EN WEBCAM

Concordancia con el voto mayoritario en condiciones reales

CNN Base 86.5%

El más robusto — grises = invariante a iluminación.

SVM 83.0%

Las proporciones faciales no cambian con la cámara.

Random Forest 42.9%

Irregular — sensible a variaciones fuera del dataset.

MobileNetV2 2.6%

Normalmente predice la misma emoción — no generaliza.

Conclusión presentada en el simposio

CNN Base es el modelo más confiable para despliegue en condiciones reales.

LIMITACIONES

El gap entre entrenamiento y tiempo real

Dataset de un solo sujeto

El sistema aprendió las expresiones de Maya específicamente. Para generalizar necesitaría 50-100+ sujetos con diversidad demográfica.

Condiciones controladas vs. reales

Iluminación profesional, fondo uniforme y cámara de estudio no reflejan condiciones de webcam cotidiana. Los modelos que aprendieron estas condiciones no generalizan.

Accuracy ≠ rendimiento real

99.44% en test no significa 99% en producción. Un modelo solo es tan bueno como la diversidad de sus datos.

6 emociones discretas

Las emociones humanas son un espectro continuo. Las microexpresiones y emociones mixtas no están cubiertas.

Estas limitaciones son esperadas y documentadas — no invalidan el sistema como prototipo funcional.

CONCLUSIONES

Resultados del proyecto

Sistema funcional validado

5 modelos evaluados, 4 superaron 98% accuracy. El sistema demuestra viabilidad como módulo de percepción emocional.

Dataset original

~900 imágenes capturadas con protocolo estandarizado en el CIA-FI UNAM.

Geometría compite con Deep Learning

SVM y Random Forest con solo 11 features igualaron o superaron a redes neuronales profundas.

CNN Base: el más robusto en práctica

86.5% concordancia en webcam real.

TRABAJO FUTURO

Siguientes líneas de desarrollo

Ampliar dataset

50-100 sujetos con diversidad demográfica (edad, género, tono de piel).

Arquitecturas avanzadas

EfficientNetV2, Vision Transformers (ViT) para mayor generalización.

Fusión de modelos

Ensemble con votación ponderada — combinar lo mejor de cada enfoque.

Análisis temporal

LSTM para detectar microexpresiones y transiciones emocionales.

Plataforma robótica

Despliegue en robot real con respuestas adaptativas al contexto emocional.

DEMOSTRACIÓN INTERACTIVA

Prueba el reconocimiento en tiempo real

Accede al espacio dedicado exclusivamente a la prueba del sistema.

Iniciar prueba