Upload
internet
View
127
Download
0
Embed Size (px)
Citation preview
M A C H I N E L E A R N I N G D . I . P U C R I O
G U I L H E R M E C A R V A L H O C U N H A
CLASSIFICADOR DE EMOÇÕES FACIAIS BASEADO EM FACE NEUTRA
INTRODUÇÃO
http://www.ynner.com.br/blog/wp-content/uploads/2011/05/Emocoes.jpg
MOTIVAÇÃO
• As aplicações estão querendo cada vez mais retirar mais informações dos usuários• Movimentos corporais• Bio feedback• Emoções
• O reconhecimento de emoções é um processo complexo
TAREFA
• Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens
Neutro ?
PROPOSTA
Inicial Atual
Neutro Nervoso (3 emoções) (7 emoções)
TRABALHOS RELACIONADOS
Autor Método ML Emoções Dataset Resultado
Huang[10] Neural Network Back Propagation
7 JAFFE 78,24%
Kwang[14] PCA + Cluster
6 - 68,5%
Gang[18] SVM 6 JAFFE 68,5%
Proposto SVM 7 RaFD 84,37%
DATASET
• O dataset foi criado para o propósito do trabalho utilizando as imagens do dataset RaFD • 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 /
~10)• JAFFE é um dataset de imagens de mulheres japonesas
(pouca generalização)
• Um programa automaticamente analisa as imagens e extrai os pontos faciais
• Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento
VETOR DE ATRIBUTOS
• A análise foi feita em cima de 2 imagens• Neutra• Expressão
• A imagem neutra é conhecida à priori
• O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens
FACE NEUTRA – FACE EXPRESSIVA
VETOR DE ATRIBUTOS
• Os pontos pré-definidos foram• Cantos das sobrancelhas direitas e esquerdas (4 x 2)• Cantos da boca (2 x 2)• Ponto superior e inferior dos lábios (2 x 2)• Altura e largura da boca (2)
• 18 atributos• Exemplo
1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7
MÉTODO MACHINE LEARNING
• Utilizou-se a LibSVM 3.12 para o treinamento e predição (cross validation)
• Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes
RESULTADOS
• Resultados iniciais estavam na faixa de 67%
• Cross validation dos atributos finais trouxe resultado final de 84,37%
• Um programa foi desenvolvido com o modelo proposto
PROGRAMA - CALIBRAGEM
PROGRAMA – RECONHECIMENTO DE EMOÇÃO
CONCLUSÕES
• Resultado satisfatório• Ainda não é uma atividade bem definida, difícil
encontrar o estado-da-arte, dataset, comparações• Dataset foi criado automaticamente, não existe
nenhuma anotação de atributos dourada (poderia melhorar)
• Dificuldade em encontrar a face neutra• Teoria != prática• Algumas classes se confundem mais com as outras
enquantos algumas se separam mais facilmente
TRABALHOS FUTUROS
• Melhorar ainda mais os atributos escolhidos• Buscar um método de definição da face neutra• Buscar emoções intermediárias (menos
exageradas)• Transportar para o modelo HMM e perceptron
estruturado e verificar os resultados
BIBLIOGRAFIA
• [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.
• [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp.266-275.
• [3] Michael Kass and Andrew Witkin and Demetri Terzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988;
• [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010
• [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on
• [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation
• [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion
DÚVIDAS
?