Slow Feature Analysis

Slow Feature Analysis

Rafael C.P.

Roteiro

Motivao

Formulao

Experimentos

Concluses


Problema:Sinais sensoriais primrios variam rapidamente...

...mas o ambiente no

Como extrair caractersticas invariantes do ambiente?


Objetivo:Invarincia a partir do tempo

Encontrar uma funo g(x) que mapeie um conjunto de sinais x em um novo conjunto y, ordenado por lentido


Exemplo:3 fotoreceptores so monitorados

As letras S, F e A passam pelo campo visual


Exemplo (cont.):Sinais visuais primrios variam rapidamente

Sinais de mais alto nvel representam identidade e local, e variam lentamente


Exemplo em ambiente real:Vdeo de um macaco

Sinais visuais primrios variam rapidamente

Sinais de mais alto nvel extrados representam identidade e local

Formulao

Entrada: x(t) = [x1(t), , xI(t)]T

Sada: g(x) = [g1(x),...,gJ(x)]T

Sada: y(t) = [y1(t),...,yJ(t)]T yj(t) := gj(x(t))

Minimizar j := (yj) := 2jjyj = 0 (mdia 0)

y2j = 1 (varincia 1)

j' < j:yj'yj = 0 (descorrelao)

Soluo Proposta

Simplificando: g(x) pode ser uma combinao linear de K funes no-lineares aplicadas sobre o sinal de entrada:gj(x) : = Kk=1 wjkhk(x)

z(t) := h(x(t)) pode ser tratado como um problema linear

yj(t) := wTjz(t)

h pode ser obtido por uma esferizao do sinal de entrada, obtendo mdia 0 e covarincia unitria

Soluo Proposta

Objetivo reescrito:
Minimizar j := (yj) := 2j := wTjTwjj

Reescrevendo as restries:yj = wTjz = 0(z = 0)

y2j = wTjzzTwTj = 1(zzT = I, wTjwj = 1)

j' < j:yj'yj = wTj'zzTwTj = 0(zzT = I, wTj'wj = 0)

Logo, w precisa ser um conjunto de vetores ortonormais

Soluo Proposta

Soluo: Autovetores normalizados de T

Autovetor correspondente ao menor autovalor a soluo tima

Autovetores subsequentes representam sinais com variaes temporais maiores, incrementalmente

Algoritmo

Normalizao

Expanso (opcional)

Esferizao

Diferenciao

PCA

Repetio (opcional)

Normalizao

Os dados de entrada so normalizados pela subtrao da mdia e diviso pelo desvio padro

Dados resultantes possuem mdia 0 e desvio padro 1

Expanso (opcional)

Dados expandidos no-linearmente para um espao de dimenso maior

A partir da, o problema tratado como linear

Mais comum: expanso quadrtica (SFA2)

Sem expanso: linear (SFA1)

Esferizao (Sphering/Whitening)

Usa-se PCA (ou SVD) para que a matriz de covarincia dos dados expandidos torne-se a identidade

S(z(t) - z)

S = VD-1/2VT

Diferenciao

Como queremos encontrar os autovetores de T, precisamos diferenciar os dados ao longo do tempo para obter

PCA

PCA (ou SVD) usado para efetivamente encontrar os autovetores de T, a matriz w

Multiplicando-se w por z obtemos os dados transformados

Repetio (opcional)

Em vez de fazer uma expanso muito grande (cbica ou mais), usa-se a expanso quadrtica apenas

Aps obter y, ele tratado como novos dados de entrada x e passado novamente pelo algoritmo

Efetivamente faz expanses maiores com menor custo

Experimentos

Campos receptivos

Extrao de foras

Reconhecimento de dgitos

Reconhecimento de objetos

Reconhecimento de aes

Reconhecimento de gestos

Campos Receptivos

Os filtros produzidos pelo SFA so similares aos encontrados no crtex visual primrio

Extrao de Foras

Extrao da fora por trs do mapa logstico (srie temporal catica)

Reconhecimento de Dgitos

No h estrutura temporal em um conjunto de dgitos...

...ento ela forjada mostrando sequncias de variaes dos mesmos dgitos para o SFA

Caractersticas extradas pelo SFA so usadas como entrada em algoritmos de classificao

\

Reconhecimento de Objetos

SFA consegue extrair sinais que representam diferentes objetos sob diferentes transformaes

Reconhecimento de Aes

Reconhecimento de gestos

Concluses

SFA permite extrair caractersticas de alto nvel de sinais de baixo nvel

As caractersticas extradas variam lentamente no tempo, possuindo diversas invarincias

As caractersticas extradas podem ser usadas em classificadores de padresAlm de aumentar a eficincia com a reduo de dimensionalidade, fornecem informaes mais teis

Referncias

Wiskott L. and Sejnowski T.J. - Slow Feature Analysis: Unsupervised Learning of Invariances Neural Computation 2002

Wiskott L., Berkes P., Franzius M., Sprekeler H. and Wilbert, N. - Slow feature analysis Scholarpedia (http://www.scholarpedia.org/article/Slow_feature_analysis, acessado em 07/2012)

Nickisch H. - Extraction of visual features from natural video data using Slow Feature Analysis Thesis 2006

M. Franzius, N. Wilbert, L. Wiskott - Invariant Object Recognition with Slow Feature Analysis - 18th International Conference on Artificial Neural Networks 2008

Berkes, P. - Pattern Recognition with Slow Feature Analysis - Cognitive Sciences EPrint Archive (CogPrints) 4104, 2005

Muokkaa otsikon tekstimuotoa napsauttamalla

Muokkaa jsennyksen tekstimuotoa napsauttamallaToinen jsennystasoKolmas jsennystasoNeljs jsennystasoViides jsennystasoKuudes jsennystasoSeitsems jsennystasoKahdeksas jsennystasoYhdekss jsennystaso

Technology

Slow Feature Analysis