Aprendizado de MáquinaProf.: Dino R. C. Franklin

Aluno.: Thiago Fialho Q. L.

Janela de Parzen

IntroduçãoEstimação de densidadeJanela de Parzen

Exemplokernel GaussianoPerguntas

Cronograma

O método de Kernel é utilizado para estimar a densidade em um ponto x.

A função densidade de probabilidade é um conceito fundamental em estatística. Um ponto x com uma função de distribuição F(x) é dita continua quando F(x) = ∫(-∞ -> x) p(t) d(t) , neste caso p seria a função densidade de x e deve satisfazer ∫(-∞ -> +∞) p(x) d(x) = 1.

Especificar a função densidade de x nos fornece uma descrição natural da sua distribuição, e permite que probabilidades associadas a x possam ser encontradas através da relação: F(a < x < b) = ∫(a-> b) p(x) d(x) para todo a < b.

Introdução

Estimação de densidade

A função densidade de probabilidade da distribuição normal com os parâmetros média μ e variância σ2.

Estimador Kernel não utiliza parâmetros. não segue uma distribuição normal ou não possui elementos suficientes para

afirmar isso.

Estimação de densidade

A probabilidade de um ponto x estar dentro de uma região Ri, utilizando uma função densidade p(x) é dada por:

Probabilidade (x) = ∫Ri p(x) d(x)

Considere a região Ri continua e pequena a tal ponto onde p(x) não varia. Então podemos reescrever a formula:

Probabilidade (x) = ∫Ri p(x) d(x) = p(x) * V

Onde V é o volume de Ri.

Estimação de densidade

Podemos definir a probabilidade de x estar na região Ri como:

Probabilidade (x) = k/nOnde k é o numero de pontos na região Ri e n é o

numero de pontos visando toda a região R;

Como a Probabilidade (x) = p(x)*V, então:p(x)*V ≈ k/np(x) ≈ (k/n) / V

Estimação de densidade

Estimação de densidade

Em problemas reais existem duas alternativas para estimação da densidade:

Escolher um valor fixo de k e determinar o volume V a partir dos dados.

Fixar o volume V e determinar k a partir dos dados (Janela de Parzen).

p(x) ≈ (k/n) / V

Estimação de densidade

Janela de Parzen

Nesta abordagem fixamos o tamanho da região R para estimar a densidade, fixamos o volume V e determinamos o correspondente k a partir dos dados de aprendizagem e assumimos que a região R é um híperplano de tamanho h cujo volume é hd.

Janela de Parzen

Assim para estimar a densidade no ponto x simplesmente centramos R em x, contamos o número de observações em R e substituímos na equação.

p(x) ≈ (k/n) / V

Exemplo:Considere a região 1D, onde há 6 pontos distribuídos nela.

Definido a região R = 10 (em vermelho), onde o ponto verde representa seu centro. Calcula-se a densidade um ponto, que esteja dentro desta região.

Janela de Parzen

Função de Kernel (φ(u)): Estimador probabilístico não paramétrico (não utiliza média e desvio padrão como parâmetro).

I(|u| < 1) retorna 1 se verdade ou ø se falso.

Janela de Parzen

Kernel φ(u)

Uniforme ½ * I(|u|< 1)

Triangular (1-|u|) * I(|u|< 1)

Epanechnikov ¾*(1 – u2)2 * I(|u|< 1)

Quadrático 15/16 * (1 – u2)2 * I(|u|< 1)

Triweight 35/32 * (1 – u2)3 * I(|u|< 1)

Cosseno π/4 * cos(π/2 * u) * I(|u|< 1)

Utilizando a Função de Kernel Uniforme.

Janela de Parzen (Exemplo)

Demonstrando um exemplo com a Função de Kernel Uniforme. Considere.

u = (x – xi)/ h , onde x é o centro da região R, xi é um ponto qualquer .

Janela de Parzen (Exemplo)

Se xi estiver dentro do hiperplano então φ retorna 1, se xi não estiver dentro do hiperplano então retorna ø.

Janela de Parzen em 1D. Considere a região com a seguinte amostra, X = {2, 3, 4, 8, 10, 11, 12}.

A fórmula para estimar a densidade do ponto x na região R é:

Pφ (x) = 1/n * ∑(1 -> n) 1/hd * φ (x – xi /h )

Janela de Parzen (Exemplo)

Vamos estimar a densidade em x = 1 e usando h = 3. Repare que o número de pontos n = 7.

Lembrando em uma dimensão h = hd.

Janela de Parzen (Exemplo)

Estimando todas as densidades.

A janela é usada na realidade para interpolação, cada ponto xi contribui para o resultado da densidade em x, se x está perto bastante de xi

Janela de Parzen (Exemplo)

Utilizando a Função de Gauss e gerando a Janela de Gaussiana.

kernel Gaussiano

Muda apenas a função Kernel, que passa a ser:

Usando o mesmo exemplo onde X = {2, 3, 4, 8, 10, 11, 12}, porem com h = 1. a Janela Gaussiana seria:

kernel Gaussiano

Para estimar corretamente o tamanho da região. Observe o que acontece quando se utiliza poucos pontos e h pequeno.

kernel Gaussiano

Agora com muitos pontos e h pequeno.

kernel Gaussiano