Metody Deep LearningWykład 7

http://arxiv.org/pdf/1502.01852.pdf

Zaczynamy

Deep Autoencoders

Autoencoders - przypomnienie

● głęboka, wielo-warstwowa sieć neuronowa

● podzielona na dwie części - encoder i decoder

● ostatnia warstwa ma taki sam rozmiar jak wejściowa

SDAE

SDAE - pre-training● trenujemy DAE

warstwa po warstwie w sposób unsupervised

● możliwości RBM lub DAE

SDAE - unrolling● po pretrenowaniu

dodajemy kolejne warstwy w odwrotnej kolejności

● po dodaniu ostatniej, wyjście sieci ma ten sam wymiar co wejście

SDAE - fine-tuning● parametry z

pretrenowania warstwa po warstwie - inicjalizacja wag w warstwach

● trenujemy cały, głęboki autoencoder minimalizując błąd rekonstrukcji -> backpropagation

SDAE - zastosowania

● ekstrakcja cech z zaobserwowanych danych -> przydatne przy semantycznym haszowaniu

● wizualizacja wielowymiarowych danych

Semantyczne haszowanie

PCA - przypomnienie

Neuronowy odpowiednik PCA

Deep Auto Encoder

DAE vs PCAHinton & Salakhutdinov, 2006

Semantic Hashing - Ruslan Salakhutdinov, Geoffrey Hinton, 2006

● Reuters RCV2

● ~ 400k dokumentów z różnych gałęzi

biznesu

● 20 bitowe kody

● retrieval w średnim czasie O(1)

PCA

DAE

Retrieval

Using Very Deep Autoencoders for Content-Based image retrieval - Alex Krizhevsky, Geoffrey Hinton,

2007

● 80 mln obrazków TinyImages

● 32 x 32 piksele

Deep Auto Encoder

Demo