ReNomによるNeural Style Transfer

ReNom User Group #3

ReNomによるNeural Style Transfer

2017/11/08

後藤昂彦

自己紹介

名前後藤昂彦（ごとうあきひこ）

仕事特許庁審査第四部電子商取引検索技術，データベース等の特許審査を担当非エンジニア

ReNom歴 1ヶ月 2年半ぶりにコード書いた

※本内容は組織の意見を代表するものではありません1

今日話すこと

Neural Style TransferをReNomで実装してみた

Neural Style Transferとは?

アルゴリズムをざっくり説明

ReNomによる実装例

実行結果2

Neural Style Transferとは?

DNNを使ったStyle Transfer（画風変換） Gatys et al., 2016.画像を”名画っぽく”変換してくれる

活用例

3

コンテンツ画像スタイル画像

↑モバイルアプリ「Prisma」

#ProjectPuppetron →(Adobe Max 2017 Sneaks)

服のデザイン →(Ganesan et al., 2017)

アルゴリズム

コンテンツとスタイルの分離

画素を変数とする最適化問題として定式化

4

StyleRepresentation

ContentRepresentation C

S

アルゴリズム

学習済みCNNの特徴空間を利用 Content表現:高レイヤーの特徴マップ出力 Style表現:レイヤー内の特徴マップ間の相関

5

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


6

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


7

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

“猫”

アルゴリズム


8

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

“猫”

画像を入力したときの中間層の出力に着目

アルゴリズム


9

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

“猫”


アルゴリズム


10

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

“猫”


アルゴリズム


11

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


12

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


13

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


14

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

アルゴリズム


15

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

勾配降下法

アルゴリズム


16

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

勾配降下法

アルゴリズム


17

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

勾配降下法

アルゴリズム


18

Layer1

Layer2

Layer3

Layer4

Layer5

VGG-16

勾配降下法

ReNomによる実装（骨子）

19

model = VGG16()model.load("./weights_vgg16.h5")model.set_prevent_update(True)

x = rm.Variable(p.copy())

for i in range(epoch):features_x = model(x)

loss = 0. # Style loss.for layer in ["layer1", "layer2", "layer3", "layer4", "layer5"]:

gram_x = gram_mat(features_x[layer])loss += w * rm.mean_squared_error(gram_x, gram_a[layer])¥

/ (2. * (channels*height*width)**2)# Content loss.layer = "layer4"loss += lam * rm.mean_squared_error(features_x[layer], features_p[layer])

# Updateloss.grad().update(optimizer)

①モデルの定義・学習済みの重みを読み込み・モデルの重みは更新しない

②生成画像をVariable型で初期化

③モデルの順伝播計算（各レイヤーの特徴マップ出力を取得）

④Style lossの計算

⑤Content lossの計算

⑥勾配計算して画素をUpdate

lossさえ定義できればあとはReNomにおまかせ

実行結果

20

GPU:ONepoch:2000生成時間:11分49秒

画像生成の様子（epoch 0 → 50）

21

その他の結果（1/2）

22

その他の結果（2/2）

23

まとめ

Neural Style TransferをReNomで実装したネットワークの重みではなく画素を更新する枠組み

コードは割とシンプル lossさえ定義できればあとはgrad().update()でOK

入力画像やパラメタにもよるが，比較的きれいな画像を生成できた

24

ReNomチュートリアルに項目があるので，興味のある方は試してみてください!・・・GPUないと数時間かかるけど・・・

References（1/2） Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. “Image

style transfer using convolutional neural networks.” CVPR 2016.

Simonyan, K. and Zisserman, A. “Very Deep Convolutional Networks for Large-Scale Image Recognition”, arXiv:1409.1556

Prisma [https://prisma-ai.com/]

#ProjectPuppetron: Adobe MAX 2017 (Sneak Peeks) | Adobe Creative Cloud [https://www.youtube.com/watch?v=UYZMyV6bqKo]

Ganesan, Ashwinkumar, and Tim Oates. "Fashioning with Networks: Neural Style Transfer to Design Clothes." arXiv:1707.09899, 2017

25

References（2/2） “The Starry Night” , Vincent van Gogh, 1889.

“Portrait of Mademoiselle Irene Cahen d’Anvers”by Pierre-Auguste Renoir, 1880.

“The Great Wave off Kanagawa”by Katsushika Hokusai, 1847.

“Blue Painting” by Wassily Kandinsky, 1924.

Images from Pixabay [https://pixabay.com/]

26

おまけ

特許出願されてるっぽい

出願人は論文著者ら

ヨーロッパに国際出願

最終結果は出ていない模様

27

28

Thank you!

Data & Analytics

ReNomによるNeural Style Transfer