ブランドコンセプトを反映したファッションアイテム類似検索中村

拓磨，上月

正貴，後藤

亮介（VASILY, Inc.）

1. AbstractBackground

ファッション業界には大小様々なブランドが存在する．ファッションアイテムのブランド判別問題において，特に小規模なブランドについて学習に充分なサンプル数を得られない事がある．

Noveltyブランドの意味表現を判別に反映することで小規模なブランドのサンプル数不足をカバーする．

2. MethodBrand semantics

ユーザーのブランドに対する趣向からword2vecを用いて分散表現を抽出する．得られた分散表現をブランドの意味表現とみなす．

3. ResultsData

4. ConclusionConclusion

サンプル数が少ないブランドについて，ブランドの意味表現を利用することで判別タスクにおけるprecisionを改善することに成功した．ブランドをクエリとする画像検索タスクに関しては類似ブランドの画像が得られる事を確認した．

Reference1. A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. A. Ranzato, and T. Mikolov.

DeViSE: A Deep Visual-Semantic Embedding Model. In NIPS, 2013. 2. F. Faghri, D. J. Fleet, J. R. Kiros, and S. Fidler. VSE++: Improved Visual-Semantic

Embeddings. arXiv preprint arXiv:1707.05612, 2017.

Hardest Negative Sampling

IQONのユーザー，ブランドデータ及びワンピース画像を用いる．

- # train samples: 99,847 / # test samples: 24,962 - # users: 808,965 / # brands: 1,509 / # ratings: 5,632,577 - w2v: CBOW, 128dim / K-Means: K=36

Fig. 1. 提案するシステムの概要

Fig. 2. ブランド意味表現の抽出

Deep Visual Semantic Embedding Model (DeViSE)CNNを用いて画像を画像をブランドの意味空間に埋め込む．Loss functionにはhinge rank

loss，類似度の評価にはcosine類似度を用いる [1] ．

Image retrieval学習サンプル数が小さいブランドについて，ブランドベクトルから画像を検索する．

Fig. 4. モデルの概要

w2vlookup table

K-Meansbrand1

brand2

brand3

brand4

brand5

brand cluster 2

brand cluster 1

brand cluster 3

ブランドを埋め込んだ空間

Brand cluster classificationブランドクラスタ判別問題について，SoftmaxとDeViSEをprecisionの観点から比較する．

Model Precision@1

Table 1. 全サンプルに対する平均Precision

Softmax

DeViSE

Precision@5 Precision@10 Precision@20

0.771

0.681

0.292

0.311

0.210

0.243

0.159

0.193

Model Precision@1

Table 2. 各クラスタ毎の平均Precisionの平均

Softmax

DeViSE

Precision@5 Precision@10 Precision@20

0.715

0.661

0.246

0.347

0.168

0.273

0.120

0.206

Fig. 6. クラスタ毎のAccuracy(左)とPrecision(右)のトラジェクトリー

Fig. 5. ブランド毎のサンプル数(左)とブランドクラスタ毎のサンプル数(右)のヒストグラム

ブランドクラスタを構成するブランド群から次のような人物像が描ける．

Fig. 3. ブランド意味表現から得られたブランドクラスタとペルソナの例

- 20代～30代 - ファッション好きで　　ブランドネーム優先

- 独身キャリアウーマンか収入が多い家庭の主婦

- カジュアルより女性　　らしい服装を好む

- 20代～30代 - カジュアルが好き - 雑誌やインスタでトレンドをチェックしている

- ブランドよりアイテム自体や使い回ししやすさ優先

- 比較検討の時間が長い

brand cluster 18

- FREAK’S STORE - URBAN RESEARCH

DOOR - CIAOPANIC TYPY - UNITED ARROWS

green label relaxing - ROSSO

- TORY BURCH - See By Chloé - PRADA - MARC JACOBS - MIUMIU

brand cluster 14

Fig. 7. 学習サンプル数が小さいブランドの検索結果

JOURNAL STANDARD

(# train samples: 10)

Current Elliott (# train

samples: 21)

クエリ 近傍ブランド 検索結果

URBAN RESEARCH MARGARET HOWELL

UNITED ARROWS nano・universe

ENFOLD

EQUIPMENT DEMYLEE

JAMES PERSE Isabel Marant

KAREN WALKER

Embedding pair に対する負例は Hardest negative sample 及び を用いる [2] ．

image

lookup table

CNN

brand ID

similarity metric

fix

training