自己紹介• 2016 年 4 月～：産総研 AI センター研究員– @hayasick

• 専門：機械学習・データマイニング∩ ! 深層学習• 今年の ICML での成果：– Masaaki Imaizumi, KH

Doubly Decomposing Nonparametric Tensor Regression ( 本会議 )– Satoshi Hara, KH

Making Tree Ensembles Interpretable ( 解釈性 WS)Best paper runner-up

ICML: International Conference of Machine Learning

• NIPS に次ぐ機械学習の国際会議– NIPS >= ICML > AISTATS > 他　 (※ 個人的イメージ )

• 母体： The International Machine Learning Society

• 今年で 33 年目

基本情報• 開催日： 6 月 19 – 24– 9 チュートリアル– 5 パラレルセッション +

1 ポスターセッション– 23 ワークショップ

• 場所：ニューヨーク– タイムズスクエアの隣

指数増加！

トレンドの分析

トピックごとの盛り上がり#

of A

ccep

ted

Pape

rs

ディープラーニングとそれに必要な最適化が伸びている

ディープラーニング• 去年に比べてさらに伸びている – 17 セッション， 57 論文！

• 去年の 25 本から倍以上• 採択数の増分（ 322-270=52 ）の半分を占める？

– 2 ベストペーパー (3 本中 )• Dueling Network Architectures for Deep RL (Google/Deepmind)• Pixel Recurrent Neural Networks (Deepmind)

– 3 ワークショップ – 3 チュートリアル

• 内容はこの読み会で！

最適化• 非凸最適化– 7+ papers (Ctrl-S), 1 tutorial, 1 workshop

• ハイパーパラメータの最適化– 3+ papers, 1 workshop (AutoML)

ディープラーニング以外のトピック

• 従来のトピックも堅実に推移– 特徴選択・スパース学習がやや落ち込む？

現地で感じたこと（１）• 企業の参加者が多かった印象– アカデミアの研究者の数はそこまで増えないはず– 倍増した参加者のほとんどは企業関係？

• 倍増の要因は場所（ NY ）も大きく関係？– 機械学習は米が中心

-> 研究者が来やすい

現地で感じたこと（２）• 企業ブースも相変わらず充実– 基本的にはリクルート目的

• DL ブームはもう１～２年は続きそう– 流行りのパターン：• 性能・応用がすごいのが出てくる

-> 理論解析が進む-> やることがなくなる，のサイクル

– DL はまだ理論面が進んでいない

論文チャンス？• 日本から DL 論文を出せないか？– 残念ながら本会議では０

• DL は性能・応用重視– 意味のある応用，実際に必要な応用– 試行錯誤のため｛マン，マシン｝パワーが重要　　インダストリが得意

• ただし「面白ければ通る」というわけでもない– トップ会議に通すための「作法」– ストーリー，ロジック，網羅的な実験　　アカデミアが得意インダストリ＋アカデミアで何かできないか？

まとめ• ICML 史上最大の参加者• ディープラーニングの伸びはまだ続きそう

Thank you!

Photos

• @mpd37, @MaryanMorel, @_beenkim, @jkomiyama_, @GPUComputing, @fabmilo, @f_negibozu