Deep Learning 勉強会/概要 †

教材を輪読することで、深層学習の基礎や自然言語処理への応用を学びます。

2017 †

Date

3月30日~ 木曜日 10:00~12:00, 5月11日~ 火曜日 16:20~17:50

Members

松林，松田，横井，栗原，高橋，鶴田，清野，塙

内容 †

• 読む本：Deep Learning, Book in preparation for MIT Press- Yoshua Bengio and Ian J. Goodfellow and Aaron Courville URL
• 🔒esaページ

日程・担当 †

1 Introduction †

• 個々人が頑張って読む

2 Linear Algebra †

• 03/30
  • 鶴田 2.1-2.5:
• 04/06
  • 横井 2.6, 2.7: 🔒 annotated, 🔒おまけ(固有値分解, 正定値対称行列)
• 04/18
  • 清野 2.8-2.12: 🔒内部資料

3 Probability and Information Theory †

• 04/18
  • 栗原 3.1-3.5: 🔒内部資料
• 04/21
  • 栗原 3.6-3.8: 🔒内部資料
• 04/25
  • 栗原 3.9-3.14: 🔒内部資料

4 Numerical Computation †

• 05/16
  • 高橋 4.1-4.3, 4.5: notebook
• 05/23
  • 高橋 4.3.1-4.4: notebook

5 Machine Learning Basics †

• 5/26
  • 清野 5.5, 5.7: 🔒esa
• 6/03
  • 清野 5.5, 5.7: 🔒esa
• 6/10
  • 塙 5.1, 5.2: 🔒esa
• 6/17
  • 塙 5.3, 5.4: 🔒esa
• 7/18
  • 横井 5.6: 🔒内部資料, 🔒esa
• 8/1
  • 横井 5.8 (+ 2.12): 🔒esa, 🔒esa
• 9/19
  • 栗原 5.9-5.10 🔒内部資料
• 9/26
  • 松田 5.11: 🔒esa

6 Feedforward Deep Networks †

• 03/30
  • 松田 6.1: (資料なし)
• 04/06
  • 松田 6.2: 🔒内部資料
  • 清野 6.3, 6.4: 🔒内部資料
• 04/14
  • 栗原 6.5.1-6.5.5: 🔒内部資料，🔒補足スライド
• 04/21
  • 栗原 6.5.6-6.5.10: 🔒内部資料，🔒補足スライド
• 05/08
  • 清野 6.5.6リベンジ: 🔒内部資料

7 Regularization †

• 松林 7.5-7.10 🔒内部資料 🔒内部資料2

• 05/30
  • 横井 7.1.1 🔒内部資料 🔒esa
• 06/13
  • 横井 7.1.2 🔒内部資料 🔒esa
• 06/20
  • 横井 7.2–7.3 🔒内部資料 🔒esa
• 06/27
  • 清野 7.11 7.12🔒内部資料
• 7/11
  • 塙 7.13, 7.14: 🔒esa

8 Optimization for Training Deep Model †

• 9/19
  • 中村 8.1: 🔒esa
• 9/26
  • 高橋 8.2-8.2.6: 🔒内部資料
• 10/2
  • 高橋 8.2.7-8.2.8 🔒内部資料
  • 高橋 8.3-8.3.3 🔒内部資料
• 11/13 -> 11/20
  • 栗原 8.6 🔒内部資料

9 Convolutional Networks †

10 Sequence Modeling: Recurrent and Recursive Nets †

11 Practical Methodology †

12 Applications †

13 Structured Probabilistic Models for Deep Learning †

14 Monte Carlo Methods †

15 Linear Factor Models and Auto-Encoders †

16 Representation Learning †

17 The Manifold Perspective on Representation Learning †

18 Confronting the Partition Function †

19 Approximate Inference †

20 Deep Generative Models †

過去の記録 †

• 2015