ネットワークのサイズの問題

キャパシティってなに？

　ディープラーニングでは、モデルの学習可能なパラメータの数を、よくモデルのキャパシティと呼ぶ。直感的に、パラメータの数が多いほどモデルの記憶容量が増え、訓練サンプルとそれらの目的地との写像をまるで辞書のように学習できることがわかる。

キャパシティ大小の違い

キャパシティが小さいモデル

・訓練データがモデル化されるのが(比較的)遅い
・過学習に陥りにくい

オリジナルモデルとより小さなモデルの損失値

キャパシティが大きいモデル

・訓練データがすばやくモデル化される
・過学習に陥りやすい

オリジナルモデルとより大きなモデルの損失値

参照

PythonとKerasによるディープラーニング