重みの正則化 より単純なモデルのほうが、より複雑なモデルよりも過学習に陥りにくいため、単純なモデル(パラメータの数が少ないモデル)をつくりたい。 ネットワークの複雑さに歯止めをかけるように重みの値を制限すると、重みの値の分布がより正則化される…

キャパシティってなに？ ディープラーニングでは、モデルの学習可能なパラメータの数を、よくモデルのキャパシティと呼ぶ。直感的に、パラメータの数が多いほどモデルの記憶容量が増え、訓練サンプルとそれらの目的地との写像をまるで辞書のように学習できる…