はとむぎ研究室

大学生の備忘録でした

ネットワークのサイズの問題

機械学習 keras 過学習

キャパシティってなに？

　ディープラーニングでは、モデルの学習可能なパラメータの数を、よくモデルのキャパシティと呼ぶ。直感的に、パラメータの数が多いほどモデルの記憶容量が増え、訓練サンプルとそれらの目的地との写像をまるで辞書のように学習できることがわかる。

キャパシティ大小の違い

キャパシティが小さいモデル

・訓練データがモデル化されるのが(比較的)遅い
・過学習に陥りにくい

f:id:heart_mugi:20200911181802j:plain
オリジナルモデルとより小さなモデルの損失値

キャパシティが大きいモデル

・訓練データがすばやくモデル化される
・過学習に陥りやすい

f:id:heart_mugi:20200911181806j:plain
オリジナルモデルとより大きなモデルの損失値

参照

PythonとKerasによるディープラーニング

PythonとKerasによるディープラーニング

  • 作者:Francois Chollet
  • 発売日: 2018/05/28
  • メディア: 単行本（ソフトカバー）

恋人ができる確率

数理モデル

準備

確率変数 X_nの定義

確率変数 X_1, X_2, ..., X_nは独立であり、取り得る実現値 x_1, x_2, ..., x_nは、

0・・・相手が自分のことを好きにならない

1・・・相手が自分のことを好きになる

となる。

 

確率ｐの定義

相手が自分のことを好きになる確率をpとする。このとき、相手が自分のことを好きにならない場合の確率は(1-p)となる。

 

本題

誰1人自分のことを好きにならない確率

確率変数X_1, X_2, ..., X_nは独立なので、

P(X_1=0, X_2=0, ..., X_n=0)\\=P(X_1=0)P(X_2=0)･･･P(X_n=0)\\=(1-p)\times (1-p)\times ･･･\times (1-p)\\=(1-p)^n

 となる。

 

1人以上が自分のことを好きになる確率

余事象より、

1-(1-p)^n

となる。

 

恋人が出来る確率モデル

確率変数Xを、X=\sum_{k=1}^{n}X_kとおく。

つまりXの実現値xは、自分のことを好きになる人の数である。

X=x人のときを考える。このとき、n人からx人を選ぶことになるので、その組み合わせの数は{}_n C_x通りとなる。

よって、恋人がx人できる確率は、

{}_n C_x \cdot p^x \cdot (1-p)^{n-x}

となる。

具体的な値を代入して実際にやってみる！

ある期間中(1年間とか)に出会う異性の人の数n=100人とする。

その人たちが自分のことを好きになる確率は一律にp=0.005であるとする。

その人たちの内、自分のことを好きになる人が3人出てくる確率を求める。

{}_{100} C_3 \cdot 0.005^3 \cdot (1-0.005)^{100-3}\\={}_{100} C_3 \cdot 0.005^3 \cdot 0.995^{97}\\=0.0124 \cdots\\ \simeq 0.01

つまり、1\%(低い！)

 

参考

 

その問題、数理モデルが解決します

その問題、数理モデルが解決します