為什麼神經網絡參數w不能全部初始化為全0?

為什麼神經網絡參數w不能全部初始化為全0?

為什麼神經網絡參數w不能全部初始化為全0?


資料來源: https://mp.weixin.qq.com/s?__biz=MzU3NjE4NjQ4MA==&mid=2247487681&idx=3&sn=248e25bae6cccf2bf796f1fb12c6f0fe&chksm=fd16e1deca6168c8fe979f451c09968f642779073757dd9f37b44cc3bd9b2ff7cddb22a7ccb6&scene=126&sessionid=1583905721&key=702e681046598d8fe3c01948084962eae7e8554d06f477014b5afbd5d4ca3be208cbffe8f86d5b07c53f36f01627c64effca1eadb594367d941e4b621901b6c388700da69cb51ce3af3bd7da19c78582&ascene=1&uin=MjIwODk2NDgxNw%3D%3D&devicetype=Windows+10&version=62080079&lang=zh_TW&exportkey=AtvbXonGS90CszHTPo1f1ys%3D&pass_ticket=7bDqhTe8Py4A%2BCPwzllGxe7ADZfbcW43RlLaFAM8jwrp%2BZkXzYJXorDm0Y5EIgkn


w初始化全為0,很可能直接導致模型失效,無法收斂。

因此可以對w初始化為隨機值解決(在cnn中,w的隨機化,也是為了使得同一層的多個filter,初始w不同,可以學到不同的特徵,如果都是0或某個值,由於計算方式相同,可能達不到學習不同特徵的目的)

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *