教育行業(yè)A股IPO第一股（股票代碼 003032）

全國咨詢/投訴熱線：400-618-4000

什么是梯度消失或爆炸？

更新時間:2022年03月03日13時59分 來源:傳智教育 瀏覽次數(shù):

什么是梯度消失或爆炸

根據(jù)反向傳播算法和鏈?zhǔn)椒▌t, 梯度的計(jì)算可以簡化為以下公式:

其中sigmoid的導(dǎo)數(shù)值域是固定的, 在[0, 0.25]之間, 而一旦公式中的w也小于1, 那么通過這樣的公式連乘后, 最終的梯度就會變得非常非常小, 這種現(xiàn)象稱作梯度消失. 反之, 如果我們?nèi)藶榈脑龃體的值, 使其大于1, 那么連乘夠就可能造成梯度過大, 稱作梯度爆炸。

梯度消失或爆炸的危害:

如果在訓(xùn)練過程中發(fā)生了梯度消失，權(quán)重?zé)o法被更新，最終導(dǎo)致訓(xùn)練失敗; 梯度爆炸所帶來的梯度過大，大幅度更新網(wǎng)絡(luò)參數(shù)，在極端情況下，結(jié)果會溢出(NaN值)。



猜你喜歡：

Fast算法原理：fastica算法步驟詳解

Shi-Tomasi角點(diǎn)檢測原理和實(shí)現(xiàn)代碼

人工智能的起源和人工智能發(fā)展歷程

英偉達(dá)發(fā)布Orin系統(tǒng)芯片助力AI加速

傳智教育Ai人工智能培訓(xùn)

0 分享到：
和我們在線交談！