首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
机器学习
在神经网络中容易出现梯度爆炸的问题,有的地方说是可以用 relu 激活函数来解决,用起来也确实有效果,有点想不通这里面的原理是什么呢?
alixali
·
2018-10-23 16:15:06 +08:00
· 2798 次点击
这是一个创建于 2311 天前的主题,其中的信息可能已经有所发展或是发生改变。
神经网络
relu
函数
梯度
2 条回复
1
66450146
2018-10-23 18:04:49 +08:00
1
f'(x) = 1 就不会有 vanishing gradient 了😂
2
alixali
OP
2018-10-23 22:29:54 +08:00
这个问题在输入数据维度高的时候,和网络层数多的时候出现了,更像是和网络的节点数有关系。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
1057 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms ·
UTC 19:28
·
PVG 03:28
·
LAX 11:28
·
JFK 14:28
Developed with
CodeLauncher
♥ Do have faith in what you're doing.