[干货分享] 最细致的卷积神经网络算法解析

高大上的既视感

哇，写的好详细~~赞一个~~

不过有以下几点想补充以下：
- 输入图像一般需要归一化，但这个归一化应该是直接除以 255 ，即最大像素值，不是使用 sigmoid 或者 tanh 函数吧。
- 梯度发散：这个就像你说的那样，因为本身已经把输入归一化，而且更新梯度时一般都有个学习率的值， 0 到 1 之间的多个值相乘，就会变得很小，以至于无法更新参数的值，这就是梯度发散了。当然，训练数据的不合理也会导致梯度发散。其实，最终收敛的结果就是学习到的模型。
- 高斯池化：池化参数符合高斯分布，这个你了解下图像模糊的公式，就知道这其实也是卷积啦~~

去年研究过一段深度学习，上面几点理解可能会有偏差，与君互勉~~ :-P

加油~已加 pocket 晚上再看

@shadowind 看得好仔细，谢谢！我是刚刚开始学习，需要补充的地方太多啦

@ilotuo 好啊，欢迎到时候使劲拍砖！

技术贴留名。。。

赞！不过数学公式不太好看，建议楼主考虑支持下 mathjax 。

分享一个 UFLDL 教程， http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

@shadowind 我又想了一下，如此说来，那 CNN 其实对梯度发散也是没招了？

@egrcc 嗯，这些公式是用 LaTeX 写的，然后用了一个服务变成图片。。你看一下图片的链接就知道了。。。

@rock_cloud 嗯，这个教程确实不错，我之前也看过的~

太高大上了，函数看不懂。。。 damn 。。。

@moonshile 你可以直接嵌入 mathjax 的 js 文件，然后就会直接渲染成公式，不会变成图片，这样更美观一些

@egrcc 好的，我试试，谢谢！

@moonshile 招数就是调参啊，感觉用 CNN ，一个重点在于数据准备，另一个重点就在于调参了，嘿嘿~~改改学习率什么的，又是一轮漫长的训练。

@shadowind 貌似任何机器学习算法的招数都是这样。。不过我这里着重的推导过程，不然看着代码或者公式结果似懂非懂。。调参上我还是菜鸟，需要练习。。

BP 神经网络没有使用最小二乘排除 local minimal 吗

@zerh925 它是通过损失函数最小化求解的，我自己的理解吧，这个相当于就是最小二乘吧。。

@moonshile 为啥网页刷新后能显示公式，当切换 tab 或滚动后就变[Math Processing Error]了

@l6751902 这个我还真没遇见过。。你用的什么浏览器？换个浏览器试试，或者看看这里的公式能不恩那个显示 https://www.mathjax.org/

firefox40.0.3 ， mathjax.org 上的没问题， 还有我开网银兼容模式也没问题。。

打不开了