Yuzy007 Blog

我干了什么 究竟拿了时间换了什么

卷积神经网络

概念和实例

The best preparation for tomorrow is doing your best today. [TOC] 、 1 卷积神经网络(convolutional networks) ​ 回顾之前的《基于感知机的手写数字识别神经网络》中的例子,基于感知机的神经网络把每个特征一视同仁,放在一起和隐藏层全连接,最后我们得到一个正确率94+%神经网络,结构如下所示...

深度神经网络梯度问题

梯度爆炸和梯度消失

Take control of your own destiny [TOC] 、 1 梯度消失和梯度爆炸 ​ 早深层的神经网络中经常会遇到梯度消失和梯度爆炸问题,那么这是如何产生的呢? 1.1 举栗说明 ​ 这是个每一层只有一个神经元,深度为5的神经网络: ​ 这个网络采用 S 型激活函数,表示第j层的加权和,表示第j层的输出,那么代价函数 C 对的偏导表达式如下:...

改进神经⽹络的学习⽅法(四)

超参数调节

“Don’t aim for success if you want it; just do what you love and believe in, and it will come naturally.” [TOC] 、 1 超参数(hyperparameter) 1.1 什么是超参数 In Bayesian statistics, a hyperparamete...

改进神经⽹络的学习⽅法(三)

权重初始化

“Action speak louder than words. ” [TOC] 、 1 权重初始化 需要注意下面两点: 独⽴随机变量和的⽅差,是每个独⽴随机变量⽅差的和; ⽅差是标准差的平⽅。 PS:可以用公式 D(kX) = k²D(X)证明上面注意点第一条 1.1 标准正太分布初始化问题 假设某一个隐藏层有10000个节点,并且从前面一层得到的输入 ...

改进神经⽹络的学习⽅法(二)

过拟合 和 正则化

“Action speak louder than words. ” [TOC] 1 过拟合(Overfitting) 1.1 什么是过拟合 ​ Google机器学习给出的解释是:创建的模型与训练数据过于匹配,以致于模型无法根据新数据做出正确的预测。 下面我们看一个线性模型的例子: 如下一个简单的训练数据集,我们为其建立模型: ​ 我们分别建立一个线性模型(下图蓝色...

反向传播算法

以感知机为例的反向传播过程

“Action speak louder than words. ” [TOC] 1 反向传播 反向传播的过程其实就是计算代价函数的梯度(求导计算)得过程。然后根据求得梯度,更新参数来降低代价。 代价函数是是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。 损失函数是单个样本的误差。 代价函数C和w的关系如下所示: 根据图片可知,常见的梯度下...

改进神经⽹络的学习⽅法(一)

交叉熵代价函数和柔性最大值

“Action speak louder than words. ” [TOC] 1 交叉熵代价函数 ​ 在介绍交叉熵代价函数之前,我们先看一个例子: ​ 采用sigmod函数作为激励函数的感知机神经网络公式如下: ​ ​ σ 对 z 的函数的函数图像如下: ​ 观察上图发现问题:当输出 接近1或者0的时候,曲线变得相当平,这时候 接近于0,根据公式(3)和(4)...

基于感知机的手写数字识别神经网络

简单的数字识别神经网络

“Action speak louder than words. ” [TOC] 1 构建一个基于感知机的手写数字识别神经网络 对感知机不了解的可以看之前博客《统计学习方法》(李航)读书笔记(二) 1.1 什么是神经网络 下面是莫烦大大的神经网络 (Neural Network)。 1.2 感知机是如何识别数字图形 先举个栗子,本例子不严谨,甚至连推导计算过程都省略了...

《Flask Web开发:基于Python的Web应用开发实战 》读书笔记

Windows+Python3.4 的修改版

“I know that my future is not just a dream.” ​ [TOC] 1 《Flask Web开发:基于Python的Web应用开发实战 》读书笔记 ​ Flask 是Python的一个web框架。相比其他框架,它更mini——这意味着该框架源代码量更少,你甚至可以轻松地阅读完其源码,并在其基础上添加新的功能。当然,Flask不仅仅包含We...

Windows下Theano环境部署

Anaconda + Theano + GPU 安装

“Learn to walk before you run. ” ​ [TOC] 1 Windows下 Anaconda + Theano + GPU 安装 Theano 是机器学习常用的一个库,由于历史原因,github上相当一部分机器学习的教程和项目采用该库。就我个人而言,网上常见的在 Windows 下搭建 Theano 环境的方法都不够简洁,并且容易出现错误。所以我整...