Yuzy007 Blog

我干了什么 究竟拿了时间换了什么

卷积神经网络

概念和实例

The best preparation for tomorrow is doing your best today. [TOC] 、 1 卷积神经网络（convolutional networks） ​ 回顾之前的《基于感知机的手写数字识别神经网络》中的例子，基于感知机的神经网络把每个特征一视同仁，放在一起和隐藏层全连接，最后我们得到一个正确率94+%神经网络，结构如下所示...

Posted by 逸杯久 on February 14, 2019

深度神经网络梯度问题

梯度爆炸和梯度消失

Take control of your own destiny [TOC] 、 1 梯度消失和梯度爆炸 ​ 早深层的神经网络中经常会遇到梯度消失和梯度爆炸问题，那么这是如何产生的呢？ 1.1 举栗说明 ​ 这是个每一层只有一个神经元，深度为5的神经网络： ​ 这个网络采用 S 型激活函数，表示第j层的加权和，表示第j层的输出，那么代价函数 C 对的偏导表达式如下：...

Posted by 逸杯久 on February 13, 2019

改进神经⽹络的学习⽅法（四）

超参数调节

“Don’t aim for success if you want it; just do what you love and believe in, and it will come naturally.” [TOC] 、 1 超参数（hyperparameter） 1.1 什么是超参数 In Bayesian statistics, a hyperparamete...

Posted by 逸杯久 on February 12, 2019

改进神经⽹络的学习⽅法（三）

权重初始化

“Action speak louder than words. ” [TOC] 、 1 权重初始化 需要注意下面两点： 独⽴随机变量和的⽅差，是每个独⽴随机变量⽅差的和； ⽅差是标准差的平⽅。 PS：可以用公式 D(kX) = k²D(X)证明上面注意点第一条 1.1 标准正太分布初始化问题 假设某一个隐藏层有10000个节点，并且从前面一层得到的输入 ...

Posted by 逸杯久 on February 11, 2019

改进神经⽹络的学习⽅法（二）

过拟合 和 正则化

“Action speak louder than words. ” [TOC] 1 过拟合（Overfitting） 1.1 什么是过拟合 ​ Google机器学习给出的解释是：创建的模型与训练数据过于匹配，以致于模型无法根据新数据做出正确的预测。 下面我们看一个线性模型的例子： 如下一个简单的训练数据集，我们为其建立模型： ​ 我们分别建立一个线性模型（下图蓝色...

Posted by 逸杯久 on February 8, 2019

反向传播算法

以感知机为例的反向传播过程

“Action speak louder than words. ” [TOC] 1 反向传播 反向传播的过程其实就是计算代价函数的梯度（求导计算）得过程。然后根据求得梯度，更新参数来降低代价。 代价函数是是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。 损失函数是单个样本的误差。 代价函数C和w的关系如下所示： 根据图片可知，常见的梯度下...

Posted by 逸杯久 on February 6, 2019

改进神经⽹络的学习⽅法（一）

交叉熵代价函数和柔性最大值

“Action speak louder than words. ” [TOC] 1 交叉熵代价函数 ​ 在介绍交叉熵代价函数之前，我们先看一个例子： ​ 采用sigmod函数作为激励函数的感知机神经网络公式如下： ​ ​ σ 对 z 的函数的函数图像如下： ​ 观察上图发现问题：当输出 接近1或者0的时候，曲线变得相当平，这时候 接近于0，根据公式（3）和（4）...

Posted by 逸杯久 on January 25, 2019

基于感知机的手写数字识别神经网络

简单的数字识别神经网络

“Action speak louder than words. ” [TOC] 1 构建一个基于感知机的手写数字识别神经网络 对感知机不了解的可以看之前博客《统计学习方法》(李航)读书笔记(二) 1.1 什么是神经网络 下面是莫烦大大的神经网络 (Neural Network)。 1.2 感知机是如何识别数字图形 先举个栗子，本例子不严谨，甚至连推导计算过程都省略了...

Posted by 逸杯久 on January 23, 2019

《Flask Web开发：基于Python的Web应用开发实战 》读书笔记

Windows+Python3.4 的修改版

“I know that my future is not just a dream.” ​ [TOC] 1 《Flask Web开发：基于Python的Web应用开发实战 》读书笔记 ​ Flask 是Python的一个web框架。相比其他框架，它更mini——这意味着该框架源代码量更少，你甚至可以轻松地阅读完其源码，并在其基础上添加新的功能。当然，Flask不仅仅包含We...

Posted by 逸杯久 on January 12, 2019

Windows下Theano环境部署

Anaconda + Theano + GPU 安装

“Learn to walk before you run. ” ​ [TOC] 1 Windows下 Anaconda + Theano + GPU 安装 Theano 是机器学习常用的一个库，由于历史原因，github上相当一部分机器学习的教程和项目采用该库。就我个人而言，网上常见的在 Windows 下搭建 Theano 环境的方法都不够简洁，并且容易出现错误。所以我整...

Posted by 逸杯久 on January 11, 2019

FEATURED TAGS
统计学习方法 神经网络 neural network 感知机 李航 Perceptrons 加快训练 机器学习 Anaconda cuda cudnn machine learning
ABOUT ME

反正不要钱，多少学一点。

FRIENDS