Wenlong Shen's Blog

不宠无惊过一生

Deep Learning Book 学习笔记（13）

Linear Factor Models

许多深度学习的研究前沿均涉及构建输入的概率模型\(p_{model}(x)\)。原则上说，给定任何其他变量的情况下，这样的模型可以使用概率推断来预测其环境中的任何变量。许多这样的模型还具有潜变量\(h\)，进一步地再加上噪声，我们有： \[x=Wh+b+noise\] 不同的模型，比如...

Posted by Wenlong Shen on May 26, 2018

Deep Learning Book 学习笔记（12）

Applications

大规模深度学习深度学习的基本思想基于联结主义：尽管机器学习模型中单个生物性的神经元或者说是单个特征不是智能的，但是大量的神经元或者特征作用在一起往往能够表现出智能。规模的大小对于神经网络来说至关重要，因此深度学习需要高性能的硬件设施和软件实现。目前比较流行的如GPU、分布式计算等，甚至...

Posted by Wenlong Shen on May 23, 2018

Deep Learning Book 学习笔记（11）

Practical Methodology

实践是检验真理的唯一标准常见的一个设计是：确定目标、建立流程、搭建系统、优化改进。性能度量确定目标，即使用什么误差度量，是必要的第一步，确定了改进哪个性能度量，然后专心提高性能度量。如果没有明确的目标，那么我们很难判断机器学习系统上的改动是否有所改进。值得注意的是对于大多数应用...

Posted by Wenlong Shen on May 19, 2018

Deep Learning Book 学习笔记（10）

Sequence Modeling: Recurrent and Recursive Nets

循环递归，无限往复循环神经网络循环神经网络是专门用于处理序列（包括可变长度的序列）的神经网络，其设计模式包括以下几种：1、每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络；2、每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络；3. 隐...

Posted by Wenlong Shen on May 16, 2018

Deep Learning Book 学习笔记（9）

Convolutional Networks

这可是我花了一下午才整明白的卷积！卷积神经网络更多地用于处理具有类似网格结构的数据，如时间序列数据（一维）和图像数据（二维）等。卷积运算卷积运算可以看作是一个函数在另一个函数上的加权叠加，同时，可以将二元函数卷成一元函数从而达到降维的作用： \[s(t)=\int x(a)w...

Posted by Wenlong Shen on May 12, 2018

Deep Learning Book 学习笔记（8）

Optimization for Training Deep Models

优化优化继续优化学习和纯优化有什么不同大多数机器学习是在间接地优化性能度量P，即通过降低代价函数\(J(\theta)\)来提高P，训练深度模型的优化算法通常也会包括一些针对机器学习目标函数的特定结构进行的特化。通常，我们更希望最小化取自数据生成分布\(P_{data}\)的期望，...

Posted by Wenlong Shen on May 9, 2018

Deep Learning Book 学习笔记（7）

Regularization for Deep Learning

泛化好才是真的好~ 机器学习的目的不是训练数据表现好，而是要泛化好，许多策略都显式地设计来减少误差，这些策略被统称为正则化。在实际的深度学习应用中总是会发现，最好的拟合模型是一个适当正则化的大型模型。参数范数惩罚一些正则化方法对目标函数\(J\)添加一个参数范数惩罚\(\Omeg...

Posted by Wenlong Shen on April 28, 2018