Wenlong Shen's Blog

不宠无惊过一生

Deep Learning Book 学习笔记（19）

Approximate Inference

把推断视作优化问题精确推断问题可以描述为一个优化问题，有许多方法正是由此解决了推断的困难。通过近似这样一个潜在的优化问题，我们往往可以推导出近似推断算法。为了构造这样一个优化问题，假设我们有一个包含可见变量\(v\)和潜变量\(h\)的概率模型。我们希望计算观察数据的对数概率\(l...

Posted by Wenlong Shen on July 14, 2018

Deep Learning Book 学习笔记（18）

Confronting the Partition Function

许多概率模型（通常是无向图模型）由一个未归一化的概率分布定义，我们必须通过除以配分函数来归一化，以获得一个有效的概率分布。对数似然梯度通过最大似然学习无向模型特别困难的原因在于配分函数依赖于参数。对数似然相对于参数的梯度具有一项对应于配分函数的梯度，即机器学习中非常著名的正相（po...

Posted by Wenlong Shen on July 7, 2018

Deep Learning Book 学习笔记（17）

Monte Carlo Methods

采样和蒙特卡罗方法当我们需要以较小的代价近似许多项的和或某个积分时，采样是一种很灵活的选择。机器学习中的许多重要工具都基于从某种分布中采样以及用这些样本对目标量做一个蒙特卡罗估计。重要采样在蒙特卡罗方法中，对积分分解，确定积分中哪一部分作为概率分布以及哪一部分作为被积的函数是很...

Posted by Wenlong Shen on June 30, 2018

Deep Learning Book 学习笔记（16）

Structured Probabilistic Models for Deep Learning

有图有万物非结构化建模的挑战深度学习的目标是使得机器学习能够解决许多人工智能中亟需解决的挑战，这也意味着它们需要能够理解具有丰富结构的高维数据。大部分任务需要对输入数据整个结构的完整理解，所以并不能舍弃数据的一部分。这些任务包括以下几个：估计密度函数：给定一个输入，机器学...

Posted by Wenlong Shen on June 23, 2018

Deep Learning Book 学习笔记（15）

Representation Learning

大脑究竟是如何从非常少的标注样本中学习的？贪心逐层无监督预训练无监督学习在深度神经网络的复兴上起到了关键的、历史性的作用，它使研究者首次可以训练不含诸如卷积或者循环这类特殊结构的深度监督网络。我们将这一过程称为无监督预训练或者贪心逐层无监督预训练。此过程是一个任务（无监督学习，尝试...

Posted by Wenlong Shen on June 16, 2018

Deep Learning Book 学习笔记（14）

Autoencoders

自编码器是神经网络的一种，经过训练后能尝试将输入复制到输出。欠完备自编码器将输入复制到输出听起来没什么用，但我们通常不关心解码器的输出。相反，我们希望通过训练自编码器对输入进行复制而使\(h\)获得有用的特性。从自编码器获得有用特征的一种方法是限制\(h\)的维度比\(x\)小，这...

Posted by Wenlong Shen on June 7, 2018

Deep Learning Book 学习笔记（13）

Linear Factor Models

许多深度学习的研究前沿均涉及构建输入的概率模型\(p_{model}(x)\)。原则上说，给定任何其他变量的情况下，这样的模型可以使用概率推断来预测其环境中的任何变量。许多这样的模型还具有潜变量\(h\)，进一步地再加上噪声，我们有： \[x=Wh+b+noise\] 不同的模型，比如...

Posted by Wenlong Shen on May 26, 2018