视角

VAE 原理 似然生成模型：给定一个数据集 $x D$，训练使得模型最大化似然 $p \phi x D $。 1. ELBO 的定义和公式 VAE 的目标是对数据 $x$ 的分布 $p x $ 进行建模，但直接优化 $p x $ 通常不可行。通过引入潜变量 $z$，对对数边际似然 $\log p x $ 进行变分下界（ELBO）的近似： $$ \log p …

一、语义表示的基本概念与方法演进 1.1 语义表示的核心定义 语义表示 旨在将文本（如单词、句子、文档）的含义编码成机器可存储和处理的形式，例如实值向量或经过良好训练的神经网络参数。这种表示使机器能够 " 理解 " 语言的意义，而不仅仅是处理表面符号。 1.2 从符号表示到分布式表示的演进 符号表示 是早期的语义表示方法，其中最典型的是 one hot 编码…

一、深度学习的理论支柱：逼近、优化与泛化 深度学习不仅在应用领域取得巨大成功，其背后也有一套逐渐完善的理论体系支撑。该体系主要围绕三个核心问题展开：深度神经网络能够表示哪些函数（逼近理论）、如何有效优化神经网络参数（优化理论），以及训练好的模型为何能在新数据上表现良好（泛化理论）。 1.1 逼近理论：神经网络的函数表示能力 通用逼近定理 （Universal…