技术

1. 任务定义与研究背景 “故事图像生成”（Story to Image Generation）任务指的是：给定一段包含多个句子的自然语言故事，生成一系列连贯的图像来可视化该故事。与传统的单句描述生成单张图像的 文本生成图像 不同，故事图像生成面临着 跨图一致性 等独特挑战 StoryGAN: A Sequential Conditional GAN for…

CLIP（Contrastive Language Image Pretraining） CLIP 由 OpenAI 开发，是一个 多模态（文本 + 图像）预训练模型 ，可以理解图像和文本之间的关联。它的核心思想是 通过对比学习（Contrastive Learning） 让模型学习 “文本 图像” 之间的匹配关系 。 CLIP 的主要能力： 直接从自然语言…

VAE 原理 似然生成模型：给定一个数据集 $x D$，训练使得模型最大化似然 $p \phi x D $。 1. ELBO 的定义和公式 VAE 的目标是对数据 $x$ 的分布 $p x $ 进行建模，但直接优化 $p x $ 通常不可行。通过引入潜变量 $z$，对对数边际似然 $\log p x $ 进行变分下界（ELBO）的近似： $$ \log p …

一、语义表示的基本概念与方法演进 1.1 语义表示的核心定义 语义表示 旨在将文本（如单词、句子、文档）的含义编码成机器可存储和处理的形式，例如实值向量或经过良好训练的神经网络参数。这种表示使机器能够 " 理解 " 语言的意义，而不仅仅是处理表面符号。 1.2 从符号表示到分布式表示的演进 符号表示 是早期的语义表示方法，其中最典型的是 one hot 编码…

一、深度学习的理论支柱：逼近、优化与泛化 深度学习不仅在应用领域取得巨大成功，其背后也有一套逐渐完善的理论体系支撑。该体系主要围绕三个核心问题展开：深度神经网络能够表示哪些函数（逼近理论）、如何有效优化神经网络参数（优化理论），以及训练好的模型为何能在新数据上表现良好（泛化理论）。 1.1 逼近理论：神经网络的函数表示能力 通用逼近定理 （Universal…