从 RNN 到 Transformer,再到 RWKV
1. RNN:带记忆的函数 普通神经网络一般是: RNN 不一样。它多了一个隐藏状态,也就是 memory: 公式上可以写成: 这个 就是 RNN 的核心。 它不是保存完整历史文本,而是把前面读过的内容压缩成一个向量。 比如一句话: RNN 会一个 token 一个 token 地读: 所以 RNN 的本质是: 它强在省。无论前面有多少 token,它理论上…
1. RNN:带记忆的函数 普通神经网络一般是: RNN 不一样。它多了一个隐藏状态,也就是 memory: 公式上可以写成: 这个 就是 RNN 的核心。 它不是保存完整历史文本,而是把前面读过的内容压缩成一个向量。 比如一句话: RNN 会一个 token 一个 token 地读: 所以 RNN 的本质是: 它强在省。无论前面有多少 token,它理论上…
很多人学统计的时候会经历一个很典型的路径。 先学 p value 和假设检验,然后开始做 A/B test,再慢慢接触贝叶斯方法。 再往前走一点,就会看到两个很常见的词: MCMC Variational Inference 第一次看到的时候通常会有点困惑: 这些算法到底在解决什么问题? 其实答案很简单。 它们在解决同一个核心问题: 贝叶斯公式很好看,但后验…
做互联网产品在深层意义上可以看作是一种“开发新的生活方式”,同时是对既有社会行为的再编程。 一、从产品到行为接口(Behavior Interface) 互联网产品本质上是一个 行为接口 : 它通过界面设计和激励机制,引导人们以某种方式行动。 比如: 微信让“即时通讯”变成了 和 ; 抖音让“时间消磨”变成了 社会存在的延伸 ; 小红书把“种草购物”转化成了…
当屏幕熄灭,手柄放下,游戏真的结束了吗? 在传统认知中,游戏体验被严格限定在玩家与设备交互的时间范围内。然而,现代游戏设计的真正较量,往往发生在玩家 离开游戏之后 的那些时刻。那些看似 " 空白 " 的游戏外时间,实际上是注意力动态变化的关键阶段,是决定玩家是否会回归、何时回归的隐形战场。 本文提出一个全新的视角:将游戏外时间纳入游戏设计的核心考量。通过建立…
在现代娱乐形式中,游戏以其交互性和沉浸感,成为了一种独特的媒介。在探讨游戏设计的本质时,许多人提到了“时间”这一维度——游戏通过时间的流逝塑造进程、节奏与成长。然而,若细究其内核,时间并非游戏的真正核心。相较之下, 注意力 更像是一切设计的根基。游戏是通过规则、叙事与反馈来抓住、引导并维持玩家注意力的艺术。而时间,不过是承载注意力的载体。本文试图从“时间”“…
在游戏设计中,“循环(Loop)”常被视为最基础却又最深邃的结构。循环不仅是玩家一次次重复的操作,它更像是支撑整个游戏体验的“呼吸节奏”:在紧张与放松、投入与回报之间建立稳定而富于变化的关系。若我们从循环的角度切入,就会发现一款游戏的魅力往往不在于单一机制,而在于循环如何层层嵌套、彼此呼应。 我将尝试从四个角度来展开思考: 核心玩法循环(Core Loop)…
叙事作为人类最古老的表达方式之一,广泛存在于文学与游戏等艺术形态之中。无论载体如何变化,其核心问题始终在于:如何通过事件、人物与情感的组织,来建构一个有意义的故事。对研究者而言,快速解构一部作品的叙事,是理解其美学价值与文化意义的前提。与细致入微的文本细读不同,快速解构的目标在于在有限时间内勾勒出叙事骨架,并把握情节逻辑与主题旨趣。本文提出一种五维度分析框架…
Agent 到底是什么? 在不同的语境里,它可能是一个简单的自动化脚本,也可能是一个能和人对话、用工具、自己规划任务的复杂系统。名字千变万化,但如果把外壳和工程细节全部剥掉,会发现它们的底层形态惊人地相似。 智能体的本质 从最抽象的层面看,Agent 就是一个持续运行的循环: 感知 → 决策 → 行动 → 更新状态 。 它有四个稳定的特征: 状态 :保存自己…