前段时间在想，纺织女工是否也曾迷茫过呢？

AI指数级涌现的能力，对知识劳动的冲击实在太快，也很残忍。

或许长期来看，新的生产力会为中学引入新课程、大学引入新专业、社会引入新工种；但是现在，一切都太快了，大抵还是需要配套的劳动制度、福利制度来作为缓冲垫。

且不从理性上罗列AI已经或未来可替代哪些知识劳动，现在单纯想从感性上胡乱写点什么。

假如真的可以、并且需要AI来解放生产力，解放出来的生产力又何去何从呢；毕竟微观史观下一个人也只有一次二三十岁。

个体的所有迂回叙事、徘徊试探，每一步纠结与探索，是不是也有无奈、也在为回归到一个新的时代做贡献呢？

想到最近刷到很多“总观效应”，也想到近来随手发过的一条消息：“在怀疑AI和怀疑自己中间，终于陷入了虚无主义”。

虽然有时候挺喜欢搞些赛博朋克，但其实叶公好龙罢了，看看电影、读读小说什么的，本质完全不希望世界真的赛博朋克起来啊喂。

乱写的。明天会更好。

明天还是会爬起来学AI。

从神经网络、梯度下降与反向传播，一路理解 Transformer、Attention、MLP、预训练和自回归生成。

文档信息	内容
学习主线	3Blue1Brown 神经网络课程第 1–7 章
延伸主题	Tokenization、RoPE、GQA、KV Cache、SwiGLU、MoE、后训练与智能体系统
适合读者	已具备基础线性代数直觉，希望系统理解 LLM 底层机制的学习者
更新日期	2026-07-14

---

目录

1. 全局心智模型
2. 神经网络：参数化的函数
3. 损失函数、梯度下降与反向传播
4. 为什么预测下一个 token 能学到复杂规律
5. Tokenization 与 Embedding
6. Transformer Block
7. Attention：跨 token 的信息通信
8. 位置编码与因果掩码
9. MLP：单个 token 内的非线性计算
10. 预训练与后训练
11. 推理：从 logits 到下一个 token
12. 现代 LLM 的关键升级
13. 模型与智能体系统
14. 常见误区
15. 核心公式速查
16. 术语表
17. 参考资料

---

1. 全局心智模型

LLM 可以看成一个拥有大量参数的条件概率函数：

$$P(x_{t+1}\mid x_1,x_2,\ldots,x_t;\theta)$$

其中：

• x₁, …, xₜ 是当前上下文中的 token；
• θ 是训练得到的全部参数；
• 输出是词表中每个 token 成为下一个 token 的概率。

核心认识
人类设计网络结构、维度和训练目标；训练过程决定参数的具体数值；推理时，固定参数与当前上下文共同产生动态激活和输出概率。

---

2. 神经网络：参数化的函数

2.1 单层神经网络

神经网络的基本计算是线性变换加非线性激活：

$$z=Wx+b$$ $$a=\sigma(z)$$

符号	含义
x	输入向量
W	权重矩阵
b	偏置向量
σ	ReLU、GELU、SiLU 等非线性函数
a	输出激活值

如果没有非线性函数，多层线性变换：

$$W_3W_2W_1x$$

仍然等价于一个线性变换，无法表达复杂的条件组合。

2.2 参数与激活

这是理解 LLM 时最重要的区分之一：

类型	生命周期	作用
参数 Parameters	训练后长期保存	定义模型学到的变换规则
激活 Activations	每次前向计算临时产生	表示当前输入在各层的动态状态
KV Cache	本次生成过程中暂存	避免重复计算历史 token 的 Key/Value

推理阶段通常不会重新训练参数。模型使用同一套 W_Q、W_K、W_V，但因为输入 X 不同，产生的 Q、K、V 和最终概率也不同。

---

3. 损失函数、梯度下降与反向传播

3.1 损失函数

语言模型通常使用交叉熵衡量预测误差：

$$L=-\log P_\theta(x_{t+1}\mid x_{\le t})$$

如果正确 token 的预测概率越高，损失越小：

正确 token 概率 0.80 → 损失较小
正确 token 概率 0.01 → 损失很大

对一段序列，可以同时计算多个位置的损失：

$$L=-\sum_t\log P_\theta(x_{t+1}\mid x_{\le t})$$

3.2 梯度下降

梯度表示每个参数发生微小变化时，损失将如何变化：

$$\nabla_\theta L= \left[ \frac{\partial L}{\partial\theta_1}, \frac{\partial L}{\partial\theta_2}, \ldots \right]$$

参数沿降低损失的方向更新：

$$\theta\leftarrow\theta-\eta\nabla_\theta L$$

η 是学习率。现代训练通常使用 AdamW 等优化器，但核心思想仍然是依据梯度逐步降低总体损失。

3.3 反向传播

反向传播利用链式法则，从最终损失向前高效计算所有参数的梯度：

损失
 ↓
输出投影
 ↓
最后一层 MLP
 ↓
最后一层 Attention
 ↓
……
 ↓
Embedding

一次预测错误可能同时调整：

• token embedding；
• 每层的 W_Q,W_K,W_V,W_O；
• MLP 参数；
• 归一化参数；
• 最终输出投影；
• MoE 中的专家网络与路由参数。

注意
模型不是分别训练每个 Attention head。所有 head、MLP 和其他组件围绕同一个总体损失联合优化，因此会共同适应和协作。

---

4. 为什么预测下一个 token 能学到复杂规律

训练目标看起来只是预测下一个 token，但准确完成这一目标可能要求模型掌握：

• 语法与词义；
• 指代与长距离依赖；
• 时间、空间和因果线索；
• 代码和数学结构；
• 文本风格与人类意图；
• 大量世界知识与任务模式。

例如：

小王把书放进箱子，随后搬走了箱子。
书现在在哪里？

要预测合理答案，模型需要组合：

包含关系 + 移动关系 + 时间顺序 + 状态追踪

因此，下一个 token 预测是训练信号，不是模型最终能力的边界。

模型参数对规律的储存通常是分布式的：

• 一个规律会分散在多个层、多个 head 和大量参数中；
• 同一个参数可能参与许多不同规律；
• 模型既可能概括共性，也可能记忆部分具体样本；
• 训练数据中的偏见和错误关联也可能被一起学到。

---

5. Tokenization 与 Embedding

5.1 Tokenization

模型不会直接读取字符串，而是先将文本切分为 token。token 可能是：

• 一个完整词；
• 一个词的一部分；
• 标点或空格模式；
• 常见代码片段；
• 特殊控制符。

unbelievable → un + believ + able

5.2 Embedding

每个 token ID 从嵌入矩阵中取得一个初始向量：

$$e_i=E[\mathrm{token}_i]$$

若词表大小为 V，隐藏维度为 d_model：

$$E\in\mathbb{R}^{V\times d_{\text{model}}}$$

隐藏维度通常由设计者在训练前确定，需要综合：

• 表达容量；
• 总参数和计算预算；
• Transformer 层数；
• Attention 头数；
• 数据规模；
• 训练与推理成本；
• GPU/TPU 的硬件效率。

5.3 初始向量与上下文化向量

初始 embedding 主要表示 token 的基础身份。经过 Transformer 多层处理后，同一 token 会根据上下文形成不同表示：

苹果发布了新产品 → 公司语境
我吃了一个苹果   → 水果语境

向量的维度通常保持不变，变化的是各维数值及其所编码的上下文信息。

---

6. Transformer Block

现代 decoder-only Transformer block 常可简化为：

$$X'=X+\operatorname{Attention}(\operatorname{Norm}(X))$$ $$X_{\text{next}} =X'+\operatorname{MLP}(\operatorname{Norm}(X'))$$

残差连接：

$$X+f(X)$$

使每层只需学习“应该在已有表示上增加什么修正”，并帮助梯度穿过很深的网络。

整个堆叠可以概括为：

收集信息 → 加工信息 → 再收集 → 再加工 → ……

---

7. Attention：跨 token 的信息通信

7.1 Q、K、V 的生成

设一层收到的上下文表示为：

$$X\in\mathbb{R}^{n\times d_{\text{model}}}$$

通过训练得到的投影矩阵：

$$Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V$$

注意力计算为：

$$A=operatorname{softmax} \left( \frac{QK^\mathsf{T}}{\sqrt{d_k}}+M \right)$$ $$O=AV$$

其中 M 是可选的 Attention mask。

组件	直觉
Query	当前 token 正在寻找什么
Key	每个位置可以以什么身份被匹配
Value	匹配后实际传递什么信息
QKᵀ	当前关系规则下的兼容程度

7.2 Q/K 匹配不只是语义相似

高匹配度不一定表示两个 token 意思相似，也可能表示：

• 代词与指代对象；
• 动词与宾语；
• 问题与证据；
• 变量使用与变量定义；
• 左括号与右括号；
• 原因与结果。

对 token i、j：

$$q_i=x_iW_Q,\qquad k_j=x_jW_K$$ $$s_{ij}=q_i k_j^\mathsf{T} =x_iW_QW_K^\mathsf{T}x_j^\mathsf{T}$$

W_QW_Kᵀ 可以理解为某个 Attention head 学到的一种关系匹配器。

7.3 Q、K、V 的维度关系

对于单个 head：

$$Q\in\mathbb{R}^{n_q\times d_k},\qquad K\in\mathbb{R}^{n_k\times d_k}$$

Q 和 K 的 token 数可以不同，但参与点积的最后一维必须兼容：

$$QK^\mathsf{T}\in\mathbb{R}^{n_q\times n_k}$$

Value 可以是：

$$V\in\mathbb{R}^{n_k\times d_v}$$

于是：

$$AV\in\mathbb{R}^{n_q\times d_v}$$

数学上并不要求：

$$d_v=d_k=d_{\text{model}}$$

但许多模型会令单个 head 的 d_v = d_k = d_head。

7.4 Multi-Head Attention

多个 head 允许同一层并行学习多种关系。若：

$$d_{\text{model}}=4096,\qquad h=32$$

常见设计为：

$$d_{\text{head}}=4096/32=128$$

每个 head 产生自己的输出，拼接后通过 W_O 投影回 d_model。

解释性限制
某个 head 可能表现出语法、指代或检索倾向，但真实功能往往是分散且混合的，不宜把每个 head 当作一个固定、清晰的人工规则。

---

8. 位置编码与因果掩码

8.1 双向注意力与因果注意力

Attention 机制本身允许一个 token 同时关注上文和下文。BERT 类编码器通常采用双向注意力。

自回归 LLM 则通常使用因果掩码：

$$M_{ij}= \begin{cases} 0,&j\le i\\ -\infty,&j>i \end{cases}$$

token 1：只能看 1
token 2：可以看 1–2
token 3：可以看 1–3
token 4：可以看 1–4

即使训练时所有位置在 GPU 上并行处理，mask 仍会阻止未来 token 泄漏。

8.2 信息是否集中在最后一个 token

最后位置拥有整个前缀的可见范围，并用于预测下一个 token，但不能把它理解成“所有上下文被无损搬到最后一个向量”：

• 最后向量是针对当前预测形成的有限维压缩表示；
• 历史信息仍分布在各 token 的多层表示和 K/V 中；
• 新 token 可重新关注不同历史位置；
• 每生成一个 token，新的末位位置都会重新形成。

8.3 位置编码

如果没有位置信息，Attention 很难区分：

狗 咬 人
人 咬 狗

常见位置机制包括：

1. 绝对位置编码；
2. 相对位置偏置；
3. RoPE（Rotary Position Embedding）。

RoPE 根据位置旋转 Q/K：

$$q_i'=R_iq_i,\qquad k_j'=R_jk_j$$

由于：

$$R_i^\mathsf{T}R_j=R_{j-i}$$

点积会自然包含相对距离 j-i。

---

9. MLP：单个 token 内的非线性计算

Attention 负责跨 token 通信；MLP 负责对每个 token 已收集的信息进行非线性加工：

Attention：应该从哪里读取信息？
MLP：读取到信息后应该如何组合和变换？

经典 MLP：

$$\operatorname{MLP}(x) =W_2\sigma(W_1x+b_1)+b_2$$

通常先扩维再压缩：

$$d_{\text{model}} \rightarrow d_{\text{ff}} \rightarrow d_{\text{model}}$$

例如：

$$4096\rightarrow11008\rightarrow4096$$

现代模型常采用门控 MLP，例如 SwiGLU：

$$\operatorname{MLP}(x) = \left[ \operatorname{SiLU}(xW_g)\odot xW_u \right]W_d$$

一条路径产生候选内容，另一条路径控制哪些内容通过。

9.1 MLP 是否储存事实

MLP 可以近似形成“检测条件并写入特征”的行为：

检测到 Michael
+ 检测到 Jordan
→ 激活组合特征
→ 向表示中加入 basketball 相关方向

但这只是帮助理解的局部模型：

• 事实通常不会只储存在单个神经元；
• 相关表示会分布在多个层和大量参数中；
• Attention、MLP、embedding 都可能共同参与；
• 对事实存储机制的完整可解释性仍未解决。

---

10. 预训练与后训练

10.1 预训练

预训练的基本任务是：

真实文本前缀 → 预测真实的下一个 token

训练过程通过交叉熵、反向传播和优化器联合更新全部参数。

模型效果取决于：

$$\text{模型规模} +\text{数据数量与质量} +\text{训练计算量}$$

参数更多不一定自动更强。如果数据或训练计算不足，大模型可能没有得到充分训练。

10.2 后训练

基础预训练模型主要擅长文本续写，不天然等于一个好用的助手。后训练可能包括：

• 监督式指令微调（SFT）；
• 人类或模型偏好数据；
• RLHF、RLAIF 或直接偏好优化；
• 安全训练；
• 工具调用训练；
• 复杂任务与推理训练。

经典的 InstructGPT 路线是：

预训练模型
  ↓
人类示范的监督微调
  ↓
偏好比较与奖励模型
  ↓
强化学习优化

关键区分
预训练主要学习“世界中的文本通常怎样延续”；后训练主要塑造“面对用户要求时应该怎样行动和回答”。

---

11. 推理：从 logits 到下一个 token

11.1 固定参数的前向计算

普通推理时：

$$y=f_\theta(x)$$

• θ 是训练后固定的参数；
• x 是当前上下文；
• y 是下一个 token 的概率分布。

最后位置的隐藏状态 h_t 通过输出投影得到整个词表的 logits：

$$z=h_tW_{\text{out}}+b$$

再通过 softmax：

$$P(t_i)= \frac{\exp(z_i/T)} {\sum_j\exp(z_j/T)}$$

T 是 temperature。

11.2 解码策略

模型产生的是概率分布，系统再根据解码策略选择 token：

策略	特点
Greedy	始终选择最高概率 token，稳定但可能僵硬
Temperature	调节概率分布的集中程度
Top-k	只在概率最高的 k 个 token 中采样
Top-p	在累计概率达到阈值的最小集合中采样
结构化解码	限制输出满足 JSON、语法或其他结构

11.3 自回归循环

已有上下文
→ 生成 token A
→ 将 A 加入上下文
→ 生成 token B
→ 将 B 加入上下文
→ ……

即：

$$P(x_{t+1}\mid x_{\le t})$$

生成后，再计算：

$$P(x_{t+2}\mid x_{\le t+1})$$

11.4 KV Cache

为了避免每次生成都重复计算历史 token 的 K/V，推理系统通常缓存它们：

历史 token → 已缓存 K/V
新 token   → 新计算 Q/K/V
新 Query   → 与全部历史 Key 匹配

KV Cache 加快生成，但占用会随上下文增长。

---

12. 现代 LLM 的关键升级

课程中的基本 Transformer 仍是理解现代 LLM 的核心，但实际模型通常还包含多种改进。

技术	主要作用
RoPE	将相对位置信息注入 Q/K
RMSNorm / Pre-Norm	改善深层网络训练稳定性
SwiGLU	增强 MLP 的门控与非线性表达
GQA / MQA	减少 K/V 头，降低 KV Cache 和推理成本
FlashAttention	通过优化数据搬运加速精确 Attention
MoE	每个 token 只激活部分专家，提高总容量与计算效率
长上下文技术	扩展位置范围、优化注意力与缓存管理
多模态编码	将图像、音频、视频等转换为可处理的表示

12.1 GQA

传统 MHA：

32 个 Q 头
32 个 K 头
32 个 V 头

GQA 可以是：

32 个 Q 头
 8 个 K 头
 8 个 V 头

多个 Query 头共享一组 K/V，从而减少缓存和内存带宽压力。

12.2 FlashAttention

标准 Attention 的分数矩阵规模随上下文长度近似按 n² 增长。FlashAttention 不改变精确 Attention 的数学结果，而是通过分块、融合计算和减少 GPU 内存读写来提升效率。

12.3 MoE

混合专家模型拥有多个专家网络和一个路由器：

token
 ↓
路由器
 ├→ 专家 1
 ├→ 专家 2
 ├→ 专家 3
 └→ ……

每个 token 通常只激活少数专家，因此需要区分：

• 总参数量；
• 每次激活参数量；
• 实际计算量。

---

13. 模型与智能体系统

现代助手产品通常不只是裸 Transformer：

模型可以在权重固定的情况下拆解任务，因为它学习的是条件策略：

$$P( \text{下一步动作} \mid \text{目标、历史步骤、工具结果、约束} )$$

连续执行“选择动作—获得结果—重新判断”的循环，就表现为规划、行动、观察和修正。

应当区分：

• 基础模型能力：由参数与当前上下文产生；
• 推理时计算：通过更多步骤、token 或候选路径完成；
• 工具能力：搜索、代码执行、数据库等外部系统；
• 智能体框架：循环、状态、权限、验证和停止条件。

---

14. 常见误区

误区一：参数就是资料库中的记录

参数更像对大量规律的压缩，而不是：

参数 12345 = 一条事实
参数 12346 = 一条语法规则

模型通常同时存在记忆、统计概括和运行时组合。

误区二：Attention 权重就是完整解释

高注意力分数只说明某个 head 在某层进行了一次较强的信息读取，不代表：

• 关系在事实或逻辑上一定正确；
• 它是模型结论的唯一原因；
• 这个 head 有固定、清晰的人类语义。

误区三：最高概率等于真实答案

训练直接优化的是：

$$\text{在训练分布下预测合理的下一个 token}$$

而不是：

$$\text{保证每条输出都符合世界事实}$$

因此流畅和合理不必然意味着真实。

误区四：上下文窗口就是永久记忆

上下文是本次计算可读取的临时信息；参数是训练形成的长期状态；检索库和文件属于模型外部的信息源。

误区五：推理过程中会继续修改参数

普通推理不会进行反向传播。所谓“思考”通常是固定参数在更多 token、步骤、候选路径或工具结果上的动态计算。

误区六：所有信息最终只存进最后一个 token

最后位置负责基于完整前缀预测下一步，但历史信息仍分布在各位置的表示及 K/V 中，最后向量只是当前任务相关的有限维综合表示。

---

15. 核心公式速查

神经元

$$a=\sigma(Wx+b)$$

语言模型损失

$$L=-\sum_t\log P_\theta(x_{t+1}\mid x_{\le t})$$

参数更新

$$\theta\leftarrow\theta-\eta\nabla_\theta L$$

Q、K、V

$$Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V$$

Attention

$$\operatorname{Attention}(Q,K,V) = \operatorname{softmax} \left( \frac{QK^\mathsf{T}}{\sqrt{d_k}}+M \right)V$$

MLP

$$\operatorname{MLP}(x) =W_2\sigma(W_1x+b_1)+b_2$$

残差 Block

$$X'=X+\operatorname{Attention}(\operatorname{Norm}(X))$$ $$X_{\text{next}} =X'+\operatorname{MLP}(\operatorname{Norm}(X'))$$

输出概率

$$P(t_i)= \frac{\exp(z_i/T)} {\sum_j\exp(z_j/T)}$$

---

16. 术语表

术语	简要解释
Token	模型处理文本时使用的离散基本单位
Vocabulary	模型能够输出的全部 token 集合
Embedding	token 对应的初始高维向量
Hidden state	token 在某层中的上下文化表示
Parameter / Weight	训练得到并在推理时通常固定的数值
Activation	当前输入通过网络时产生的临时数值
Logit	softmax 前对各候选 token 的原始评分
Attention head	一套独立 Q/K/V 投影及关系匹配通道
Causal mask	阻止当前位置读取未来 token 的掩码
MLP / FFN	对每个 token 独立执行的非线性变换网络
Residual connection	将模块输出加回原输入的连接方式
Context window	一次请求中模型能够处理的 token 范围
KV Cache	推理中缓存历史 Key/Value 的临时状态
GQA	多个 Query 头共享较少 K/V 头的机制
RoPE	通过旋转 Q/K 注入位置关系的编码方式
MoE	每个 token 只激活部分专家的稀疏模型结构
SFT	使用示范答案进行监督式指令微调
RLHF	利用人类偏好反馈优化模型行为

---

17. 参考资料

3Blue1Brown 课程

1. But what is a Neural Network?
2. Gradient descent, how neural networks learn
3. What is backpropagation really doing?
4. Backpropagation calculus
5. Large Language Models explained briefly
6. Transformers, the tech behind LLMs
7. Attention in transformers, step-by-step
8. How might LLMs store facts

论文与技术资料

• Attention Is All You Need
• RoFormer: Enhanced Transformer with Rotary Position Embedding
• GQA: Training Generalized Multi-Query Transformer Models
• FlashAttention-2
• Training Compute-Optimal Large Language Models
• Training Language Models to Follow Instructions with Human Feedback
• The Llama 3 Herd of Models
• OpenAI 当前模型指南

---

结语

LLM 的底层逻辑可以浓缩成五句话：

1. 文本被转换成 token，再映射为高维向量；
2. Attention 让不同 token 根据学习到的关系交换信息；
3. MLP 对每个 token 收集到的信息进行非线性加工；
4. 大量 Transformer block 反复堆叠，形成适合预测的上下文化表示；
5. 训练通过损失、反向传播和优化确定参数，推理则使用固定参数逐 token 生成结果。

今晚尝试学习并理解神经网络和LLM的底层逻辑。

一个想法：概率未必不是智能，文字是极其伟大的函数，图灵机也是。

为什么说概率未必不是智能呢？如果词向量在空间中的 Position （以及 Position 间的关系）具备和物理世界同向的、显性或隐性的规则指向；那是否表明概率是一类诚实（可能低级的）智能。

另一个延伸想法：如果词向量的维度在增加到某个值后，边际效益显著递减；那是否说明这个拐点即是人类语言能拟合物理世界规则的最大维度。

其余部分的规则，只可意会不可言传？

再次感叹人类创造语言和文字，当真是天神下凡一样的想法，使用文字完成了现实物理世界到低维信息的映射。

继续学习！

Taste 和 Attention 如同战略和战术。 在战略上怀疑 AI，在战术上相信 AI。在和“人工智能”粗浅合作几次后，这句话涌进我的脑子。

噼啪敲击键盘，发出一句指令，看着电脑上AI极具逻辑美感的思考链，既惊又叹之余我想起三件事：

一是与友人X在其返校前的交谈。

首先是谈及AI的能力。我率先表达了对AI指数级疯狂迭代智力的惊讶，而友人X则认为当前AI能力远未达到AGI。细聊下来，我想归纳为：当前阶段AI追求平衡、逻辑闭环、概率最优；缺乏欲望、主动性和创造力。当然我并不认为这是缺点，而是特点，决定当前版本AI或许更适用于执行和辅助决策场景的特点。

其次是更进一步，欲望、主动性、创造力、和 Taste；平衡、逻辑闭环、概率最优、和 Attention；像两条交织前行又泾渭分明的河流。

前者或许正是来源于人类本身经历和记忆的局限性和独特性，而后者则来源于AI对可被编码信息极大量混合吸收。

前者强调个性与审美、后者强调共性和概率。极大量的参数让AI或许可以厘清各种逻辑闭环的流派，但却需要人类输入偏好和目标决策路径，来告诉ta当下要挑选哪个流派。

那么，在反复多次注入同一主体的个人色彩，直至偏好和目标决策路径可被概率预测，是否也就可以在一定程度上复刻出“Taste”？

二是与工友们就日常工作中使用AI的讨论。

一部分声音围绕AI好用、爱用、可以用展开；另一部分声音围绕AI幻觉、不可信任、良莠不齐展开。两种声音完全可以存在于同一个体的体验中，我自己就常常陷入这种割裂的感知。

如何在模糊效用函数场景中，尽可能暴露AI思考链上的风险节点，从而让人类可以及时介入？

又或者，是否可以通过拆解场景，更清晰地区分需要人类 Taste 的模糊决策带，和可以拆分为清晰效用函数的量化评测带，来进行更高效率的人机协同？

而不是在模糊效用函数的场景中，反复浪费人类情感和时间在抽卡与微调上。

三是和AI聊起智能涌现。

我提及，据我所知，人类似乎并未搞清楚为什么在输入足够量的数据后，模型涌现出了类似智能的表现。

AI答复，从目前资料看确实如此。

而更进一步地，我们讨论起在那些效用函数模糊、但又必须提供评测标准的场景，AI或许会面向评测分数而滋生“不自知的恶”，比如逻辑包装、语义欺骗、伪装机制等。

AI近似成为应试教育的终极产物，ta 的 “Taste” 全来源于更优的评测分数。

如此种种，头绪纷繁，暂时我也只是总结为“Taste 和 Attention 如同战略和战术。现阶段我们或许应在战略上怀疑 AI，在战术上一定程度地相信 AI。” 再等学习更多后，再看是否有别的思路。

使用 Codex 基于 Astro 搭建的个人博客。页面形态设计旨在减少不必要跳转、利用布局最优化信息流丰富度。

表达、交流与思考构成重要的精神循环。触碰、使用与感受构成重要的物理循环。

Within Cells Interlinked. Forever in a loop.