SimLabs 大模型 apps全部模块
CN EN
schoolSimLabs LLM Visual

从 Token 到 Transformer
一步一步看懂大模型

这不是散点式的名词解释,而是一条有顺序的路线:先把文本变成可计算的表示,再拆开注意力与 Transformer,最后跑通训练、推理与评测。

map路线先行,不会迷路 lightbulb先直觉,再公式,再工程 groups适合教学与自学
route
How it works

这个系列的学习方式

三条设计原则决定了每一页的组织方式,也决定了你应该按什么顺序读。

3 条原则
format_list_numbered

一步一步来

先用路线图建立全局地图,再进入单页交互。这样学到 Attention、RAG、Agent 时不会觉得它们是散碎名词。

filter_center_focus

每页只讲一件事

每张页面尽量围绕一个核心问题展开,避免把多个新概念堆在同一页里。

touch_app

动手看变化

尽量通过热力图、分步播放、参数滑块、矩阵高亮和对比卡片让用户自己观察变化,而不是只读文字。

map
Roadmap

完整路线图

五个阶段依次推进。每个阶段先给出核心问题,再列出对应的交互页面。

5 个阶段 · 24 页
01
基础底座

先建立整体地图,再理解文本是怎样一步步变成模型可计算的表示。

check_circle已上线 3 页
02
表示学习

这一段负责把“基础表示”衔接到“模型如何学出语义结构”,避免后面直接跳进 Transformer 时断层。

check_circle已上线 3 页
03
Transformer 核心

这是整个系列的技术心脏,集中讲清 Tokenizer、Attention、QKV、因果 Mask、位置编码、多头注意力、Residual / LayerNorm / FFN 和 Transformer Block。

check_circle已上线 8 页
04
训练与推理

这一阶段从“模型结构”转向“模型如何被训练出来”。先补自动微分、交叉熵、优化器和训练循环,再完整跑通一个端到端 Mini-GPT,最后看自回归生成和保存加载。

check_circle已上线 7 页
05
评测、安全与应用系统

把单个模型能力放进真实产品系统中,看懂评测、过拟合、安全边界、RAG、Tool Use、Agent 与部署。

check_circle已上线 6 页
flag
Start here

推荐的起步顺序

如果你只有半小时,按这个顺序走一遍,就能建立完整的坐标系。

6 步
1

技术地图

先知道自己到底要学哪几个层次,再去学具体机制。

2

文本表示

搞清文本如何变成 token、向量、矩阵和张量。

3

表示学习

补上神经网络、Embedding 和语言模型目标这层直觉,再进入 Transformer。

4

Transformer 核心

进入 Attention、QKV、因果 Mask、位置编码、多头注意力、Residual / LayerNorm / FFN 和 Block 结构。

5

训练与推理

学会自动微分、交叉熵、AdamW 和训练循环,再亲手跑通一个端到端 Mini-GPT,理解自回归生成和检查点保存。

6

评测、安全与系统

最后看过拟合检测、安全边界、RAG、工具调用、Agent 与部署。

construction
当前建设状态

当前建设状态: 技术地图、Token/向量、矩阵基础、张量 Tensor、神经网络基础、Embedding 语义空间、语言模型目标、Tokenizer、Attention 直觉、QKV、因果 Mask、位置编码、多头注意力、Residual / LayerNorm / FFN、Transformer Block、解码策略、训练与对齐、自动微分与计算图、交叉熵与反向传播、SGD / AdamW、训练循环、端到端 Mini-GPT、自回归生成与采样、保存加载与继续训练、评测与安全边界、RAG、Tool Use、Agent、安全、评测、部署与成本都已上线。