露重衣裳冷，星低草木深。
问道星图
所学与未解
学习记录与实验，附笔记和代码。
基础
软件工程与算法基础
目前
机器学习、NLP 与应用实践
课程与训练 · 雨桥系统笔记 · PyTorch 实践 · 面试问答以后
后续学习方向
- 继续补齐机器学习与自然语言处理基础
- 参与可复现的科研或项目实践
- 整理实验笔记与代码
星渊 · 模型观测站
模型实验室
选择实验，调整参数，观察结果。展开计算过程，可以核对公式与数值。
Attention · 从词语到上下文
输入 token，调整温度与 Mask，观察注意力分布。使用固定教学向量，可展开矩阵核对计算。
- 1选查询 token
- 2拖动温度
- 3对比 Mask
01
输入区
最多 8 个 token；可输入自然句子，或用空格手动切分。
当前使用 6 个 token。
02
过程控制
改变参数，观察分布如何移动。
- 先选查询点一个 token，看它把注意力分给谁。
- 再调温度往左会更尖，往右会更平均。
- 最后开 Mask观察未来 token 怎样被排除。
softmax((QK^T / √d + M) / T) V
03
结果区
加权 Value 输出
固定基线对照
同一输入、同一查询；基线 T=1，开启 √d 缩放，关闭 Mask。
04计算过程与矩阵
展开查看分数与权重，点击单元格核对计算。 ↓
计算过程与矩阵
展开查看分数与权重，点击单元格核对计算。 ↓
缩放 / 温度 / Mask 后的分数
Softmax 权重矩阵
点击矩阵单元，拆开这一次计算
查看全部 Q / K / V 教学向量
星下
竹梢遮去了半边天。泉水沿石缝流下，玉兰落在水边，白得分明。走到谷深处，抬头才见一片星。
所学与未解
星图记下已经学过的内容，也列出眼下在做的实验。笔记与代码附在相应条目旁，尚未完成的部分留待以后。
观测法
星渊不把模型知识当作一串术语背诵。每一颗星先对应一个可以亲手拨动的现象：一个 token 看向谁、一个位置怎样留下坐标、一次采样怎样从许多可能里收束、一次检索怎样把资料带回上下文。
进入实验馆时，先看左侧问题，再调参数。若星轨突然变尖，说明分布开始集中；若星群被筛掉，说明采样策略正在收缩候选；若缓存层一格格亮起，说明推理正在复用历史计算。展开证据层可以核对矩阵、向量、概率和公式，不必相信画面本身。
六间星室
- Attention：观察一句话内部的“目光”如何流动，理解 Q、K、V、缩放、Mask 与 Softmax。
- 位置编码：比较正弦坐标和 RoPE 旋转，看到相对距离怎样改变相似度。
- 解码采样：调温度、Top-k、Top-p，看候选星群如何从发散变成可抽样集合。
- 向量检索：移动主题坐标，看 RAG 如何先找资料，再把资料放入提示词。
- BPE 分词：一步步合并最常见的符号对，理解词表为什么会“长出来”。
- KV Cache：沿时间轴推进生成，比较有缓存和无缓存时重复计算的差别。