搜索.

搜索标题、标签和正文。

共 15 篇笔记，输入关键词搜索全文。

2026-05-24·10 分钟阅读

LLM Intro（十一）：VLM 的图像理解与视觉定位

从图片张量和 patchify 解释视觉编码器、projector 与多模态位置，再连接训练、问答和坐标定位。

2026-05-17·11 分钟阅读

LLM Intro（十）：Agent 的工具调用与执行循环

从工具 schema 与消息协议开始，实现一个有终止条件的 Agent 循环，再解释反馈修正、记忆和状态图。

LLM Intro Agent 工具调用

2026-05-10·10 分钟阅读

LLM Intro（九）：RAG 的检索、重排与生成

从文档切分、向量表示到混合检索与重排，搭起一条可追溯的 RAG 流程，并分别评估检索和生成。

LLM Intro RAG 检索

2026-05-03·9 分钟阅读

LLM Intro（八）：理解量化、AWQ 与 QLoRA

解释量化的映射与误差，沿着粒度、激活离群值理解 AWQ，并区分 QLoRA 的存储精度与计算精度。

LLM Intro 量化 AWQ QLoRA

2026-04-26·12 分钟阅读

LLM Intro（七）：用 SFT 与 LoRA 微调语言模型

从 SFT 数据与标签构造出发，推导 LoRA 的低秩更新、初始化和参数量，再连接到实际训练与保存。

LLM Intro SFT LoRA 微调

2026-04-19·9 分钟阅读

LLM Intro（六）：GPU 执行模型与 Triton 算子

用数据搬运解释 GPU 性能，再完成 Triton 向量加法，并推导按行融合 softmax 的计算方式。

LLM Intro LLM GPU Triton

2026-04-12·9 分钟阅读

LLM Intro（五）：用 Hugging Face 调用与评估模型

完成模型与 tokenizer 加载、对话模板、批量输入和生成，再用可解释的指标评估输出。

LLM Intro LLM 评测

2026-04-05·15 分钟阅读

LLM Intro（四）：从注意力到完整的 Transformer

从 QKV、因果遮罩和多头注意力出发，接上位置表示、残差、归一化与可运行的 decoder-only 网络。

LLM Intro LLM Transformer

2026-03-22·10 分钟阅读

LLM Intro（三）：RNN 的序列建模与门控机制

从隐藏状态递推到情感分类，说明 RNN 的张量形状、padding、反向传播与门控机制。

LLM Intro LLM RNN PyTorch

2026-03-15·8 分钟阅读

LLM Intro（二）：文本表示与自回归生成

把文本编码、下一 token 预测和解码策略连成完整流程，并解释 padding、温度与搜索。

LLM Intro LLM 文本表示

2026-03-08·9 分钟阅读

LLM Intro（一）：从张量到神经网络训练

从数组、广播与矩阵乘法开始，逐步理解计算图、梯度下降和 PyTorch 训练循环。

LLM Intro 深度学习 PyTorch

2024-08-13·4 分钟阅读

CUDA Toolkit 安装：runfile 与 conda-forge

记录 CUDA Toolkit 的 runfile 安装、临时目录配置、无 root 权限安装，以及旧版 cudatoolkit-dev 的使用方式。

CUDA Linux

2024-05-03·4 分钟阅读

InstantNGP 的多分辨率哈希编码

从 NeRF 的位置编码出发，梳理 InstantNGP 如何通过多分辨率网格、特征查表和插值编码空间坐标。

计算机视觉 NeRF

2024-04-09·5 分钟阅读

Conda 版 PyTorch 的 CPU affinity 问题

DataLoader 启用多个 worker 后仍集中使用少数 CPU：记录 LLVM OpenMP 引起的亲和性异常及排查方法。

PyTorch Linux

2023-06-20·3 分钟阅读

裁剪和缩放对相机内参的影响

用统一的坐标变换说明图像裁剪、缩放及两者组合时，相机内参应该如何更新。

计算机视觉