大语言模型

这里收录大语言模型、微调、推理部署与模型实验相关笔记。

注意：大模型输出默认不可信

模型可能生成事实错误、泄露上下文或被提示注入。凡是连接数据库、文件、机器人、发布系统或生产 API 的应用，都必须在服务端实施权限校验、参数约束、人工审批与审计，不能把安全边界写在提示词里。

1. 分类说明

LLM 分类用于整理大模型工程实践、训练与推理流程、提示词和实验调参记录。内容重点关注模型落地过程中的工具链、参数选择、数据处理和验证方法。

2. 内容范围

• 大模型微调、LoRA / QLoRA、训练流程与实验记录。
• 推理部署、模型服务、上下文管理和性能优化。
• LLM 工具链、评估方式和工程化集成经验。

推荐阅读

Transformer 与 QLoRA：从矩阵、量化到梯度更新

结合 Transformer block 与 LoRA 分支结构图，从 $Q/K/V$ 矩阵、因果注意力、交叉熵损失一路推导到 LoRA 的 $A/B$ 梯度、NF4 量化和双重量化，并附不依赖 Transformers/PEFT/bitsandbytes 的纯 PyTorch 最小实现。

• 大语言模型
  • 1. 分类说明
  • 2. 内容范围
  • 推荐阅读
    • Transformer 与 QLoRA：从矩阵、量化到梯度更新