微调中的前向传播和反向传播：step、epoch 与梯度累积怎么算
前向算预测与 loss、反向算梯度、优化器更新参数——再把这套流程换算成步数：一个 step 跑几次、梯度累积怎么改变次数、epoch 怎么折算，附面试速记版。
关于
10 年开发经验，从后端服务、大数据平台一路做到大模型应用——贯通三段工程栈，清楚每一层的水有多深。做过从 0 到 1 的企业知识中台，也接过把「准确率 62% 的问答机器人」救回 91% 的烂摊子。
现在专注 AI 大模型应用开发，擅长：企业级 RAG / GraphRAG 知识库、Agent 工作流设计与落地（状态机 / 多角色 / 工具编排）、Text2SQL 与结构化生成、模型微调与自动化评测。近期在推进：代码安全评估 Agent 平台。
能做什么
从架构评审到上线交付，按价值排序的工程能力。
01
RAG / GraphRAG
混合检索、查询改写、重排、图谱构建与社区摘要。擅长判断 GraphRAG 什么时候不值得用。
02
Agent 系统
工具调用、长程规划、状态管理、失败恢复、可观测性。LangGraph / Function Calling / MCP。
03
微调 SFT / DPO
数据工程优先，LoRA / 全参微调，配套自动化评测集。多数问题不需要微调，我会先告诉你。
04
强化学习 RL / RLHF
奖励模型训练、PPO / GRPO 流程搭建、在线策略优化。
05
推理与成本优化
vLLM 部署、KV Cache 复用、量化蒸馏、prompt 缓存。把账单压下来。
06
评测体系
从数据合成到指标设计，构建能反映真实业务的评测集，而不是只跑公开 benchmark。
07
数据工程
脏数据清洗、去重、配比、合成。从原始文本到训练 ready 的整个链条。
08
可观测性
trace、token 用量、失败模式归因。上线之后能看清每一步发生什么。
09
工程纪律
代码评审、CI、灰度、回滚。AI 项目也要按软件工程标准做。
交付过的东西
01
- GraphRAG
- Neo4j
- Milvus
- Rerank
企业知识中台 · GraphRAG 问答
某互联网公司数十万份内部文档，通用 RAG 在多跳问答上准确率仅 62%。构建实体关系图谱 + 社区摘要，设计「向量召回 → 图遍历扩展 → 重排」三段式检索。
准确率 62% → 91%，人工工单降 43%
02
- Agent
- LangGraph
- AST
- Sandbox
代码审计 Agent
人工 Code Review 覆盖不全，安全漏洞遗漏率高。基于 LangGraph 构建多角色审查 Agent，接入 AST 工具与规则库，加入失败重试与人工兜底通道。
漏洞检出率 ×2.1，误报率 < 12%
03
- SFT
- DPO
- LoRA
- Eval
领域大模型微调 pipeline
通用模型在垂直领域术语与格式遵循上表现差。从零搭数据合成与清洗流水线，LoRA SFT + DPO 两阶段，配套自动化评测集。
格式遵循 71% → 96%，成本 -68%
一起聊聊AI
从一次对话到一个上线产品，我都在。
写过的东西
反向传播：梯度是怎么从最后一层传回来的
从一个只有两个参数的小例子起步：先算链式法则，再推广到多层网络，最后落到计算图与 PyTorch 的 backward。核心不是某条公式，而是「为什么必须从后往前算」。
梯度下降：从「哪里陡往哪走」到一条能预测的直线
把梯度下降拆成一条完整推导链：找关联 → 建模型 → 定标准 → 构造损失 → 求偏导 → 合成梯度 → 沿反方向下山。每一步只回答一个问题：现在往哪走、走多远。
强化学习笔记：从策略梯度到 PPO
把「让模型表现更好」这个模糊目标，一步步变成一行可以求导、可以写代码的公式：贝尔曼方程 → 轨迹概率 → 策略梯度 → GAE → PPO-clip，附 RLHF 实现细节。