AI Code Editor 源码解读

• Void AI Code Editor 介绍
• 源码整体逻辑
• 核心功能源码细节

MCP 技术解读

• MCP概念、演进与意义
• MCP架构、核心组件与功能类型
• MCP Client 与 MCP Server
• 不同角色使用 MCP 的方式和逻辑

EasyR1 + Verl + Ray + QwenVL + GRPO

• 背景介绍
• GRPO 四个主要步骤
• 采用 EasyR1 的 GRPO 训练代码实现
• 实操记录 GRPO 训练细节

SFTTrainer 源码解读: Prepare Train

• Prepare Train 总体逻辑
• Prepare Train 代码细节
  • _inner_training_loop
  • training_step
  • compute_loss
  • PeftModelForCausalLM.forward
  • Linear4bit.forward

SFTTrainer 源码解读: Prepare Dataset

• Prepare Dataset 总体逻辑
• Prepare Dataset 代码细节
  • SFTTrainer.init
  • DataCollatorForLanguageModeling
  • _prepare_dataset

SFTTrainer 源码解读: Prepare Model

• Prepare Model 总体逻辑
• Prepare Model 代码细节
  • _prepare_peft_model
  • PeftModelForCausalLM.init
  • PeftModel.init
  • LoraModel.init
  • Linear4bit.init
  • LoraLayer.init(self, base_layer)

QLoRA 代码实现及过程分析

• 背景介绍: QLoRA/基础模型/数据集
• QLoRA 代码实现
• QLoRA 过程分析
• QLoRA 应用价值
• QLoRA 疑点思考
• QLoRA 细节补充

深度学习轻量级可视化工具wandb

• wandb 介绍
• 常用函数
• How to Use

GRPO + Unsloth + vLLM

• GRPO工作原理
• GRPO vs PPO
• GRPO的三个革命性设计
• GRPO 代码实现

分布式训练之五：GPU入门

• GPU 架构
• 如何通过 kernel 提升性能
• Fused Kernels 融合内核
• Flash Attention