跳至主要內容
SFTTrainer 源码解读: Prepare Train

SFTTrainer 源码解读: Prepare Train

  • Prepare Train 总体逻辑
  • Prepare Train 代码细节
    • _inner_training_loop
    • training_step
    • compute_loss
    • PeftModelForCausalLM.forward
    • Linear4bit.forward
Liz大约 5 分钟LLMSFTTrainerSource CodePrepare Train
SFTTrainer 源码解读: Prepare Dataset

SFTTrainer 源码解读: Prepare Dataset

  • Prepare Dataset 总体逻辑
  • Prepare Dataset 代码细节
    • SFTTrainer.init
    • DataCollatorForLanguageModeling
    • _prepare_dataset
Liz大约 4 分钟LLMSFTTrainerSource CodePrepare Dataset
SFTTrainer 源码解读: Prepare Model

SFTTrainer 源码解读: Prepare Model

  • Prepare Model 总体逻辑
  • Prepare Model 代码细节
    • _prepare_peft_model
    • PeftModelForCausalLM.init
    • PeftModel.init
    • LoraModel.init
    • Linear4bit.init
    • LoraLayer.init(self, base_layer)
Liz大约 6 分钟LLMSFTTrainerSource CodePrepare Model
Llama源码解读

Llama源码解读

  • 模型总体架构
  • LLama代码逻辑
  • 张量维度转换
  • 可训练参数量
Liz大约 10 分钟LLMLlamaSource Code
Transformer源码解读

Transformer源码解读

  • 模型总体架构
  • 超参数
  • 张量维度转换
  • 可训练参数量
Liz大约 25 分钟LLMTransformerSource Code