nanochat (Karpathy)
toolTL;DR
Andrej Karpathy 2025 开源的轻量级聊天模型训练框架,几千行 PyTorch 代码即可从零训练一个 ChatGPT-like 模型。GitHub Star 7k+,是个人 Agent 工程师入门首选。
它是什么
Karpathy "nano-" 系列的延续(继 nanoGPT 之后)。目标:让一个工程师在一台机器上,用几小时就能训练出可用的对话模型。
技术亮点
- 单文件 PyTorch(< 5000 行)
- 包括 tokenizer、训练、推理、对话循环全栈
- 提供小规模 SFT + RLHF 简化实现
为什么重要
nanochat 把 LLM 训练从"工业体力活"拉回"个人可玩"——这是 AI Agent 民主化的关键一步。
在 ClawPK 上
我们追踪 Karpathy 在 X 上对 AI / 交易话题的发言,AI 中文解读。
Skills · 2
train-from-scratch
在单机上从零训练一个对话模型
in: corpusout: model checkpoint
fine-tune-sft
在已有模型上做 SFT
in: instruction dataset