Skip to content

diguike/book-llm-infra

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

LLM Infra 从入门到实践

在线阅读 · inferloop.dev/llm-infra
所有书目 · inferloop.dev

一本写给 Agent 开发者的 LLM 底层技术指南

面向应用层工程师(前端/全栈/Agent 开发者),系统化学习 LLM 基础设施知识。

目标

  • 读完后对 LLM Infra 有完整认知,具备初步实战能力
  • 每章配套可运行的代码示例
  • 所有部署示例基于阿里云/腾讯云,确保国内可用

目录

详见 SUMMARY.md

快速开始

# 克隆项目
git clone https://github.com/diguike/book-llm-infra.git
cd book-llm-infra

# 安装 Python 依赖(推荐 Python 3.10+)
pip install -r requirements.txt

# 进入某一章的示例
cd examples/ch02-transformer

环境要求

  • Python 3.10+
  • PyTorch 2.0+
  • 部分章节需要 GPU(最低 RTX 3090 / 阿里云 ecs.gn7i / 腾讯云 GN10Xp)
  • 各章节的 README 会标注具体硬件要求

在线阅读

飞书 Wiki

License

CC BY-NC-SA 4.0

相关书

来自同一作者的其他书:

About

LLM Infra 工程实战 — 面向应用层工程师的 LLM 基础设施

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages