📃 前言

🌟在这里学习LLM，你将获得

• 超生动形象的技术讲解 ：我们摒弃了那些充斥着大量简单复制粘贴以及生硬 AI 合成内容的技术博客，每一篇技术文章都经过精心打磨，让你轻松理解复杂的知识。
• 超有料的技术实战 ：从零开始一步步实现代码，带你在实战中深入探究原理，真正掌握 LLM 的精髓。

📚 LLM知识地图

• 基础部分
  • Python基础
    • logging模块 (logging.md)
    • import模块 (import.md)
    • multiprocessing模块 (multiprocessing.md)
  • 机器学习基础
    • 特征提取
      • 文本表示模型
        • Bag-of-words (bag-of-words.md)
        • Topic Model (topic-model.md)
        • Static Word Embedding (static-word-embeddings.md)
  • 深度学习基础
  • LLM基础
• Prompt工程
• Transformer结构
  • Tokenizer (tokenizer.md)
  • Embedding (embeddings)
    • EMLO (elmo.md)
    • BERT (bert.md)
    • GPT (gpt.md)
  • Positional Encoding (positional-encoding.md)
  • Self Attention (self-attention.md)
  • Multi-Head Attention (multi-head-attention.md)
  • Add & Norm (add-and-norm.md)
  • FeedForward (feedforward.md)
  • Linear & Softmax (linear-and-softmax.md)
  • Decoding Strategy (decoding-strategy.md)
• LLM训练
  • LLM显存需求 (llm-vram-needs)
    • LLM精度问题 (llm-precision.md)
    • LLM训练需要多少显存 (vram_needs_for_llm_training.md)
  • 分布式训练并行
    • 数据并行 (data-parallelism.md)
• 模型推理/部署
• MoE
  • 专家并行 (expert-parallelism.md)
• 知识编辑
• LLM应用
  • RAG
  • Graph RAG
• 多模态大模型
• LLM安全

🤝 与社区一起成长

本文档正在快速迭代中。
分享你的见解，提出你的疑问，共同进步。