cat ./series/llm-tu-zero

LLM từ zero: hiểu để xây, không chỉ để dùng 13 parts

All posts

Roadmap 30 bài học LLM từ foundation math đến production deployment cho senior dev muốn pivot AI — mental model, tokenization, attention, training, fine-tuning, inference, advanced topics. Hybrid approach: 70% hands-on code + 30% blog.

Read intro: LLM từ zero: Series Plan
  1. [1/13] LLM hoạt động thế nào: mental model cho dev Bạn gõ câu hỏi vào ChatGPT, 3 giây sau nhận được câu trả lời. Ở giữa có gì? Bài viết mở hộp đen: tokenize, embed, attention, sample — không dùng một công thức toán nào, chỉ mental model cho dev đã quen code nhưng lần đầu đọc kỹ về LLM. ~10 min read
  2. [2/13] Linear algebra cho LLM: vector, matrix, dot product Bài 1 nói mọi thứ bên trong LLM đều là vector và matrix. Vector là gì? Matrix là gì? Tại sao dot product là backbone của attention và RAG? Bài này phá băng math foundation cho dev — chỉ 4 khái niệm, không công thức phức tạp. ~13 min read
  3. [3/13] Calculus cho LLM: gradient, chain rule, backprop intuition Đạo hàm nghe sợ nhưng cốt lõi chỉ là đo độ dốc. Gradient là đạo hàm của hàm nhiều biến. Chain rule là cách chuyền gradient ngược qua nhiều layer. Backprop = chain rule áp dụng có hệ thống. Bài này xây intuition cho dev, không giải bài tập toán. ~10 min read
  4. [4/13] Probability cho LLM: softmax, cross-entropy, perplexity LLM output là xác suất, không phải lựa chọn cứng. Softmax biến logits thành phân phối. Cross-entropy là loss function chuẩn. Perplexity là metric đánh giá model. Bài này giải thích tại sao mấy khái niệm này là trái tim của training và evaluation, với code NumPy minh hoạ. ~11 min read
  5. [5/13] Neural network tối giản: perceptron, MLP từ zero Ghép linear algebra + calculus + probability thành neural network đầu tiên. Từ perceptron 1957 đến MLP đa layer, code 60 dòng NumPy train XOR không cần PyTorch. Sau bài này, bạn hiểu building block gốc của mọi LLM hiện đại. ~12 min read
  6. [6/13] Tokenization: BPE, WordPiece, SentencePiece Bài 1 nói input text biến thành tokens. Nhưng cách biến là gì? BPE, WordPiece, SentencePiece có gì khác nhau? Tại sao tokenizer quyết định nhiều hơn bạn nghĩ - từ cost API đến khả năng model xử lý tiếng Việt. Deep dive cho dev. ~14 min read
  7. [7/13] Build BPE tokenizer từ đầu (theo Karpathy minbpe) Bài 6 giới thiệu BPE. Bài này code từ zero — 150 dòng Python thuần không dependency. Train tokenizer trên Shakespeare, encode/decode, visualize merges. Sau bài này hiểu 100% BPE thay vì chỉ đọc paper thấy abstract. ~12 min read
  8. [8/13] Embeddings: word2vec, contextual, và positional encoding (RoPE) Token ID biến thành vector - đó là embedding. Nhưng vector đó từ đâu? word2vec (2013) dạy model hiểu semantic. Contextual embedding (BERT/GPT) khác word2vec thế nào? Tại sao cần thêm positional encoding, và RoPE làm điều đó cách nào? ~11 min read
  9. [9/13] Attention mechanism: Query, Key, Value intuition Paper 'Attention is All You Need' (2017) là điểm bùng nổ của Transformer. Nhưng Q/K/V từ đâu ra, nghĩa gì, tại sao 3 cái thay vì 1? Bài này giải thích bằng analogy thư viện, không công thức - xây intuition trước khi đến code ở bài 10. ~11 min read
  10. [10/13] Self-attention: code từ đầu bằng NumPy Bài 9 đã xây intuition QKV. Bài này code từ zero một self-attention layer hoàn chỉnh bằng NumPy thuần - 80 dòng, xử lý batch, causal mask, scaling. Verify output matches PyTorch implementation. Sau bài này, attention không còn là hộp đen. ~10 min read
  11. [11/13] Multi-head attention: tại sao chia nhiều head Bài 10 code single-head attention. GPT/Llama có 32-128 heads. Tại sao chia? Mỗi head làm gì khác nhau? Cost tính thêm bao nhiêu? Bài này: intuition + code multi-head bằng NumPy, visualize head specialization (syntax, coreference, long-range). ~13 min read
  12. [12/13] Transformer block: attention + MLP + layer norm + residual Multi-head attention là một nửa Transformer. Nửa còn lại: MLP (feed-forward), layer normalization, residual connection. Bài này ghép 4 thành phần thành 1 block hoàn chỉnh, stack 12 block thành GPT-2, giải thích thứ tự (pre-norm vs post-norm) và tại sao residual quan trọng. ~13 min read
  13. [13/13] nanoGPT: 300 dòng PyTorch tái tạo GPT từ đầu Capstone Part 3. Karpathy nanoGPT là implementation GPT-2 trọn vẹn trong ~300 dòng PyTorch. Bài này walk-through code, train GPT nhỏ trên Shakespeare trong 15 phút CPU, generate text. Sau bài này bạn code được GPT-2 nhỏ không cần HuggingFace. ~12 min read