LLM là gì? Token, context, temperature - không cần biết toán
Bài này dành cho người muốn hiểu Claude, ChatGPT, Gemini thực chất đang làm gì khi bạn gõ câu hỏi và nhận được câu trả lời - không cần biết lập trình hay toán học. Học xong bạn sẽ hiểu vì sao AI đôi khi "quên" những gì bạn nói lúc đầu cuộc trò chuyện, vì sao AI đôi khi bịa thông tin, và các thuật ngữ "token", "context window", "temperature" nghĩa là gì mỗi khi bạn thấy chúng. Đây cũng là bài giải thích "mô hình ngôn ngữ lớn" (tên đầy đủ của LLM) bằng tiếng Việt dễ hiểu, không cần nền tảng toán hay lập trình.
LLM là gì?
LLM (Large Language Model - Mô hình ngôn ngữ lớn) là một chương trình AI được huấn luyện trên một lượng văn bản khổng lồ (sách, web, code, bài báo...) để làm một việc tưởng chừng đơn giản: dự đoán từ/cụm từ tiếp theo có khả năng xuất hiện cao nhất, dựa trên những gì đã có trước đó.
Khi mô hình đủ lớn và được huấn luyện trên đủ dữ liệu, khả năng "đoán từ tiếp theo" này tạo ra hiệu ứng bất ngờ: mô hình trả lời câu hỏi, viết code, tóm tắt, dịch, lý luận từng bước - dù chưa từng được dạy trực tiếp từng kỹ năng này.
Claude (Anthropic), GPT (OpenAI), Gemini (Google) đều là LLM - khác nhau ở cách huấn luyện, dữ liệu, và cách "tinh chỉnh" (fine-tune) để trả lời hữu ích, an toàn.
Token - đơn vị nhỏ nhất mà LLM "nhìn thấy"
LLM không đọc từng chữ cái hay từng từ như con người. Nó chia văn bản thành các mảnh nhỏ gọi là token. Một token có thể là một từ ngắn, một phần của từ dài, hoặc một dấu câu.
Với tiếng Anh, ước lượng thô: 1 token ≈ 4 ký tự ≈ 0.75 từ.
Với tiếng Việt, mọi chuyện tốn kém hơn một chút: vì có dấu thanh và cấu trúc từ ghép, một từ tiếng Việt thường bị tách thành nhiều token hơn so với một từ tiếng Anh tương đương. Ví dụ từ "không" có thể là 1-2 token, nhưng cả câu "Tôi không biết" có thể tốn nhiều token hơn câu tiếng Anh "I don't know" dù ý nghĩa tương đương.
Vì sao bạn cần quan tâm đến token?
- Giá tiền khi gọi API LLM thường tính theo số token (cả token đầu vào lẫn đầu ra) - xem chi tiết giá ở
04-build-ung-dung-ai/01-goi-api-llm.md. (API là cách để code của bạn tự "gọi" tới AI qua internet mà xử lý, thay vì bạn ngồi chat tay - gặp lại nhiều lần trong repo này, có giải thích đầy đủ ở từ điển thuật ngữ.) - Giới hạn context window (mục dưới đây) cũng được đo bằng token, không phải bằng chữ.
Context window - "trí nhớ" trong một cuộc trò chuyện
Context window (cửa sổ ngữ cảnh) là số token tối đa mà LLM có thể "nhìn thấy" cùng lúc trong một lần xử lý - bao gồm toàn bộ đoạn hội thoại từ đầu, file bạn đính kèm, và câu trả lời nó sắp tạo ra.
Hãy tưởng tượng context window như một cái bàn làm việc có kích thước cố định. Mọi thứ liên quan đến cuộc trò chuyện phải nằm gọn trên bàn đó thì AI mới "nhìn thấy" và dùng được. Khi cuộc trò chuyện quá dài, vượt quá kích thước bàn, những phần cũ nhất sẽ bị đẩy ra khỏi "tầm nhìn" - đó là lý do đôi khi AI có vẻ "quên" điều bạn nói cách đây rất lâu trong cùng một cuộc chat.
Các model hiện đại thường có context window từ 128.000 đến hơn 1.000.000 token tùy model (kiểm tra: 05/09/2026) - đủ chứa từ vài trăm trang đến cả một cuốn sách. Con số đổi liên tục theo bản cập nhật, nên kiểm tra trang chủ nhà cung cấp để có số mới nhất thay vì tin vào một con số cố định.
Thử ngay cái "bàn làm việc" đó: bấm thêm lượt hỏi–đáp cho hội thoại dài dần, và để ý dòng "lời dặn" ghim ở đầu - tới lúc nào nó bị đẩy ra khỏi bàn thì AI coi như quên mất bạn tên Thư. Kéo thanh kích thước cửa sổ để thấy bàn to hơn giữ được lâu hơn.
Cửa sổ chỉ giữ được các token gần nhất. Hội thoại càng dài, phần cũ nhất càng bị đẩy ra — đó là lý do AI đôi khi "quên" điều bạn nói lúc đầu, dù vẫn trong cùng một cuộc chat. Cửa sổ to hơn thì giữ được lâu hơn, nhưng token nào cũng tính tiền và làm chậm; nên khi thread quá dài, mở cuộc mới và tóm tắt lại điều cần nhớ vẫn tốt hơn là kéo vô hạn. (Token ở đây là ước lượng thô để hình dung.)
Mẹo thực tế: nếu cuộc trò chuyện quá dài và AI bắt đầu trả lời "lạc đề" hoặc quên context, hãy mở cuộc trò chuyện mới và tóm tắt lại những gì cần thiết - đừng cố kéo dài một thread vô hạn.
Temperature - độ "sáng tạo" của câu trả lời
Khi LLM dự đoán từ tiếp theo, nó thực ra tính ra một danh sách xác suất cho nhiều từ có thể đứng tiếp theo, rồi chọn một từ trong số đó. Temperature là tham số điều chỉnh việc "chọn" này diễn ra táo bạo hay an toàn đến đâu:
- Temperature thấp (gần 0): gần như luôn chọn từ xác suất cao nhất → câu trả lời ổn định, phù hợp việc cần chính xác (viết code, trích xuất dữ liệu).
- Temperature cao (gần 1 hoặc hơn): sẵn sàng chọn từ ít khả năng hơn → câu trả lời đa dạng, sáng tạo hơn nhưng dễ "lạc hướng" hơn, phù hợp brainstorm.
Chatbot thường (Claude.ai, ChatGPT) hiếm khi cho chỉnh temperature trực tiếp - nó chỉ hiện khi gọi API bằng code. Hiểu khái niệm này giúp bạn hiểu vì sao hỏi AI cùng một câu hai lần có thể ra hai câu trả lời hơi khác nhau.
Kéo thanh dưới đây để tự thấy: đây là câu đang viết dở "Trời hôm nay đẹp, mình đi ___", và mỗi từ có một xác suất được chọn. Temperature làm phân phối đó đổi hình - rồi bấm "sinh thử" để xem model thực sự chọn ra từ nào.
Kéo temperature về gần 0: xác suất dồn hết về từ hợp lý nhất, câu trả lời gần như cố định — hợp việc cần chính xác (viết code, trích xuất dữ liệu). Kéo lên cao: các từ san bằng dần, kể cả từ "lạc đề" cũng có cửa được chọn — đa dạng, sáng tạo hơn nhưng dễ chệch hướng. Đây chính là lý do hỏi cùng một câu hai lần có thể ra hai câu trả lời khác nhau.
Không có mức temperature "đúng" cho mọi việc: cần chính xác, lặp lại được (viết code, trích xuất dữ liệu, trả lời theo tài liệu) thì để thấp; cần nhiều ý, nhiều cách diễn đạt (brainstorm, đặt tên, viết nháp sáng tạo) thì để cao hơn.
Reasoning - khi model "nghĩ" trước khi trả lời
Một số model hiện đại (gọi là reasoning model, hoặc có chế độ "extended thinking"/"suy luận mở rộng") không trả lời ngay mà tự sinh ra một chuỗi bước suy luận trung gian trước khi đưa ra câu trả lời cuối cùng - giống bạn nháp ra giấy trước khi viết câu trả lời chốt, thay vì nghĩ gì viết nấy. Chuỗi suy luận này về bản chất vẫn là token (xem lại phần Token phía trên) - bạn thường không thấy hết nội dung nháp đó, nhưng nó vẫn tính vào chi phí và thời gian chờ.
Vì sao việc này quan trọng với bạn: đây chính là lý do khi dùng coding agent (Claude Code, Codex), bật mức "reasoning" cao cho một việc khó thì kết quả thường chính xác hơn nhưng chờ lâu hơn và tốn nhiều token hơn hẳn - không phải vì model "biết nhiều hơn", mà vì nó đang suy nghĩ kỹ hơn trước khi trả lời. Xem cách chọn mức reasoning hợp lý theo từng loại việc ở 02-code-voi-ai/14-codex-model-reasoning-va-han-muc.md.
Chọn thử độ khó việc và mức reasoning để thấy sự đánh đổi: để ý khi việc dễ mà bật reasoning cao, độ chính xác gần như không nhích trong khi thời gian và token tăng vọt - còn với việc khó thì nghĩ sâu mới thật sự đáng.
Mấu chốt: reasoning cao không "biết nhiều hơn" — nó chỉ nghĩ kỹ hơn trước khi trả lời, nên tốn thêm token nháp và thời gian. Với việc dễ, phần nghĩ thêm đó gần như vô ích; với việc khó, nó mới tạo ra khác biệt. Đừng bật cao cho mọi việc — chỉ tổ chờ lâu và tốn tiền oan. (Đây là minh họa quan hệ đánh đổi, không phải số đo thật — mức cụ thể tùy model và việc.)
Mẹo thực tế: việc đơn giản, rõ ràng thì dùng reasoning thấp (hoặc tắt) cho nhanh và rẻ; việc khó, nhiều bước, dễ sai (debug bug hóc búa, thiết kế kiến trúc, toán/logic phức tạp) mới cần reasoning cao - bật cao cho mọi việc chỉ tổ chờ lâu và tốn tiền oan.
Vì sao AI đôi khi "bịa" (hallucination)?
Vì bản chất LLM là dự đoán từ có khả năng cao nhất, không phải tra cứu một cơ sở dữ liệu sự thật. Khi gặp câu hỏi mà nó không có đủ thông tin đáng tin cậy, nó vẫn có xu hướng tạo ra một câu trả lời nghe rất trôi chảy và tự tin - dù nội dung sai. Hiện tượng này gọi là hallucination (ảo giác).
Cách giảm rủi ro khi dùng AI:
- Với thông tin quan trọng (số liệu, tên riêng, sự kiện cụ thể), luôn kiểm tra chéo với nguồn khác.
- Yêu cầu AI trích dẫn nguồn hoặc giải thích cách nó suy ra kết luận.
- Với việc code: chạy thử code, đừng tin code "trông đúng" mà chưa chạy.
- Dùng kỹ thuật RAG (cho AI đọc tài liệu thật thay vì chỉ dựa vào trí nhớ huấn luyện) khi cần độ chính xác cao - xem
04-build-ung-dung-ai/02-rag-la-gi-va-build.md.
Một câu để nhớ: LLM chỉ đang đoán từ tiếp theo có khả năng cao nhất, không tra cứu sự thật - với thông tin quan trọng, luôn kiểm tra chéo, đừng tin tuyệt đối.
Bước tiếp theo
Hiểu được cách LLM hoạt động rồi, giờ tìm hiểu xem trên thị trường có những công ty và model nào, ai mạnh ở đâu: Các công ty và model AI lớn