Mô hình ngôn ngữ lớn (LLM) hoạt động như thế nào?

Tóm gọn: một cỗ máy đoán từ tiếp theo rất giỏi

LLM chỉ làm một việc, lặp đi lặp lại. Nó nhìn văn bản đã có và ước lượng xác suất của từng mẩu văn bản có thể đứng tiếp theo. Rồi nó chọn một mẩu, nối vào, và nhìn lại. Một câu trả lời 300 từ là vài trăm bước nhỏ như vậy.

Nghe thì quá đơn giản để viết ra bài luận, mã nguồn hay bản dịch. Sức mạnh đến từ quy mô. Mô hình có hàng tỷ tham số, tức những con số được điều chỉnh trong lúc huấn luyện, và được huấn luyện trên lượng văn bản rất lớn. Muốn dự đoán từ tiếp theo tốt trên chừng ấy văn bản, nó buộc phải nắm được ngữ pháp, kiến thức, cách lập luận và cấu trúc của mã nguồn.

Các trợ lý trò chuyện như ChatGPT, Claude, Gemini, DeepSeek và Qwen là sản phẩm xây quanh LLM. Sản phẩm bổ sung giao diện chat, system prompt ẩn, quy tắc an toàn và thường cả công cụ như tìm kiếm web. Lõi vẫn là dự đoán token tiếp theo.

Tin nhắn của bạn được xử lý từng bước ra sao

Lấy prompt The capital of France is. Mô hình xử lý nó như sau:

1. Tách token (tokenize): văn bản được cắt thành token. Với một bộ tokenizer phổ biến, prompt này thành năm token: The, capital, of, France, is (hầu hết mang theo dấu cách đứng trước).
2. Nhúng (embed): mỗi token được thay bằng một dãy số dài, gọi là embedding, đặt nó vào một không gian nơ-ron nơi các nghĩa liên quan nằm gần nhau.
3. Chú ý (attend): các embedding đi qua hàng chục lớp transformer. Ở mỗi lớp, bước attention cho phép mỗi token nhìn các token trước đó và lấy về phần liên quan.
4. Chấm điểm (score): lớp cuối cho ra điểm cho từng token trong bộ từ vựng, thường có từ 100.000 mục trở lên. Các điểm này được đổi thành xác suất.
5. Lấy mẫu (sample): một token được chọn theo các xác suất đó và theo cài đặt lấy mẫu.
6. Lặp lại: token vừa chọn được nối vào văn bản, và cả quy trình chạy lại cho token kế tiếp, cho đến khi mô hình xuất token dừng hoặc chạm giới hạn độ dài.

Xác suất của token tiếp theo có thể trông như sau. Các con số chỉ mang tính minh họa, không lấy từ mô hình thật:

Từ bảng này rút ra hai bài học. Thứ nhất, mô hình không tra một mục trong cơ sở dữ liệu. Nó tạo ra phần tiếp theo có khả năng cao nhất. Thứ hai, một token sai luôn có một xác suất nào đó, và đây là một lý do mô hình đôi khi nói điều sai.

Attention: cách mô hình theo dõi ý nghĩa

Attention là ý tưởng cốt lõi của kiến trúc transformer, công bố năm 2017. Với mỗi token, mô hình tính xem nên cân nhắc mỗi token đứng trước nặng nhẹ ra sao khi dựng nghĩa cho nó.

Hãy xét câu: The trophy did not fit in the suitcase because it was too big. Để hiểu it chỉ cái gì, mô hình phải nối nó với trophy (chiếc cúp), không phải suitcase (chiếc vali). Đổi big thành small thì it lại chỉ chiếc vali. Attention giúp mô hình tạo liên kết này từ các từ xung quanh, qua nhiều lớp, mỗi lớp làm bức tranh rõ hơn.

Vì attention so sánh mỗi token với các token trước đó, chi phí tăng rất nhanh khi văn bản dài ra. Đó là lý do mọi mô hình đều có cửa sổ ngữ cảnh (context window), tức số token tối đa nó xem xét được cùng lúc.

LLM được huấn luyện thế nào: ba giai đoạn

Một bộ dự đoán token thô chưa phải trợ lý hữu ích. Nếu bạn đặt câu hỏi, nó có thể viết tiếp bằng thêm nhiều câu hỏi, vì điều đó cũng giống văn bản trên internet. Các trợ lý hiện đại trải qua nhiều giai đoạn huấn luyện.

Nghiên cứu về InstructGPT cho thấy một mô hình nhỏ hơn được huấn luyện theo cách này được người dùng ưa thích hơn một mô hình lớn hơn nhiều chỉ có tiền huấn luyện. Đến thời điểm viết bài, nhiều mô hình còn được huấn luyện thêm để giải bài toán từng bước trước khi trả lời, thường hiện trong sản phẩm dưới dạng chế độ suy nghĩ hay suy luận.

Huấn luyện chỉ làm một lần, với chi phí rất lớn, trước khi phát hành. Khi bạn trò chuyện với mô hình, tham số của nó không thay đổi. Nó không học từ cuộc trò chuyện ngay lúc đó, dù nhà cung cấp có thể dùng hội thoại để huấn luyện các phiên bản sau nếu chính sách cho phép.

Cài đặt lấy mẫu làm thay đổi câu trả lời

Cùng một prompt có thể cho câu trả lời khác nhau vì mô hình lấy mẫu từ các xác suất. Nếu dùng API, bạn có thể điều khiển việc này. Khoảng giá trị và mặc định cụ thể khác nhau tùy nhà cung cấp.

Temperature thấp làm câu trả lời nhất quán hơn. Nó không làm câu trả lời đúng hơn. Nếu phần tiếp theo có khả năng cao nhất lại sai thì temperature thấp khiến mô hình sai lặp đi lặp lại.

LLM không làm những gì

Nhiều lỗi gây ngạc nhiên trở nên dễ hiểu khi bạn nhớ đến cơ chế:

• Chúng không nhìn thấy chữ cái. Mô hình thấy token, nên một từ như strawberry có thể đến dưới dạng ba mảnh như st, raw và berry. Vì vậy đếm chữ cái hay đảo ngược từ là việc khó.
• Chúng tự không nhớ các cuộc trò chuyện cũ. Tính năng bộ nhớ trong ứng dụng hoạt động bằng cách lưu ghi chú rồi chèn vào prompt.
• Chúng không biết sự kiện gần đây trừ khi ứng dụng thêm kết quả tìm kiếm hoặc tài liệu vào ngữ cảnh.
• Chúng không kiểm chứng sự thật. Không có gì trong việc dự đoán token so đầu ra với thực tế, nên văn bản trôi chảy vẫn có thể sai.
• Chúng không chạy mã hay tính toán chính xác trừ khi gọi công cụ. Phép nhân dài thuần bằng văn bản rất dễ sai.

Sản phẩm tốt bù các khoảng trống này bằng công cụ: máy tính, trình chạy mã, tìm kiếm web hoặc truy xuất từ tài liệu của bạn. Khi biết khoảng trống tồn tại, bạn biết lúc nào nên yêu cầu dùng công cụ hoặc tự kiểm tra lại đáp án.

Mẹo thực tế rút ra từ cách LLM hoạt động

• Đưa tài liệu vào prompt. Nếu muốn hỏi về một văn bản, hãy dán phần liên quan. Mô hình lập luận tốt hơn nhiều trên văn bản nó nhìn thấy so với những ký ức mơ hồ từ lúc huấn luyện.
• Nêu cụ thể đầu ra. Hãy nói rõ định dạng, độ dài, đối tượng đọc và ngôn ngữ. Mô hình lấp chỗ trống bằng lựa chọn phổ biến nhất.
• Yêu cầu làm từng bước với bài khó. Viết các bước trung gian cho mô hình thêm token để làm việc trước khi chốt đáp án.
• Mở cuộc trò chuyện mới cho việc mới. Các tin nhắn cũ không liên quan vẫn nằm trong ngữ cảnh và có thể kéo câu trả lời lệch hướng.
• Kiểm chứng tên, số liệu, trích dẫn và liên kết. Đây là những chi tiết dễ bị bịa nhất.