Text-to-image AI hoạt động ra sao và dùng thế nào cho hiệu quả?

Chuyện gì xảy ra giữa prompt và bức ảnh

Hầu hết hệ thống text-to-image có ba phần. Bộ mã hóa văn bản biến prompt thành danh sách các con số nắm bắt ý nghĩa của nó. Bộ tạo ảnh dựng một bức ảnh có điều kiện theo các con số đó. Bộ giải mã biến biểu diễn bên trong của bộ tạo ảnh thành điểm ảnh thật.

Loại bộ tạo ảnh phổ biến nhất tại thời điểm viết bài là mô hình khuếch tán (diffusion model). Nó bắt đầu từ nhiễu ngẫu nhiên thuần và qua một loạt bước, mỗi lần dự đoán và gỡ đi một chút nhiễu, dưới sự dẫn hướng của văn bản. Mô hình khuếch tán tiềm ẩn (latent diffusion), họ mô hình đứng sau Stable Diffusion, làm việc này trong một không gian nén thay vì trên điểm ảnh kích thước đầy đủ, nên chạy rẻ hơn nhiều. Các hệ thống khác là tự hồi quy (autoregressive): chúng tạo ảnh như một chuỗi token nối tiếp nhau, giống cách mô hình ngôn ngữ viết từng từ. Janus-Pro chẳng hạn hoạt động theo cách này. Cả hai loại nhận cùng đầu vào từ bạn, nên quy trình dưới đây áp dụng cho cả hai.

1. Prompt của bạn được tách thành token và mã hóa.
2. Một điểm khởi đầu ngẫu nhiên được tạo từ seed.
3. Bộ tạo ảnh tinh chỉnh điểm khởi đầu đó trong một số bước nhất định, mỗi bước được kéo về phía prompt.
4. Bộ giải mã xuất ảnh cuối cùng ở kích thước đã chọn.

Những cài đặt quan trọng

Tên gọi khác nhau giữa các công cụ, và nhiều dịch vụ trực tuyến ẩn bớt một số cài đặt. Khi nhìn thấy chúng, đây là những cái đáng học.

Guidance hoạt động bằng cách so sánh hai dự đoán ở mỗi bước, một có prompt của bạn và một không có, rồi đẩy kết quả xa hơn theo hướng của sự khác biệt. Đó là lý do thang đo này giống một núm vặn cường độ của prompt, và vì sao đặt quá cao sẽ làm mọi thứ bị phóng đại.

Quy trình từ ý tưởng đến ảnh hoàn chỉnh

1. Viết yêu cầu trong một câu: ảnh dùng để làm gì, hình dạng của nó (bài đăng vuông, banner 16:9, hình nền điện thoại 9:16) và một điều nó bắt buộc phải thể hiện.
2. Soạn prompt gồm chủ thể, hành động, bối cảnh, phong cách, ánh sáng và khung hình.
3. Tạo một loạt bốn đến tám ảnh nhỏ với seed ngẫu nhiên. Hãy nhìn bố cục, chưa phải chi tiết.
4. Chọn ảnh tốt nhất và ghi lại seed của nó. Từ giờ cố định seed.
5. Mỗi lần đổi một thứ trong prompt (ánh sáng, ống kính, màu) rồi so sánh. Với seed cố định, sự khác biệt đến từ chữ của bạn.
6. Khi bố cục đã đúng, hãy sửa các lỗi cục bộ bằng inpainting hoặc image-to-image thay vì tạo lại từ đầu.
7. Phóng to ảnh cuối cùng lên kích thước cần dùng, rồi kiểm tra khuôn mặt, bàn tay và mọi chữ ở kích thước đầy đủ.
8. Ghi lại prompt, seed, mô hình và cài đặt cạnh tệp để sau này có thể làm các biến thể.

Đây là một ví dụ nhỏ cho bước 5. Seed giữ nguyên; chỉ cụm từ về ánh sáng thay đổi giữa các lần chạy.

seed 1234
A: a lighthouse on a rocky coast, wide shot, overcast soft light
B: a lighthouse on a rocky coast, wide shot, golden hour, warm rim light
C: a lighthouse on a rocky coast, wide shot, blue hour, lamp glowing

Vì nhiễu khởi đầu giống nhau, A, B và C giữ bố cục tương tự, nên bạn có thể đánh giá riêng phần ánh sáng. Nếu mỗi lần dùng seed mới, bạn sẽ đang so sánh những bố cục khác nhau.

Chọn kích thước và độ phân giải

Mỗi mô hình được huấn luyện quanh một số kích thước nhất định. Các mô hình Stable Diffusion đời đầu chủ yếu được huấn luyện ở 512 × 512 điểm ảnh; các mô hình mới hơn được huấn luyện quanh 1024 × 1024 và nhiều tỷ lệ khung hình. Yêu cầu ảnh lớn hơn nhiều so với kích thước huấn luyện thường tạo ra chủ thể lặp lại, như hai cái đầu hay đường chân trời bị nhân đôi, vì mô hình lấp phần không gian dư bằng thêm những gì nó biết.

Cách an toàn hơn là tạo ở kích thước gốc rồi phóng to bằng công cụ upscale AI. Chẳng hạn, công cụ tạo ảnh AI của cv.cm tạo ảnh 384 điểm ảnh trên GPU của chính bạn bằng mô hình tự hồi quy, rồi có thể phóng to 2x hoặc 4x bằng Real-ESRGAN. Bộ upscale làm nét viền và kết cấu, nhưng không thể thêm vật thể hay sửa một bố cục kém, nên hãy làm đúng bố cục trước.

Những điều text-to-image vẫn làm chưa tốt

• Chữ bên trong ảnh. Chữ cái có thể sai chính tả hoặc bị bịa ra, nhất là với cụm dài và chữ không phải Latin. Hãy thêm chữ trong phần mềm chỉnh sửa khi cần đúng tuyệt đối.
• Bàn tay và đếm số lượng. Thừa hoặc dính ngón tay ít gặp hơn trước nhưng vẫn xuất hiện. Số lượng chính xác (bảy con chim) và quan hệ vị trí (bên trái, phía sau) thường sai.
• Nhiều người khác nhau. Chi tiết của người này lẫn sang người kia. Hãy dựng cảnh theo từng giai đoạn hoặc dùng ảnh tham chiếu.
• Cùng một nhân vật hai lần. Mỗi lần chạy mới là một người mới, trừ khi bạn dùng ảnh tham chiếu, mô tả cố định hoặc tinh chỉnh mô hình (fine-tuning). Xem hướng dẫn về nhân vật nhất quán.
• Thiên lệch về vẻ ngoài phổ biến. Khi thiếu chi tiết, mô hình quay về những khuôn mặt, địa điểm và phong cách thường gặp nhất trong dữ liệu huấn luyện. Hãy nêu rõ độ tuổi, vùng miền, vóc dáng và bối cảnh.
• Người thật, thương hiệu và logo. Nhiều dịch vụ chặn chúng, và việc dùng chúng có thể tạo rủi ro pháp lý ngay cả khi công cụ cho phép.

Dịch vụ trực tuyến hay mô hình chạy cục bộ?

Các công cụ trực tuyến như Midjourney, GPT image, Imagen hay các dịch vụ Stable Diffusion và FLUX online dễ bắt đầu và chạy mô hình lớn, nhưng bạn gửi prompt lên máy chủ và phải theo quy tắc nội dung cùng điều khoản của họ. Công cụ cục bộ chạy mô hình trên GPU của bạn: không có gì rời khỏi thiết bị, bạn thấy mọi cài đặt, nhưng mô hình phải vừa bộ nhớ và thường nhỏ hơn.