66B là một mô hình ngôn ngữ lớn do một số tổ chức phát triển, có 66 tỷ tham số. Mục đích của nó là xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ các tác vụ trí tuệ nhân tạo khác.
66B dựa trên kiến trúc transformer với nhiều lớp chú ý (multi-head attention) và cơ chế feed-forward. Số lượng tham số khoảng 66 tỷ, bao gồm embeddings, bias và các tham số tầng. Tokenization có thể sử dụng byte-pair encoding hoặc unigram. Mô hình được huấn luyện trên tập dữ liệu đa nguồn, kết hợp văn bản từ web, sách và văn bản có chất lượng cao.
Quá trình đào tạo đòi hỏi tài nguyên tính toán lớn, sử dụng nhiều GPU/TPU và tối ưu hóa phân phối. Dữ liệu gốc được làm sạch, loại bỏ nội dung nhạy cảm và đảm bảo đa ngôn ngữ. Việc cân bằng dữ liệu ảnh hưởng đến hiệu suất trên nhiều ngôn ngữ và ngữ cảnh.
Trên các benchmark định sẵn, 66B cho thấy khả năng hiểu và sinh văn bản tốt, đồng thời có thể thực hiện dịch máy, tóm tắt, trò chuyện và trợ giúp viết mã ở mức độ hữu ích. Tuy nhiên, nó vẫn đối mặt với nguy cơ phù phiếm, sai lệch và tần suất lỗi ngữ pháp nhất định.
Những thách thức gồm đạo đức, sự thiên vị, phí vận hành và khả năng kiểm soát. Triển vọng của 66B là cung cấp công cụ hỗ trợ sáng tạo, tự động hóa công việc ngôn ngữ và kết hợp với hệ thống AI khác để cải thiện hiệu quả và an toàn khi sử dụng.
