66b là một mô hình ngôn ngữ quy mô lớn có khoảng 66 tỷ tham số. Nó được thiết kế để hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngữ cảnh, từ trả lời câu hỏi đến viết văn bản và dịch thuật. Mô hình dựa trên kiến trúc transformer và được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa chủ đề nhằm cải thiện khả năng tổng quát.
Kiến trúc của 66b dựa trên bộ mã hóa-giải mã transformer theo phiên bản mở rộng. Với số lượng tham số lớn và cơ chế attention, nó có thể nắm bắt mối quan hệ phức tạp giữa từ ngữ, cú pháp và ngữ cảnh. Khả năng sinh văn bản tự nhiên, tóm tắt nội dung, và trả lời câu hỏi đạt được hiệu quả ở nhiều nhiệm vụ.
66b được huấn luyện trên tập dữ liệu lớn, đa ngôn ngữ và đa thể loại, bao gồm văn bản từ sách, bài báo, web, và dữ liệu đối thoại. Quá trình huấn luyện đi kèm với quản lý chất lượng và công cụ an toàn để giảm trạng thái tiêu cực và sai lệch. Mặc dù có hiệu suất ấn tượng, mô hình vẫn phụ thuộc vào chất lượng nguồn dữ liệu.
