295B tham số trong 85.5GB: Cú đột phá hay vỏ bọc kỹ thuật?

Hook: 295 tỷ tham số, nén xuống 85.5GB, chạy trên một GPU 96GB. Con số nghe như viễn tưởng. Tuần trước,腾讯混元 công bố Hy3 – bản 1-bit và 4-bit của mô hình colossal. Nhưng dữ liệu gốc có thực sự kể câu chuyện mà họ muốn bạn tin? Tôi đã phân tích từng con số, và phát hiện ra một khoảng trống lớn: không có benchmark nào được công bố. Context: Quant hóa cực thấp (1-bit/4-bit) là kỹ thuật giảm độ chính xác của trọng số mạng neural để tiết kiệm bộ nhớ. Các phương pháp chuẩn như INT8 hay FP16 đã phổ biến, nhưng 1-bit (nhị phân) là vùng chết – vì nó phá hủy nghiêm trọng khả năng biểu diễn của mô hình.腾讯 tuyên bố đã làm được điều này trên mô hình 295B, chạy trên một GPU H20 (96GB VRAM). Đây là GPU NVIDIA thiết kế riêng cho thị trường Trung Quốc, với bộ nhớ lớn nhưng sức mạnh tính toán chỉ bằng một phần nhỏ H100. Bài toán đặt ra: liệu đây là bước đột phá trong triển khai, hay chỉ là một bài toán PR được tô vẽ? Core: Hãy nhìn vào dữ liệu cứng. Trọng số gốc của Hy3 ước tính cần ~600GB ở FP16. Sau quant hóa 1-bit, bài báo cho biết dung lượng giảm xuống 85.5GiB – tức ~12,5 lần nén. Đó là một thành tựu kỹ thuật, nhưng không phải là không có giá. Họ thừa nhận rằng phiên bản 1-bit phải “tắt một phần tính năng tăng tốc và rút ngắn độ dài văn bản xử lý trong một lần”. Dịch: mô hình không thể chạy với batch size lớn, và không hỗ trợ context dài. Điều này đồng nghĩa với việc thông lượng (tokens/s) sẽ cực kỳ thấp – có thể dưới 10 tokens/s trên một GPU. Hai GPU giúp cải thiện, nhưng vẫn không thay đổi bản chất: 1-bit chỉ khả thi cho tác vụ rất đơn giản, không yêu cầu suy luận phức tạp. So sánh: GPT-4 khoảng 1.8T tham số, nhưng OpenAI không bao giờ công bố bản 1-bit; họ dùng INT8/FP8 và hàng trăm GPU để đảm bảo chất lượng.腾讯 đã chọn con đường tối ưu dung lượng, nhưng cái giá phải trả là chất lượng đầu ra. Dữ liệu nói lên tất cả: thiếu benchmark MMLU, HumanEval, GSM8K. Nếu thực sự hiệu quả, họ đã công bố ngay. Contrarian: Một góc nhìn phản trực giác: đây không phải là thất bại, mà là một tín hiệu thông minh về chiến lược. Tại sao腾讯 lại làm điều này? Vì họ có hàng trăm nghìn GPU H20 – dòng chip tuân thủ lệnh cấm xuất khẩu của Mỹ – và họ cần tạo ra lợi thế cạnh tranh khác biệt. Các đối thủ như Alibaba Cloud, Baidu Cloud cũng có H20, nhưng không ai có bản 1-bit 295B. Điều này cho phép腾讯 mở ra một thị trường ngách: khách hàng doanh nghiệp muốn chạy mô hình lớn trên một máy chủ duy nhất, chấp nhận chất lượng thấp hơn. Hãy nhớ lại mùa hè DeFi 2020: tôi từng xây dựng bảng điểm đánh giá các pool thanh khoản, phát hiện ra rằng những dự án “quá tốt để thành thật” thường thiếu dữ liệu. Ở đây cũng vậy. Tuy nhiên, khác với rug pull,腾讯 có đủ uy tín và nguồn lực để biến công nghệ này thành sản phẩm thực. Vấn đề là liệu có đủ khách hàng chấp nhận mức chất lượng “chỉ hơi giảm” hay không? Các bài kiểm tra nội bộ cho thấy 4-bit gần với bản gốc, nhưng 1-bit… họ nói “hơi giảm”, nhưng trong AI, “hơi” có thể là tụt 30% trên tác vụ lý luận. Takeaway: Tuần tới, hãy theo dõi hai tín hiệu: (1)腾讯 có công bố benchmark chuẩn không? Nếu không, hãy coi đây là một bài toán PR. (2) Các đối thủ Trung Quốc (DeepSeek, 智谱) có tung ra bản quant hóa tương tự không? Nếu có, cuộc đua sẽ chuyển từ “ai có mô hình tốt hơn” sang “ai có mô hình rẻ hơn”. Câu hỏi cuối: Bạn có sẵn sàng chạy một mô hình 295B trên một GPU, với chất lượng không rõ ràng, để tiết kiệm chi phí? Dữ liệu sẽ trả lời – nhưng lần này, dữ liệu vẫn đang im lặng.