Thành phố Cuồng loạn

Trong cộng đồng AI, con số "GPT-4 sở hữu 1,8 nghìn tỷ tham số nhưng chỉ sử dụng 2% cho mỗi token" thường xuyên được trích dẫn như một minh chứng cho sự đột phá về hiệu suất. Tuy nhiên, nếu không đặt vào ngữ cảnh kỹ thuật, con số này dễ gây hiểu lầm rằng một mô hình khổng lồ có thể chạy nhẹ nhàng như các mô hình nhỏ (như LLaMA-70B). Thực tế, kiế ...