Thành phố Cuồng loạn

Thách thức của mô hình Request-Response đồng bộ Độ trễ trong quá trình suy luận của các mô hình ngôn ngữ lớn (LLM) là một rào cản lớn đối với trải nghiệm người dùng. Với một phản hồi dài khoảng 2000 tokens, thời gian tạo ra có thể lên tới 20-40 giây. Nếu sử dụng kiến trúc HTTP đồng bộ truyền thống, client sẽ phải chịu đựng một khoảng thời gian ...