Một mẫu chip LPU của Groq. Ảnh: Groq

Thỏa thuận này được xác định là hình thức cấp phép công nghệ không độc quyền, cho phép Nvidia khai thác kiến trúc xử lý ngôn ngữ đặc thù của Groq trong khi startup này vẫn duy trì hoạt động độc lập với đội ngũ điều hành mới. Theo các điều khoản được công bố, ông Jonathan Ross – CEO sáng lập Groq – cùng Chủ tịch Sunny Madra và các cộng sự cốt cán sẽ gia nhập Nvidia để trực tiếp tham gia vào quá trình phát triển và mở rộng quy mô công nghệ đã được cấp phép.

Sự kiện thâu tóm này diễn ra sau khi Groq gây tiếng vang lớn trong cộng đồng công nghệ vào đầu năm 2024. Tại một buổi trình diễn tại Na Uy, startup này đã giới thiệu một chatbot AI có khả năng phản hồi với tốc độ gần như tức thời, vượt xa khả năng đọc của con người. Dù buổi thuyết trình từng gặp sự cố chậm nhịp do lượng người dùng truy cập đột ngột tăng cao, sức mạnh cốt lõi từ hệ thống phần cứng của Groq vẫn khẳng định được vị thế khác biệt trên thị trường chip bán dẫn.

[Ảnh: CEO Groq Jonathan Ross – nhân vật đứng sau kiến trúc LPU đột phá]

Điểm mấu chốt tạo nên giá trị của Groq nằm ở kiến trúc LPU (Language Processing Unit - Bộ xử lý ngôn ngữ). Khác với dòng GPU truyền thống của Nvidia vốn được xây dựng dựa trên kiến trúc xử lý song song, LPU của Groq được tùy chỉnh hoàn toàn để tối ưu hóa cho tác vụ suy luận xác định và đơn token. Với mức giá khoảng 20.000 USD mỗi đơn vị, chip LPU nhắm trực tiếp vào phân khúc phần cứng cao cấp, cạnh tranh với các dòng card đồ họa chuyên dụng trong lĩnh vực trí tuệ nhân tạo.

Về mặt hiệu năng, các phân tích kỹ thuật cho thấy chip Groq sở hữu ưu thế tuyệt đối về tốc độ tạo token và độ trễ. Trong khi chip Nvidia H100 đạt tốc độ khoảng 60-100 token mỗi giây (tps) với độ trễ từ 8-10 ms, thì giải pháp của Groq có thể cung cấp tới 300-500 tps với độ trễ cực thấp chỉ 1-2 ms. Thử nghiệm trên mô hình Llama 2 với 70 tỷ tham số cho thấy tốc độ xử lý của Groq cao hơn gấp đôi so với các dịch vụ hàng đầu hiện nay trên thị trường.

Mặc dù GPU của Nvidia vẫn là tiêu chuẩn vàng trong việc huấn luyện các mô hình AI nhờ hệ sinh thái phần mềm Cuda phong phú, nhưng sự xuất hiện của LPU từ Groq đã giải quyết được "nút thắt cổ chai" về độ trễ trong trải nghiệm người dùng cuối. Việc sở hữu công nghệ của Groq sẽ giúp Nvidia củng cố quyền lực tuyệt đối trong toàn bộ chuỗi giá trị AI, từ khâu đào tạo mô hình phức tạp cho đến khâu suy luận phản hồi siêu tốc.