Google vừa giới thiệu hai phiên bản bộ xử lý tensor (TPU) thế hệ mới là TPU 8t và TPU 8i, phục vụ lần lượt cho nhu cầu huấn luyện và suy luận mô hình trí tuệ nhân tạo.
Theo Google, TPU 8t được thiết kế như một “siêu chip huấn luyện” với khả năng xử lý khối lượng công việc AI thông lượng cao. Hiệu năng tính toán của phiên bản này cao hơn gần ba lần so với các thế hệ trước.
Cụ thể, TPU 8t tích hợp tới 9.600 chip trong một siêu cụm, cung cấp năng lực tính toán lên tới 121 exaflop và hai petabyte bộ nhớ dùng chung. Hệ thống được kết nối bằng công nghệ liên chip tốc độ cao (ICI), với băng thông tăng gấp đôi, giúp các mô hình phức tạp có thể mở rộng gần như tuyến tính và tối ưu hiệu suất toàn hệ thống.
Đại diện Google cho biết nhờ sức mạnh của hơn một triệu chip TPU trong một cụm máy chủ duy nhất, được điều phối bởi Pathways và JAX, thời gian huấn luyện mô hình có thể rút ngắn từ nhiều tháng xuống chỉ còn vài tuần.
Trong khi đó, TPU 8i được phát triển cho các tác vụ suy luận và học tăng cường (RL), hướng đến độ trễ thấp và khả năng xử lý linh hoạt cho các hệ thống AI dựa trên tác nhân và mô hình hỗn hợp chuyên gia (MoE). Chip này được nâng cấp mạnh về bộ nhớ với 384 MB SRAM trên chip và 288 GB bộ nhớ băng thông cao (HBM), giúp cải thiện đáng kể khả năng lưu trữ và xử lý dữ liệu ngay trên chip.
TPU 8i cũng được tăng gấp đôi băng thông ICI lên 19,2 Tb/giây, đồng thời giảm hơn 50% độ trễ mạng. Google còn tích hợp công cụ tăng tốc mới mang tên Collectives Acceleration Engine (CAE), giúp giảm độ trễ tới 5 lần trong các tác vụ xử lý đồng thời. Nhờ đó, hiệu suất trên mỗi USD của TPU 8i được cải thiện hơn 80% so với thế hệ trước.
Google cho biết hai dòng chip TPU mới sẽ sớm được tích hợp vào hệ thống trung tâm dữ liệu của Google Cloud, tuy nhiên chưa công bố lộ trình cụ thể.
Theo đánh giá của TechCrunch, với cấu hình và hiệu năng ấn tượng, các chip mới có thể tạo sức ép cạnh tranh đáng kể lên Nvidia trong lĩnh vực phần cứng AI. Dù vậy, nhiều khả năng Google chưa hướng tới cạnh tranh trực diện khi hai bên vẫn duy trì quan hệ hợp tác.
Tương tự Microsoft và Amazon, Google đang phát triển chip riêng nhằm bổ sung năng lực tính toán cho hệ thống sử dụng GPU của Nvidia, thay vì thay thế hoàn toàn. Trước đó, CEO Sundar Pichai từng cho biết Google Cloud sẽ tích hợp các dòng chip mới nhất của Nvidia, điều đã được hiện thực hóa khi công ty công bố máy chủ vật lý A5X trang bị chip Vera Rubin NVL72.
Bên cạnh TPU 8t và TPU 8i, Google cũng giới thiệu loạt sản phẩm mới như máy ảo Axion N4A sử dụng CPU Arm tự phát triển, Google Compute Engine thế hệ 4 với CPU Intel và AMD, nền tảng trung tâm dữ liệu Virgo Network, máy ảo Z4M với bộ nhớ SSD dung lượng cao và Google Kubernetes Engine (GKE) phục vụ điều phối các tác vụ AI.
Bình luận
0