Cụ thể, Cerebras đã phát hành 7 mô hình, tất cả đều được đào tạo trên siêu máy tính AI có tên Andromeda, bao gồm các mô hình ngôn ngữ nhỏ có 111 triệu tham số cho đến một số mô hình ngôn ngữ lớn hơn có 13 tỷ tham số. Các mô hình có càng nhiều tham số thì càng có thể thực hiện các chức năng tổng quát phức tạp hơn.

Ví dụ như, chatbot ChatGPT của OpenAI ra mắt vào cuối năm ngoái, có 175 tỷ tham số và có thể tạo ra các bài thơ ca và nghiên cứu. Điều này đã thu hút sự quan tâm và tài trợ lớn từ các doanh nghiệp cho hoạt động phát triển AI trên diện rộng.

Cerebras cho biết các mô hình AI nhỏ hơn có thể được triển khai trên điện thoại hoặc loa thông minh, trong khi các mô hình lớn hơn chạy trên máy tính cá nhân hoặc máy chủ. Đối với các tác vụ phức tạp như tóm tắt đoạn văn lớn yêu cầu các mô hình lớn hơn.

Tuy nhiên, ông Karl Freund, nhà tư vấn về chip tại Công ty Cambrian AI cho biết “lớn hơn không phải lúc nào cũng tốt hơn".

Theo ông Freund, đã có một số báo cáo cho thấy một mô hình có lượng tham số nhỏ hơn nhưng vẫn có thể hoạt động với kết quả chính xác nếu người dùng huấn luyện nó nhiều hơn. Vì vậy, người dùng có thể cân nhắc về một sự đánh đổi giữa một mô hình có quy mô tham số lớn và mô hình được đào tạo tốt hơn cho phù hợp với nhu cầu.

Ông Andrew Feldman, người sáng lập và Giám đốc điều hành (CEO) của Cerebras cho biết, mô hình lớn nhất của công ty mất hơn một tuần để đào tạo, trong khi việc này thường có thể mất tới vài tháng, nhờ kiến trúc của hệ thống Cerebras, bao gồm một con chip có kích thước bằng một chiếc đĩa ăn tối được chế tạo để chuyên đào tạo AI.

Theo Reuters, hầu hết các mô hình AI ngày nay đều được đào tạo trên chip của Nvidia Corp, nhưng ngày càng có nhiều công ty khởi nghiệp như Cerebras đang cố gắng cạnh tranh giành thị phần trong thị trường đó.

Ông Feldman cho biết thêm các mô hình được đào tạo trên hệ thống Cerebras cũng có thể được sử dụng trên các hệ thống Nvidia để đào tạo hoặc tùy chỉnh thêm./.

Tâm An