Mô hình ngôn ngữ lớn của Zalo ra mắt tại AI Summit 2023

Sự xuất hiện bất ngờ của LLM do Zalo AI phát triển

Điểm nhấn sự kiện là “Thử thách Kahoot của các Mô hình ngôn ngữ lớn” được đặt ra bởi Tinhte.vn, với sự tham gia của con người và các LLM hiện có trên thị trường.

Cụ thể, chatbot Kiki dựa trên LLM của Zalo AI, GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta), và một mô hình khác của Việt Nam vừa được ra mắt gần đây. Tham gia thử thách, các LLM phải vượt qua 20 câu hỏi trắc nghiệm do Tinhte.vn đưa ra thuộc nhiều lĩnh vực khác nhau như đời sống - xã hội, khoa học thường thức, văn học, lịch sử, địa lý và tiếng Anh... trong thời gian chỉ 10 giây/câu hỏi.

Kết quả trung bình các LLM đã trả lời đúng 8/20 câu hỏi, trong đó, nhiều câu có độ thử thách cao, mà một người bình thường khó có thể trả lời chính xác chỉ trong 10 giây. Kết thúc trò chơi, vị trí dẫn đầu thuộc về quản trị viên Tinhte.vn. Riêng Kiki xếp hạng 3 chung cuộc chỉ sau một mô hình ngôn ngữ lớn là GPT-4của OpenAI và quản trị viên Tinhte.vn .

“Các mô hình AI rất tuyệt vời nhưng vẫn còn khoảng cách lớn để phát triển về cả ngôn ngữ và nội dung”, ông Hiệp Trần - Admin Tinhte.vn nhận định.

Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention và Llama với dữ liệu hướng dẫn chất lượng cao.

Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi... Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10.

Hiện Zalo đang phát triển LLM của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B - 30B tham số. Phiên bản chatbot Kiki được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số. Trong tương lai, Zalo tiếp tục cải tiến mô hình của mình trước khi ra mắt người dùng và cung cấp nền tảng cho các ứng dụng hữu ích như chatbot, chăm sóc khách hàng, trình sáng tạo nội dung...

Trong một đánh giá khác thực hiện trên VMLU - Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các LLM, được hợp tác phát triển bởi Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản (JAIST), cho thấy mô hình của Zalo xếp thứ hai chỉ sau GPT-4 trong hầu hết mục đánh giá. Đây là một kết quả đáng khích lệ với một mô hình có thời gian huấn luyện không lâu, cho thấy tiềm năng phát triển và bắt kịp thế giới của ngành AI Việt Nam.

Diễn đàn AI với hơn 400 kỹ sư và lập trình viên tham gia

Zalo AI Summit 2023 lấy chủ đề “In the era of Generative AI – Trong kỷ nguyên AI tạo sinh”.

Ông Nguyễn Minh Tú, Giám đốc công nghệ Zalo Group, người chủ trì Zalo AI Summit 2023 chia sẻ: "Thông qua diễn đàn thường niên AI Summit, Zalo muốn mang đến chia sẻ hữu ích về xu hướng ngành và trình diễn những sản phẩm mới nhất. Chúng tôi hy vọng sự kiện sẽ truyền thêm động lực cho cộng đồng và góp phần thúc đẩy AI Việt Nam bắt kịp với trình độ chung của thế giới”.

Tại sự kiện, diễn giả đã lần lượt cập nhật về những bước tiến mới nhất trong lĩnh vực AI tạo sinh, đặc biệt là về mô hình LLM cả trong và ngoài nước.

PGS. Trần Thanh Long - Phó trưởng khoa và Giám đốc nghiên cứu, khoa Khoa học máy tính tại ĐH Warwick (Anh) đặt câu hỏi liệu các LLM có phải tương lai của AI hay không. PGS cũng đưa ra dẫn chứng về các ứng dụng thực tế lẫn thách thức tiềm ẩn của việc áp dụng AI trong nhiều mặt của đời sống.

TS. Nguyễn Trường Sơn - Giám đốc khoa học và ông Khang Mạnh Tử, Bộ phận vận hành hạ tầng của Zalo AI cũng chia sẻ những thách thức về nguồn dữ liệu chất lượng và cơ sở hạ tầng phần cứng khi xây dựng LLM.

Sự kiện cũng đã kết nối với TS. Ettikan K Karuppiah - Giám đốc công nghệ, Nvidia, khu vực Châu Á - Thái Bình Dương để lắng nghe những dự đoán thú vị của ông về những mô hình Generative AI sẽ “lên ngôi” trong thời gian tới, đặc biệt là mô hình ngôn ngữ thị giác (Visual Language Model – VLM).

Đặc biệt, GS. Nguyễn Lê Minh - Giám đốc Trung tâm nghiên cứu Interpretable AI, JAIST và TS. Châu Thành Đức - Trưởng bộ phận nghiên cứu Zalo AI Lab đã cùng trình bày về tính cấp thiết của việc xây dựng một tiêu chuẩn đánh giá năng lực tiếng Việt chung cho gần 16.000 LLMs hiện nay.

Đồng thời, hai chuyên gia cũng chia sẻ về tính hữu ích của VMLU - Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các LLMs, được hợp tác phát triển bởi Zalo AI và JAIST gần đây.

Điểm nhấn của sự kiện Zalo AI Summit năm nay còn là phần công bố và trao giải cho các đội thi xuất sắc của Zalo AI Challenge 2023.

Cuộc thi đã diễn ra gần 1 tháng qua với sự tham gia của hơn 1.000 đội thi, giải quyết 3 bộ đề thử thách từ Ban tổ chức: Elementary Maths Solving - yêu cầu xây dựng mô hình tự giải toán, Advertising Banner Generation - thiết kế hình ảnh và Background Music Generation - sáng tác nhạc./.