“Giải Nobel ngành máy tính” 2024: Vinh danh hai nhà khoa học lĩnh vực học tăng cường

Giải thưởng ACM A.M. Turing Award là gì?

Giải thưởng A.M. Turing Award là một trong những giải thưởng danh giá nhất trong lĩnh vực khoa học máy tính, thường được ví như "Giải Nobel của ngành máy tính", được đặt theo tên của Alan Turing, nhà toán học người Anh, người đã đặt nền móng cho khoa học máy tính hiện đại và đóng góp lớn vào việc phá mã Enigma trong Thế chiến II.

Giải thưởng Turing do Hiệp hội Máy tính (Association for Computing Machinery - ACM) trao tặng hàng năm và có giá trị 1 triệu USD, do Google tài trợ.

Kể từ khi được thành lập vào năm 1966, giải thưởng này đã vinh danh những cá nhân có đóng góp đột phá cho ngành công nghệ thông tin và khoa học máy tính. Những ai đã nhận giải Turing 2024?

Giải thưởng Turing năm 2024 vừa công bố được trao cho Andrew G. Barto và Richard S. Sutton vì những đóng góp quan trọng của họ trong việc phát triển các nền tảng lý thuyết và thuật toán của học tăng cường (Reinforcement Learning - RL).

Andrew Barto là Giáo sư danh dự tại Khoa Khoa học Máy tính và Thông tin, Đại học Massachusetts, Amherst.

Richard Sutton là Giáo sư Khoa học Máy tính tại Đại học Alberta, nhà khoa học tại Keen Technologies và cố vấn khoa học chính của Viện Trí tuệ nhân tạo Alberta (Amii).

Học tăng cường là gì?

Học tăng cường là một lĩnh vực của trí tuệ nhân tạo (AI) tập trung vào việc phát triển các tác nhân thông minh (agents) có thể học cách đưa ra quyết định tối ưu bằng cách tương tác với môi trường và nhận phần thưởng.

Trong RL, một tác nhân (agent) đưa ra quyết định dựa trên trạng thái hiện tại của môi trường, thực hiện hành động, nhận phản hồi (phần thưởng hoặc hình phạt), và điều chỉnh chiến lược của mình để tối đa hóa phần thưởng dài hạn.

Ví dụ, trong trò chơi cờ vua hoặc cờ vây, một chương trình RL như AlphaGo học cách chơi bằng cách tự chơi hàng triệu ván đấu và dần dần cải thiện chiến thuật. Trong lĩnh vực robot, RL giúp dạy robot cách di chuyển, thao tác đồ vật và tương tác với con người. Trong quảng cáo trực tuyến, RL giúp tối ưu hóa chiến lược hiển thị quảng cáo để tối đa hóa doanh thu.

Những đóng góp của Andrew Barto và Richard Sutton vào RL

Từ những năm 1980, Barto và Sutton đã phát triển các lý thuyết và thuật toán cơ bản của RL, bao gồm:

Lý thuyết quyết định Markov (Markov Decision Process - MDP): Xây dựng mô hình toán học cho RL, trong đó tác nhân đưa ra quyết định trong một môi trường ngẫu nhiên và nhận phần thưởng.

Học chênh lệch thời gian (Temporal Difference Learning - TD Learning): Một trong những đột phá quan trọng nhất giúp dự đoán phần thưởng tương lai hiệu quả hơn.

Thuật toán Policy Gradient: Giúp RL học chính sách tối ưu trực tiếp thay vì chỉ đánh giá trạng thái.

Ứng dụng mạng nơ-ron vào RL: Giúp RL mở rộng khả năng học các nhiệm vụ phức tạp hơn.

Bên cạnh việc phát triển thuật toán, Barto và Sutton đã viết cuốn sách "Reinforcement Learning: An Introduction" (1998), trở thành tài liệu chuẩn mực của lĩnh vực này. Cuốn sách đã được trích dẫn hơn 75.000 lần, giúp đào tạo nhiều thế hệ nhà nghiên cứu AI.

Mặc dù những thuật toán RL đã được phát triển từ nhiều thập kỷ trước, nhưng chúng chỉ thực sự phát huy tiềm năng khi được kết hợp với học sâu (Deep Learning) trong những năm gần đây, tạo ra lĩnh vực học tăng cường sâu (Deep Reinforcement Learning - DRL).

Một số ứng dụng tiêu biểu của RL bao gồm:

AlphaGo (2016 - 2017): Đánh bại kỳ thủ cờ vây số một thế giới.

ChatGPT: Sử dụng kỹ thuật Reinforcement Learning from Human Feedback (RLHF) để cải thiện câu trả lời theo mong đợi của con người.

Tối ưu hóa mạng viễn thông: Tối ưu quản lý băng thông và cân bằng tải trong hệ thống mạng.

Thiết kế chip: Sử dụng RL để tối ưu hóa thiết kế vi mạch.

Tối ưu hóa quảng cáo: Giúp hệ thống quảng cáo trực tuyến tự động điều chỉnh chiến lược hiển thị.

Vì sao công trình của Barto và Sutton quan trọng?

Theo Chủ tịch ACM Yannis Ioannidis, công trình của Barto và Sutton không chỉ có tác động lớn đến AI, mà còn giúp hiểu rõ hơn về cách não bộ con người hoạt động.

Một số nghiên cứu gần đây cho thấy các thuật toán RL có thể mô phỏng hệ thống dopamine của não, giúp lý giải nhiều cơ chế học tập của con người. Nhà nghiên cứu cấp cao của Google Jeff Dean cũng nhận xét: "Reinforcement Learning, như cách Barto và Sutton tiên phong, đã đặt nền móng cho những tiến bộ lớn trong AI và vẫn là trụ cột quan trọng của sự bùng nổ AI ngày nay."

Tổng kết

Giải thưởng ACM A.M. Turing 2024 được trao cho Andrew Barto và Richard Sutton vì những đóng góp nền tảng trong lĩnh vực RL, là một phương pháp học từ phần thưởng, giúp máy tính học cách đưa ra quyết định tối ưu thông qua thử nghiệm và phản hồi.

Barto và Sutton đã phát triển nhiều thuật toán cốt lõi của RL, bao gồm Temporal Difference Learning, Policy Gradient, và kết hợp RL với mạng nơ-ron. Những đóng góp này đã dẫn đến sự phát triển của học tăng cường sâu (Deep Reinforcement Learning - DRL), được ứng dụng rộng rãi trong AI hiện đại, từ AlphaGo đến ChatGPT.

Công trình của họ không chỉ ảnh hưởng đến AI mà còn giúp hiểu rõ hơn về cơ chế học tập của não bộ con người. Giải thưởng Turing 2024 là sự công nhận xứng đáng cho những cống hiến to lớn của họ trong hơn 40 năm qua./.