Triển khai AI trong môi trường điện toán biên

Điện toán biên (edge computing) là một kiến trúc được thiết kế và xây dựng nhằm tối ưu hoá hệ thống điện toán đám mây bằng cách cho phép xử lý, tính toán dữ liệu tại vùng biên, nơi gần với nguồn phát sinh dữ liệu và nhận yêu cầu xử lý nhất (các thiết bị IoT).

Biên thường thường là phần cứng hay phần mềm tại chỗ (on premises), gần với người dùng và quy trình, thường là trên một máy chủ nhỏ với hiệu suất và phần mềm hệ thống hạn chế. Biên nội bộ này thường được liên kết với một thành phần ứng dụng khác đang chạy trên đám mây.

Khi AI được triển khai trong môi trường điện toán biên có thể mang lại nhiều lợi ích cho các ngành. Nhưng việc kết hợp AI với điện toán biên là một vấn đề phức tạp và rất khó áp dụng vì biên là nơi phải kiểm soát chi phí tài nguyên và các sáng kiến ​​tối ưu hóa công nghệ thông tin (IT) khác. Việc triển khai đúng cách đòi hỏi những khả năng nhất định và những cân nhắc về nền tảng.

Lợi ích của AI trong điện toán biên

AI được triển khai trong môi trường điện toán biên (thường gọi là Edge AI) sẽ mang lại nhiều lợi ích.

Đối với những ứng dụng biên xử lý các sự kiện, Edge AI cho phép ra quyết định tốt hơn và linh hoạt hơn so với phần mềm biên đơn giản. Ngoài ra, các lợi ích khác của Edge AI bao gồm: Cho phép xử lý dữ liệu nhanh hơn, bảo mật dữ liệu tốt hơn, giảm tắc nghẽn mạng và khả năng hoạt động ngoại tuyến khi không có kết nối Internet, giảm độ trễ và chi phí, giúp các thiết bị đưa ra quyết định thông minh hơn, cải thiện hiệu suất, độ an toàn và hiệu quả tổng thể.

Những cân nhắc về AI trong điện toán biên

Khi triển khai AI trong điện toán biên, các tổ chức phải giải quyết hai hạn chế kỹ thuật quan trọng là yêu cầu lưu trữ và độ trễ.

Những yêu cầu lưu trữ

Hầu hết các công cụ học máy có thể chạy trên cấu hình máy chủ phù hợp để triển khai biên vì chúng không yêu cầu nhiều bộ xử lý đồ họa GPU (Graphics Processing Unit). Các nhà nghiên cứu cũng đang phát triển các phiên bản sử dụng ít tài nguyên hơn cho các công cụ AI phức tạp, bao gồm các mô hình ngôn ngữ lớn được phổ biến bởi các dịch vụ AI tạo sinh có thể chạy trên các máy chủ biên tại chỗ.

Nếu các tính năng AI cần thiết không phù hợp cho việc triển khai máy chủ biên tại chỗ thì có thể chuyển sang đám mây hoặc trung tâm dữ liệu để xử lý, miễn là có thể đáp ứng được giới hạn độ trễ của ứng dụng.

Độ trễ

Độ trễ là thời gian tối đa mà ứng dụng cho phép từ khi nhận một sự kiện để quá trình xử lý đến khi hệ thống phản hồi, bao gồm cả thời gian truyền tải và thời gian xử lý.

Độ trễ có thể là một hạn chế mềm làm trì hoãn một hoạt động nếu không được đáp ứng. Ví dụ: một ứng dụng đọc thẻ RFID của phương tiện đi lại hoặc mã vạch của bảng kê khai và định tuyến phương tiện để dỡ hàng. Nó cũng có thể là một hạn chế khó khăn, trong đó việc không đáp ứng được độ trễ có thể dẫn đến những sự cố.

Các trường hợp sử dụng Edge AI

Mọi trường hợp mà quá trình xử lý dữ liệu trên thiết bị cục bộ được thực hiện hiệu quả hơn so với khi được thực hiện qua đám mây đều có thể sử dụng Edge AI. Tuy nhiên, một số trường hợp sử dụng phổ biến nhất cho Edge AI là xe tự lái, máy bay không người lái, nhận dạng khuôn mặt và trợ lý kỹ thuật số.

Ô tô tự lái là một trong những trường hợp sử dụng phù hợp nhất cho Edge AI. Ô tô tự lái phải liên tục quét môi trường xung quanh và đánh giá tình hình, điều chỉnh quỹ đạo của nó dựa trên các sự kiện gần đó. Xử lý dữ liệu theo thời gian thực là rất quan trọng đối với những trường hợp này và do đó, các hệ thống Edge AI trên bo mạch của họ chịu trách nhiệm lưu trữ, thao tác và phân tích dữ liệu.

Vì máy bay không người lái tự động không được điều khiển bởi con người nên chúng có những yêu cầu rất giống với ô tô tự lái. Nếu máy bay không người lái mất kiểm soát hoặc trục trặc khi đang bay, nó có thể bị rơi và gây thiệt hại về tài sản hoặc tính mạng. Máy bay không người lái có thể bay xa khỏi phạm vi của điểm truy cập Internet và chúng phải có khả năng Edge AI. Các hệ thống Edge AI sẽ không thể thiếu đối với các dịch vụ như Amazon Prime Air, nhằm cung cấp các gói hàng qua máy bay không người lái.

Một trường hợp sử dụng khác cho Edge AI là hệ thống nhận dạng khuôn mặt. Hệ thống nhận dạng khuôn mặt dựa trên thuật toán thị giác máy tính, phân tích dữ liệu do máy ảnh thu thập. Các ứng dụng nhận dạng khuôn mặt hoạt động cho mục đích của các tác vụ như bảo mật cần phải hoạt động đáng tin cậy ngay cả khi chúng không được kết nối với đám mây.

Trợ lý kỹ thuật số là một trường hợp sử dụng phổ biến khác cho Edge AI. Các trợ lý kỹ thuật số như Google Assistant, Alexa và Siri phải có khả năng hoạt động trên điện thoại thông minh và các thiết bị kỹ thuật số khác ngay cả khi chúng không được kết nối Internet. Khi dữ liệu được xử lý trên thiết bị, bạn không cần gửi dữ liệu đó lên đám mây, điều này giúp giảm lưu lượng truy cập và đảm bảo quyền riêng tư.

Chọn nền tảng cho Edge AI

Điều cần cân nhắc chính khi lựa chọn nền tảng cho Edge AI là cách nó được tích hợp và quản lý. Trong khi Edge AI chỉ được liên kết lỏng lẻo với đám mây hoặc trung tâm dữ liệu (TTDL) thì các nền tảng dành cho mục đích đặc biệt như nền tảng Nvidia EGX được tối ưu hóa cho cả AI và độ trễ thấp. Đối với Edge AI được kết hợp chặt chẽ với các thành phần ứng dụng khác trong đám mây hoặc TTDL thì phiên bản Linux thời gian thực sẽ dễ tích hợp và quản lý hơn.

Trong một số trường hợp, khi nhà cung cấp đám mây công cộng cung cấp thành phần biên như AWS IoT Greengrass hoặc Azure IoT Edge của Microsoft thì có thể phân chia các tính năng Edge AI, đám mây và TTDL. Cách tiếp cận này có thể hợp lý hóa việc lựa chọn công cụ AI cho lưu trữ biên, cho phép các tổ chức chỉ cần chọn công cụ AI có trong gói biên mà họ muốn sử dụng.

Hầu hết dịch vụ lưu trữ Edge AI có khả năng sử dụng các mô hình học máy đơn giản, ít tốn tài nguyên và có thể được đào tạo để xử lý hầu hết quá trình xử lý sự kiện. AI ở dạng mô hình học sâu (deep learning) đòi hỏi nhiều khả năng lưu trữ hơn nhưng vẫn có thể hữu ích đối với việc lưu trữ máy chủ biên, tùy thuộc vào độ phức tạp của mô hình. LLM và các mô hình AI tạo sinh khác đang ngày càng có khả năng phân tán rộng rãi hơn, nhưng hiện tại, việc triển khai cần lưu trữ trên đám mây hoặc TTDL.

Cuối cùng, hãy xem xét việc quản lý các tài nguyên biên được sử dụng với AI. Mặc dù bản thân AI không yêu cầu các phương pháp quản lý khác so với các hình thức điện toán biên nhưng việc chọn một nền tảng chuyên biệt cho biên và AI có thể yêu cầu các phương pháp và công cụ quản lý khác nhau.