Những bất cập trong quy trình bảo trì hạ tầng tại FPT Telecom
703.359 tập điểm (kết nối tuyến cáp đến nhà thuê bao) trên toàn quốc, 13.180 sự cố tại tập điểm ảnh hưởng đến khách hàng chiếm 35% tổng sự cố ngoại vi, 140.000 tập điểm bảo trì, kiểm soát chủ động định kỳ hằng năm,… đó là những con số mà cán bộ kỹ thuật hạ tầng của FPT Telecom phải giải quyết định kỳ. Với quy trình bảo trì hạ tầng trước kia, xử lý khối lượng công việc này thực sự là một thách thức lớn.
Theo đó, khi nhận ca khảo sát, bảo trì, kỹ thuật viên chuẩn bị công cụ và dụng cụ và khảo sát tại hiện trường. Kỹ thuật viên cần quan sát tập điểm bằng mắt và tự đánh giá, xác định lỗi. Điều này có thể xảy ra thiếu sót vì số lượng dây dợ, chi tiết nhiều, số lỗi có thể xảy ra lớn. Sau khi thực hiện bảo trì hoàn thành, kỹ thuật viên chụp ảnh và upload ca bảo trì. Việc kiểm soát mất tối thiểu 48h.
Chưa kể, sau đó, trưởng phòng kỹ thuật phải mất thời gian kiểm soát lại rồi chuyển cho Ban Chất lượng (FTQ), nếu được đánh giá đạt mới hoàn ứng vật tư. Nếu chưa đạt, kỹ thuật viên lại phải đi bảo trì lại, tốn nhiều thời gian và công sức. Số ca cần đi bảo trì lại chiếm khoảng 5 - 10% số ca vụ.
Ứng dụng AI để hỗ trợ và nâng cao chất lượng bảo trì hạ tầng
Để giải quyết bài toán trên, nhóm nghiên cứu tại FPT Telecom đã phát triển một ứng dụng tích hợp trí tuệ nhân tạo (AI) giúp xử lý ảnh và phân tích lỗi trên tập điểm thông qua hình ảnh, giúp giảm thời gian cho mỗi ca bảo trì và tăng độ chính xác của kết quả, nâng cao chất lượng hạ tầng. Giờ đây, với sự hỗ trợ của AI, kỹ thuật viên chỉ cần chụp ảnh đúng góc chụp, AI sẽ phân tích, chỉ ra lỗi cần thực hiện bảo trì. Sau khi hoàn thành, kỹ thuật viên chỉ việc chụp lại cho AI đánh giá và đóng ca. Việc kiểm soát, đánh giá lại không còn mất thời gian như trước.
Mặc dù đều là phân tích dữ liệu, hình ảnh, nhưng điểm khác và khó khăn hơn của dự án này là cần phải có kiến thức về hạ tầng nhất định, trong khi nguồn hình ảnh dữ liệu do người chụp không thể đồng đều về chất lượng, ánh sáng, góc chụp.
Nhóm nghiên cứu đã tiến hành đánh giá 500.000 bức ảnh chụp tập điểm, chọn 9.000 ảnh đạt chất lượng và đánh giá toàn bộ lỗi trên từng ảnh, đảm bảo đủ dữ liệu đúng, sau đó "dạy" cho AI học và tích hợp vào ứng dụng.
Việc phát triển hệ thống AI gồm 3 giai đoạn. Đầu tiên là phân tích và xử lý yêu cầu từ các hình ảnh được thu thập ngẫu nhiên của hộp cáp quang. Ở giai đoạn này, với những ảnh được chụp từ thời gian trước, khi chưa có hệ thống AI để phân tích - còn phân tích bằng con người, nhóm nghiên cứu đã phân tích từng chi tiết của hộp cáp và đã đưa ra được kiến trúc xử lý cho toàn bộ hệ thống để đáp ứng được yêu cầu "nhanh và chính xác".
Thứ hai là nghiên cứu thuật toán và huấn luyện mô hình. Với tập dữ liệu là các hình ảnh có sẵn và được đội ngũ chuyên gia gắn nhãn cho từng chi tiết, công việc của nhóm AI là phải lọc lại dữ liệu và tìm kiếm mô hình phù hợp với bài toán này.
Đi theo kiến trúc đã được thiết kế từ bước 1, nhóm nghiên cứu thực hiện 3 phần: Kiểm tra góc chụp hộp cáp, kiểm tra ảnh thật giả, nhận dạng chi tiết trong hộp cáp. Với góc chụp, nhóm dùng mô hình phân loại để xem kỹ thuật viên chụp có đúng góc được yêu cầu hay không. Với ảnh thật giả, nhóm xử lý và phát hiện ảnh được chụp có phải là ảnh chụp từ thực tế, hay chụp từ một màn hình khác. Với nhận dạng các chi tiết trong hộp cáp, đây cũng là module chính của hệ thống, nhóm sử dụng phát hiện vật thể để tìm trên ảnh có chi tiết hỏng hóc hay không. Quá trình nghiên cứu và huấn luyện được thực hiện luân phiên nhau, để tìm ra được mô hình phù hợp nhất và có được hiệu quả tốt nhất.
Thứ ba là triển khai hệ thống thực tế. Để đưa đến tay người dùng sử dụng, hệ thống đã được phát triển theo hướng "microservice", người dùng cần có ứng dụng được cài trên điện thoại, sau khi chụp ảnh được hướng dẫn theo ứng dụng thì ảnh và thông tin cần thiết được gửi về server của AI, hệ thống AI sẽ phân tích đánh giá và trả về kết quả cho người dùng trong vòng 0,3 giây.
Theo anh Nguyễn Quang Vinh, nhóm nghiên cứu, khâu tốn thời gian và mệt mỏi nhất là đánh dấu cho AI học về những điểm đạt, điểm lỗi. Việc này kéo dài suốt mùa dịch. Vì vẫn phải đảm bảo những công việc thường ngày khác, việc làm thêm giờ, cuối tuần là không tránh khỏi vì mỗi người đều muốn cố gắng đánh giá ảnh chính xác nhất. Sau đó, các cuộc họp được diễn ra theo hình thức online hằng tuần.
Tháng 8/2022, cuối cùng tính năng đã được triển khai tại Hà Nội và TP. HCM. Nó đã giúp quy trình tự phân tích và đánh giá các thủ công từ 12 bước xuống 7 bước; rút ngắn thời gian hoàn tất ca vụ từ 2 - 4 ngày xuống còn 1 - 2 phút. Thời gian chờ đợi kiểm soát và kiểm tra từ trên 48 giờ giảm còn dưới 1 phút. Thời gian đánh giá, nghiệm thu ca khảo sát bảo trì của 5000 hộp chỉ mất chưa đến 110 giờ so với trước đây là 2.640 giờ. AI tự phân tích và đánh giá 55 tiêu chí (151 lable) thay vì nhân viên kĩ thuật phải đánh giá thủ công như trước đây. Dự kiến, việc ứng dụng AI trong bảo trì hạ tầng trong quý 4 tới và năm 2023 sẽ giúp tiết kiệm được hơn 3 tỷ đồng từ việc giảm chi phí cho nhân sự kiểm soát bằng hình ảnh và lợi ích giữ khách hàng rời mạng.
"Chúng tôi rất hài lòng với kết quả đạt được. Độ chính xác 92% là vượt mong muốn ban đầu", anh Huỳnh Xuân Phụng, nhóm nghiên cứu đánh giá.
Chia sẻ thêm về việc triển khai dự án, anh Phạm Văn Doanh cho biết: "Khi vừa nhận dự án mình thấy rất hứng thú vì có cơ hội để giải quyết một vấn đề thực tiễn và lớn như thế này, nhưng bên cạnh đó mình cũng rất lo lắng vì độ khó, khó là phải nhanh, chính xác và triển khai rộng khắp cả nước của dự án này. Sản phẩm đến được tay người dùng và có những kết quả đầu tiên là lúc mình hạnh phúc nhất, những gì mình xây dựng nên đã giúp được nhiều người tiết kiệm thời gian hơn trong việc khảo sát/bảo trì hộp cáp và hơn hết là gián tiếp giúp được nhiều nhiều người dùng Internet không phải bị gián đoạn khi đang dùng Internet vì lỗi đường truyền. Điều đó làm mình rất hạnh phúc và tự hào"./.
