Cách xử lý luồng và phân tích dữ liệu có thể hiện thực hóa các dự án thành phố thông minh
An toàn thông tin - Ngày đăng : 11:22, 18/03/2019
Trong số các ví dụ đáng chú ý về các dự án thành phố thông minh là thành phố Moscow, nơi trong năm 2018, camera quan sát đã giúp giải quyết hơn 3500 tội ác trong thành phố, tăng 16% so với năm 2017. Las Vegas là một ví dụ khác khi hội đồng thành phố đã thử nghiệm vô số công nghệ mới trong không gian công cộng, nhằm tăng cường thương hiệu thành phố thông minh. Và cuối cùng là thành phố Canterbury Bankstown ở phía tây nam Sydney, nơi đã bảo đảm kinh phí để tiến hành dự án quản lý chất thải thông minh của thành phố.
Điều này không có gì đáng ngạc nhiên vì chi tiêu của chính phủ cho các sáng kiến của thành phố thông minh và thị trường nền tảng thành phố thông minh dự kiến sẽ tăng từ 104,6 tỷ đô la trong năm 2018 lên tới 223,3 tỷ đô la vào năm 2023, với tốc độ tăng trưởng lũy tiến hàng năm là 16,4%.
Làm thế nào để dữ liệu thời gian thực và xử lý luồng dữ liệu sẽ giúp các dự án thành phố thông minh cung cấp cơ sở hạ tầng tốt hơn và bền vững hơn cho triển vọng tương lai của thành phố? Và tại sao các chính phủ nên xem xét việc sử dụng các khuôn khổ xử lý luồng cho các sáng kiến thành phố thông minh của họ?
Trước hết, theo định nghĩa, Wikipedia đề cập đến một thành phố thông minh là một khu vực đô thị sử dụng các loại cảm biến thu thập dữ liệu điện tử khác nhau, để cung cấp thông tin cho việc sử dụng để quản lý tài sản và tài nguyên một cách hiệu quả. Dữ liệu này bao gồm dữ liệu được thu thập từ người dân, thiết bị và tài sản được xử lý và phân tích, để giám sát và quản lý hệ thống giao thông, nhà máy điện, mạng lưới cấp nước, quản lý chất thải, thực thi pháp luật, hệ thống thông tin, trường học, thư viện, bệnh viện và các dịch vụ cộng đồng khác.
Điều này có nghĩa là trong thành phố thông minh, các thiết bị khác nhau được kết nối, tạo ra dữ liệu liên tục cần được phân tích theo thời gian thực, sử dụng một số khung xử lý dữ liệu mạnh mẽ và có thể mở rộng. Xử lý luồng với Apache Flink trong các tình huống trên là điều phù hợp, do khả năng độc đáo của khung trong việc đáp ứng các khía cạnh cụ thể của dự án thành phố thông minh.
Trong các dự án thành phố thông minh, dữ liệu được tạo ra liên tục
Các dự án thành phố thông minh dựa trên nhiều thiết bị được kết nối khác nhau, để gửi thông tin có giá trị về những gì xảy ra trong một thành phố hoặc khu vực đô thị. Các thiết bị được kết nối có thể là bất cứ thứ gì từ xe điện, xe buýt và các phương thức giao thông công cộng khác, gửi thông tin giao thông và tắc nghẽn trong thời gian thực, dữ liệu quan sát từ các camera giám sát trên các địa điểm khác nhau trong thành phố hoặc dữ liệu vị trí từ thiết bị di động. Dữ liệu này được tạo dưới dạng luồng sự kiện liên tục, giúp xử lý luồng là lựa chọn hoàn hảo để xử lý luồng dữ liệu liên tục trong thời gian thực mà không cần dựa vào các cách xử lý dữ liệu truy vấn/phản hồi tĩnh, làm tăng thêm độ phức tạp và độ trễ cho bất kỳ tính toán và ra quyết định nào .
Dữ liệu và Sự kiện có thể đến hệ thống xử lý với sự chậm trễ hoặc không theo thứ tự
Do môi trường phân tán, nơi dữ liệu được tạo trong dự án thành phố thông minh, khả năng xử lý dữ liệu dựa trên thời gian sự kiện là rất quan trọng. Ví dụ, trong các khu vực có kết nối mạng hạn chế (chẳng hạn như các khu vực giữa các ga tàu điện ngầm) hoặc trong trường hợp điều kiện thời tiết khắc nghiệt, dữ liệu có thể đến hệ thống xử lý chậm hoặc không theo thứ tự. Với sự hỗ trợ của Apache Flink để xử lý luồng thời gian sự kiện, các nhóm dữ liệu và phân tích có thể xử lý dữ liệu dựa trên dấu thời gian mà họ có (về cơ bản là khi sự kiện thực sự diễn ra), để phát hiện các mẫu và thực hiện bất kỳ điều chỉnh cần thiết nào. Ví dụ như đèn giao thông hoặc màn hình viễn thông trong các điểm dừng xe buýt hoặc gửi bất kỳ thông tin liên lạc thích hợp nào đến công chúng.
Trong phần lớn các trường hợp, các quyết định dựa trên các cửa sổ thời gian cụ thể
Do tính chất liên tục và thời gian thực của tính toán và kiến trúc trong dự án thành phố thông minh, các nhóm dữ liệu và phân tích cần phải cắt thông tin trong các cửa sổ thời gian cụ thể để phát hiện sự bất thường, tìm các mẫu cụ thể và thực hiện bất kỳ biến đổi cần thiết nào. Cuối cùng sẽ cho phép thành phố phản ứng với các tình huống và sự kiện đô thị trong thời gian thực. Ví dụ: nếu dữ liệu cho thấy xe buýt được kết nối không có sự thay đổi về vị trí trong hơn 20 phút cửa sổ, thì có lẽ có tình huống khẩn cấp ở khu vực mở rộng và cảnh sát nên được cảnh báo, hoặc điều hướng xung quanh khu vực mở rộng nên được thay đổi
Một ví dụ đáng chú ý về việc triển khai Flink trong các dự án thành phố thông minh là thành phố Warsaw ở Ba Lan, nơi đã sử dụng Apache Flink để cung cấp năng lượng cho Bộ phân tích chuyển động phương tiện và hệ thống dự đoán độ trễ xe như một phần của dự án thành phố thông minh VaVeL.
Một ví dụ khác là thành phố Hàng Châu ở Trung Quốc. Hàng Châu là một đô thị với hơn 7 triệu dân và vài năm trở lại đây được xếp hạng thành phố tắc nghẽn thứ năm ở Trung Quốc. Thành phố đã tụt xuống vị trí thứ 57 về tình trạng tắc nghẽn của nó và điều đó một phần do việc triển khai nền tảng trí tuệ nhân tạo với sự hỗ trợ của Apache Flink – City Brain.
Nền tảng này thu thập dữ liệu từ các nguồn khác nhau trên khắp Hàng Châu, chẳng hạn như video từ các camera giao thông và dữ liệu GPS về vị trí của ô tô và xe buýt trong thành phố. City Brain sau đó phân tích thông tin theo thời gian thực khi nó phối hợp với hơn 1.000 tín hiệu đường bộ quanh thành phố, với mục đích ngăn chặn hoặc giảm bớt tình trạng ách tắc giao thông.
Trong một dự án thành phố thông minh, các thiết bị IoT khác nhau tạo ra dữ liệu liên tục cần được phân tích trong một khoảng thời gian ngắn. Điều quan trọng là cần có quyền truy cập vào công nghệ có thể thu được thông tin có giá trị, từ một lượng lớn dữ liệu được sản xuất theo thời gian thực.