Nền tảng iTitan gồm ba thành phần chính: Hệ thống lưu trữ, Hệ thống tổng hợp, phân tích dữ liệu và hệ thống khai thác, chia sẽ dữ liệu.

Hệ thống lưu trữ dữ liệu phân tán để quản lý dữ liệu lớn

Hệ thống lưu trữ của Ititan là hệ thống lưu trữ dữ liệu phân tán, để lưu trữ và quản lý dữ liệu lớn trên các cụm máy tính phân tán mà vẫn đảm bảo tính tin cậy và khả năng mở rộng.

Trong hệ thống này, Hadoop là một giải pháp phổ biến để lưu trữ và truy cập dữ liệu lớn. Với kiến trúc Master-Slave, Hadoop có khả năng chịu lỗi, xử lý các tập dữ liệu lớn, dữ liệu cục bộ, linh hoạt trên các phần cứng và phần mềm không đồng nhất,…

Trong kiến trúc này, một máy chủ sẽ đóng vai trò Master và các máy còn lại thực hiện chức năng của Slave. Chức năng chính của Master là gán một nhiệm vụ cho các nút Slave và quản lý tài nguyên. Các nút Slave thực hiện các tính toán và lưu trữ dữ liệu thực sự, còn Master là nơi chứa siêu dữ liệu (metadata).

Hệ thống tổng hợp, phân tích dữ liệu

Thành phần này hỗ trợ việc thu thập, tổng hợp, xử lý và phân tích dữ liệu từ các nguồn khác nhau để tạo ra thông tin có giá trị. Hệ thống cũng hỗ trợ việc công bố dữ liệu lên cổng dữ liệu mở một cách dễ dàng, giúp người sử dụng hiểu rõ hơn về dữ liệu, tìm ra mẫu, xu hướng và đưa ra quyết định dựa trên thông tin đã được phân tích.

Đặc biệt, với khả năng dự báo thông minh dựa trên dữ liệu nhằm dự đoán về tương lai của một vấn đề, hệ thống có thể giúp người dùng ra quyết định, lập kế hoạch và điều hành. Các thành phần trong hệ thống này bao gồm:

Virtual Lake Data Engine (hồ dữ liệu ảo): Cho phép tạo một dường ống dẫn đến nguồn dữ liệu, nhờ vậy mà không cần sao lưu dữ liệu nguồn. Điều này giúp cho hạ tầng không bị quá tải, giúp các đơn vị dễ dàng triển khai linh hoạt theo mô hình phi tập trung hoặc tập trung. Hồ dữ liệu ảo kết nối thu thập dữ liệu từ nhiều nguồn, cho phép khai báo thuộc tính cần lấy của nguồn dữ liệu để phục vụ việc khai thác.

Storage Data Engine (lưu trữ dữ liệu): Cho phép người dùng lưu trữ, khai phá và làm sạch dữ liệu để quy hoạch thành các CSDL dùng chung, CSDL chuyên ngành, CSDL mở. Storage được sử dụng để lưu trữ và quản lý khối lượng lớn dữ liệu, đáp ứng các tiêu chí mở rộng linh hoạt, xử lý phân tán, bảo mật và bảo vệ dữ liệu.

SQL Lab (truy vấn dữ liệu): Cung cấp giao diện web cho phép thực thi các truy vấn SQL và tương tác với dữ liệu. SQL Lab cung cấp một giao diện đồ họa dễ sử dụng cho người dùng để truy vấn SQL và xem kết quả trả về.

SQL Lab hỗ trợ nhiều loại dữ liệu, cho phép người dùng kết hợp các nguồn dữ liệu với nhau tạo ra nguồn dữ liệu mới phục vụ cho nhu cầu sử dụng đồng thời thực hiện các truy vấn phức tạp, bao gồm các phép nối (JOIN), hóm (GROUP BY), lọc (WHERE), sắp xếp (ORDER BY) và các phép tính toán khác.

Phân tích dữ liệu (analytics): Thành phần này sử dụng các bài toán phân tích để rút ra thông tin có ý nghĩa từ dữ liệu nhằm đưa ra các kết luận, suy luận hoặc dự đoán dựa trên dữ liệu thu thập được.

Công bố dữ liệu (open data engine): Người dùng công bố các nguồn dữ liệu mở, kiểm soát dữ liệu dễ dàng thông qua thành phần này. Dữ liệu được lấy từ kho dữ liệu thông qua phân hệ lưu trữ dữ liệu (storage data engine) để xử lý và trả về cổng dữ liệu mở (open data portal).

Dự báo thông minh (Open AI Engine): Cho phép dự báo dựa trên dữ liệu. Quá trình dự báo sử dụng dữ liệu hiện có để ước tính hoặc dự đoán các giá trị tương lai, xu hướng hoặc biểu đồ nhằm cung cấp sự nhận thức và thông tin dự đoán về tương lai để hỗ trợ ra quyết định, lập kế hoạch và điều hành.

Hệ thống khai thác, chia sẽ dữ liệu hỗ trợ ra quyết định, quản lý điều hành dễ dàng

Nhờ hệ thống này, người sử dụng cuối sẽ dễ dàng hơn trong việc ra quyết định và quản lý điều hành nhờ việc chia sẻ thông tin bằng nhiều hình thức như giao diện lập trình ứng dụng (API), biểu đồ (chart), cổng dữ liệu mở nhằm đưa ra thông tin dễ hiểu, trực quan và có giá trị.

Hệ thống khai thác, chia sẽ dữ liệu gồm các thành phần:

Giao tiếp lập trình ứng dụng mở (Open API ): Cho phép quản lý danh sách các API dịch vụ bao gồm các thông tin như: danh sách API, thông tin chi tiết kiểm thử API có trong tổ chức; Cho phép các tổ chức có thể đăng ký chia sẻ và khai thác các API; Liệt kê các tổ chức được khai thác API và các tổ chức cung cấp API trong ứng dụng.

Open API cho phép xây dựng các API chia sẻ dữ liệu trong kho dữ liệu số và tài nguyên với các ứng dụng và hệ thống bên ngoài. Điều này giúp mở rộng phạm vi cũng như tầm ảnh hưởng của dữ liệu và thông tin.

Bảng điều khiển trực quan dữ liệu (dashboard): Cho phép thiết kế bảng điều khiển bằng cách sử dụng các biểu đồ và đồ thị để biểu diễn dữ liệu một cách trực quan, giúp người dùng dễ dàng hiểu thông tin.

Bảng điều khiển cho phép tổ chức, sắp xếp thông tin theo các khu vực hoặc chủ đề để giúp người dùng xem thông tin nhanh chóng. Thông tin được cập nhật theo thời gian thực để đảm bảo các dữ liệu hiển thị là mới nhất và chính xác nhất.

Thiết kế biểu đồ (chart): Cung cấp nhiều loại biểu đồ khác nhau như: cột, đường, hình tròn, bản đồ, cây và nhiều loại biểu đồ khác, cho phép người dùng có thể thiết kế biểu đồ, đồ thị từ những nguồn dữ liệu đã được quy hoạch thành các dạng biểu đồ. Tùy vào nhu cầu sử dụng, có thể tùy chỉnh các yếu tố như màu sắc, kiểu đồ thị, cỡ chữ, chú thích, nhãn, và các thuộc tính khác để tạo ra biểu đồ phù hợp với yêu cầu; Cho phép chia sẻ cho tổ chức đơn vị tích hợp sử dụng.

Công cụ thiết kế biểu mẫu (report tools): Cung cấp khả năng thiết kế biểu mẫu báo cáo, người dùng có thể sử dụng tính năng đề xuất nguồn dữ liệu để có thể nhúng các nguồn dữ liệu vào trong biểu mẫu báo cáo. Các báo cáo sau khi thiết kế sẽ phục vụ việc kết xuất dữ liệu từ nền tảng ra dạng tập tin.

Cổng dữ liệu mở (open data portal): Cho phép công bố dữ liệu mở làm minh bạch và giúp xây dựng niềm tin cho công chúng. Đối tượng sử dụng cổng dữ liệu mở là người dân và doanh nghiệp.

Hệ thống kết nối dữ liệu phi tập trung (iAtlas)

iAtlas có chức năng tương như như iTitan, tuy nhiên, nó là mô hình triển khai thu nhỏ của iTitan và được ứng dụng cho quy mô tổng hợp, phân tích dữ liệu nhỏ. Khi triển khai kết nối giữa các vùng dữ liệu phi tập trung sẽ có mô hình iAtlas - iTitan (iAtlas kết nối với iTitan) hoặc iTitan - iTitan (iTitan kết nối với iTitan) để phục vụ cho việc chia sẻ, tổng hợp và phân tích dữ liệu.

iAtlas sẽ kết nối các nguồn dữ liệu tại hạ tầng nơi nó được cài đặt để phân tích trước khi chia sẻ về cho iTitan.

Với những kiến trúc độc đáo, nền tảng iTitan hỗ trợ từ việc tạo biểu đồ trực quan cho đến dự đoán xu hướng tương lai, mang lại sự thông suốt và hiểu biết sâu sắc về dữ liệu. Với khả năng tùy chỉnh giao diện cao mang lại tính tương tác và chia sẻ thông tin một cách dễ dàng giúp truyền đạt thông tin một cách rõ ràng và hấp dẫn.

Nền tảng iTitan đã đạt giải thưởng “Sản phẩm công nghệ số tiềm năng” trong khuôn khổ Giải thưởng Sản phẩm công nghệ số Make in Viet Nam năm 2023 do Bộ Thông tin và Truyền thông tổ chức.

iTitan đã góp phần định hình cách chúng ta hiểu và tận dụng dữ liệu từ việc quản lý kinh doanh đến quyết định chính trị, đẩy mạnh sự tiến bộ và đổi mới trong mọi lĩnh vực. Hiện nay, sản phẩm đã được triển khai thử nghiệm tại tỉnh Vĩnh Long, Bình Định, Đồng Nai, Bà Rịa-Vũng Tàu, Bình Thuận./.

Hạnh Tâm