Data fabric: Giải pháp quản lý dữ liệu hiệu quả trong chuyển đổi số

Chuyển đổi số - Ngày đăng : 17:07, 25/12/2022

Hiện nay, con người đang tạo ra và thu thập nhiều dữ liệu hơn bất cứ thời điểm nào trong lịch sử. Đặc biệt, trong những năm gần đây, sự phát triển của các công nghệ như đám mây lai, trí tuệ nhân tạo (AI), Internet vạn vật (IoT) và điện toán biên đã dẫn đến sự bùng nổ của dữ liệu lớn.

Chuyển đổi số

Data fabric: Giải pháp quản lý dữ liệu hiệu quả trong chuyển đổi số

TS. Hoàng Thị Phương - Trường Đại học Sư phạm kỹ thuật Nam Định • 25/12/2022 17:07

“

Tóm tắt nội dung:

- Với sự bùng nổ của dữ liệu lớn, quản lý dữ liệu trở thành bài toán khó. Data Fabric trở thành một đáp án cho bài toán quản lý dữ liệu.

- Data Fabric là một cách tiếp cận thiết kế đối với kiến trúc dữ liệu nhằm tìm cách kết nối các nguồn dữ liệu khác nhau, bằng cách sử dụng các công nghệ để cung cấp cho các tổ chức/doanh nghiệp một cái nhìn tổng thể, tích hợp về dữ liệu của họ.

- Kiến trúc Data Fabric cơ bản bao gồm các lớp: Lớp nguồn dữ liệu; Lớp khai phá và thu nhập dữ liệu; Lớp biểu đồ tri thức; Lớp phân tích và tạo thông tin chi tiết; Lớp điều phối dữ liệu; Lớp truy cập dữ liệu; Lớp quản lý dữ liệu.

- Ứng dụng Data Fabric trong một số lĩnh vực:

+ Tài chính: Data Fabric được sử dụng để cung cấp các dịch vụ và tài chính cho khách hàng của họ trên mọi thiết bị, mọi lúc và mọi nơi.

+ Chăm sóc sức khỏe: Ứng dụng Data Fabric để đáp ứng nhu cầu ngày càng tăng về chăm sóc sức khỏe; lấy bệnh nhân làm trung tâm, cải thiện kết quả lâm sàng và giảm chi phí.

+ Công nghiệp: Data Fabric được sử dụng để tăng tốc đổi mới và nâng cao hiệu quả chuỗi cung ứng bằng cách kết nối con người, máy móc, hệ thống và dữ liệu đầu cuối trong toàn bộ chuỗi giá trị.

Tác giả trích dẫn

Trong các ngành công nghiệp, nhất là trong kỷ nguyên chuyển đổi số (CĐS), việc khai thác sức mạnh của dữ liệu là tối quan trọng để có được những thông tin có giá trị hỗ trợ đưa ra quyết định sáng suốt và tìm ra những cách thức mới để đáp ứng nhu cầu ngày càng tăng của con người.

Do đó, thách thức nằm ở việc quản lý một lượng lớn dữ liệu thu thập được, để có thể sử dụng một cách hiệu quả và đầy đủ tiềm năng của dữ liệu. Và vì thế câu chuyện làm thế nào để thống nhất và quản trị môi trường dữ liệu luôn là thách thức. Bài báo này giới thiệu về Data Fabric, một trong những giải pháp công nghệ quản lý dữ liệu cho các doanh nghiệp (DN), sẽ đóng vai trò là động lực thúc đẩy kinh doanh kỹ thuật số và đổi mới trong vòng 3-5 năm tới.

Quản lý dữ liệu - Bài toán khó

Dữ liệu được coi là một trong những tài sản quan trọng nhất của một tổ chức và đó là lý do tại sao việc lưu trữ dữ liệu này ở những nơi an toàn lại được coi trọng. Nhưng điều quan trọng là cách các tổ chức quản lý dữ liệu, để sử dụng nó một cách tốt nhất. Quản lý dữ liệu hiệu quả thúc đẩy hoạt động tốt nhất bằng cách cung cấp dữ liệu nhất quán.

Ngược lại, nếu quản lý dữ liệu yếu kém dẫn đến quản lý rủi ro kém, mất dữ liệu và xuất ra các dữ liệu tạp. Khi đưa ra một quyết định dựa trên những dữ liệu tạp đó sẽ khiến DNtổn thất chi phí. Với sự gia tăng của các công nghệ như AI, điện toán biên, máy học (ML), IoT,... bối cảnh công nghệ ngày nay giống như một cuốn tiểu thuyết khoa học viễn tưởng chỉ cách đây một thập kỷ. Và trong khi công nghệ tiếp tục định hình lại cuộc sống hàng ngày của chúng ta, thì ảnh hưởng của nó cũng định hình lại bối cảnh kinh doanh hiện nay.

Cuộc cách mạng kỹ thuật số cùng với sự đa dạng của các nền tảng trực tuyến đã đẩy nhanh quá trình sản sinh dữ liệu. Hiện nay, để duy trì lợi thế cạnh tranh, mọi quyết định và chiến lược đều phải bắt nguồn từ dữ liệu và con số. Các doanh nghiệp lưu giữ dữ liệu và tri thức thu được từ nhiều nguồn khác nhau. Các hoạt động kinh doanh cũng chuyển đổi hoạt động chủ yếu dựa vào việc thu thập thông tin chi tiết có ý nghĩa từ dữ liệu. Tuy nhiên, những dữ liệu này lại rất đa dạng và phân tán vì thế làm tăng độ phức tạp của việc quản lý và tích hợp dữ liệu, khó khăn cho việc truy cập nhanh và tìm ra những dữ liệu thực sự có ý nghĩa trong một khối lượng dữ liệu khổng lồ.

Thực tế cho thấy, trong kinh doanh ngày nay, khách hàng có thể tương tác với các doanh nghiệp ở nhiều kênh khác nhau. Dữ liệu khách hàng có thể mở rộng ở nhiều nơi như môi trường đám mây kết hợp, cơ sở dữ liệu, hệ thống quản lý quan hệ khách hàng (CRM), web và ứng dụng di động. Khối lượng dữ liệu không chỉ ngày càng tăng theo cấp số nhân mà còn rất phức tạp, do phân tán đa dạng ở nhiều nơi (hạ tầng tại chỗ, trên các đám mây riêng, đám mây công cộng) và dữ liệu ở các định dạng khác nhau (có cấu trúc, bán cấu trúc, phi cấu trúc). Khi nhiều dữ liệu được tạo ra mỗi giây, bối cảnh trở nên phức tạp hơn để quản lý và sử dụng.

Ngoài ra, các DN/tổ chức sử dụng nhiều công cụ tích hợp dữ liệu gây khó khăn cho việc truy nhập, tích hợp, phân tích, chia sẻ dữ liệu và thêm nguồn dữ liệu mới một cách nhanh chóng. Vì thế, việc quản lý, truy cập và khai thác những dữ liệu này phục vụ cho mục đích kinh doanh trở nên khó khăn, tốn thời gian và kém hiệu quả.

Theo Forrester, các DN không sử dụng khoảng 60% - 73% dữ liệu của họ [1] - đơn giản là vì họ không thể truy cập vào dữ liệu đó. Nguyên nhân chính của vấn đề này nằm ở việc lưu trữ và sự không tương thích của dữ liệu. Những thách thức này là bài toán chung đối với mọi tổ chức/DN. Do đó, việc tích hợp các công nghệ để quản lý dữ liệu, siêu dữ liệu nhằm thúc đẩy kinh doanh đã trở thành cuộc đua cho các DN muốn dẫn đầu trong kỷ nguyên số hóa.

Nhu cầu cần có hệ thống quản lý trung tâm cung cấp cái nhìn tổng thể, an toàn và thống nhất để cung cấp dữ liệu phù hợp vào đúng thời điểm, bất kể định dạng dữ liệu hoặc nơi dữ liệu được lưu trữ trở nên cấp thiết. Với việc tạo ra một môi trường quản lý dữ liệu cực kỳ linh hoạt, tự động thích ứng với sự thay đổi của công nghệ, Data Fabric (Kết cấu dữ liệu) đang là lựa chọn hàng đầu để quản trị dữ liệu hiệu quả cho các DN.

Data Fabric: đáp án cho bài toán khó về quản lý dữ liệu

Data Fabric là một cách tiếp cận thiết kế đối với kiến trúc dữ liệu nhằm tìm cách kết nối các nguồn dữ liệu khác nhau, bằng cách sử dụng các công nghệ để cung cấp cho các tổ chức/doanh nghiệp một cái nhìn tổng thể, tích hợp về dữ liệu của họ. Data Fabric sử dụng các khả năng tự động và con người để cải tiến các hệ thống dữ liệu nhằm nâng cao quản lý, truy cập và hợp tác dữ liệu trong một tổ chức.

Thuật ngữ Data Fabric được nhiều công ty giải pháp lưu trữ trong ngành công nghệ thông tin định nghĩa. Chẳng hạn như theo NetApp, Data Fabric là một kiến trúc và tập hợp các dịch vụ dữ liệu cung cấp các khả năng nhất quán giữa các điểm đầu cuối trong môi trường kết hợp của nhiều nền tảng đám mây. Nền tảng này là sự cân bằng tốt nhất giữa cơ sở hạ tầng lưu trữ tại chỗ và môi trường đám mây, có sự mềm dẻo, linh hoạt và an toàn.

Còn quan điểm của IBM cho rằng, Data Fabric được hiểu là một giải pháp thay thế sáng tạo cho tình trạng dữ liệu đơn lẻ, không hợp nhất (data silo) và là một cách tiếp cận theo hướng kiến trúc để đơn giản hóa việc truy cập dữ liệu trong một tổ chức, tạo điều kiện cho việc sử dụng dữ liệu tự động. Data Fabric tự động hóa việc khám phá, quản trị và sử dụng dữ liệu, cho phép các DN sử dụng dữ liệu để tối đa hóa chuỗi giá trị. Bằng cách cung cấp đúng dữ liệu, vào đúng thời điểm, cho dù dữ liệu được lưu trữ ở đâu, Data Fabric giúp nâng cao giá trị dữ liệu của các DN.

Trong khi đó, Microsoft Azure định nghĩa dịch vụ Data Fabric giúp DN giải quyết các thách thức liên quan đến quản lý, độ tin cậy, khả năng mở rộng và độ trễ của dữ liệu. Data Fabric là công nghệ nền tảng cung cấp năng lượng cho cơ sở hạ tầng Azure cốt lõi cũng như các dịch vụ khác của Microsoft như Skype for Business, Intune, Azure Event Hubs, Azure Data Factory, Azure Cosmos DB, Azure SQL Database, Dynamics 365 và Cortana.

Mặc dù có nhiều quan điểm khác nhau về Data Fabric nhưng có một điểm chung cốt lõi đó là Data Fabric không phải là một công cụ mà đó là một công nghệ và tên của nó là thuật ngữ để chỉ về một giải pháp quản lý lưu trữ dữ liệu. Data Fabric thúc đẩy trải nghiệm người dùng liền mạch trong một tổ chức, cung cấp khả năng truy cập dữ liệu dễ dàng trong thời gian thực.

Data Fabric là một giải pháp năng động để quản lý dữ liệu, là một môi trường duy nhất với sự kết hợp của kiến trúc và công nghệ giúp cho việc xử lý dữ liệu động, phân tán và không đồng nhất trở nên dễ tiếp cận hơn. Trong đó khả năng hiển thị và thông tin chi tiết về dữ liệu, truy cập và quản lý dữ liệu, khả năng quan sát dữ liệu, bảo vệ dữ liệu và bảo mật dữ liệu chỉ là một vài trong số rất nhiều lợi ích của công nghệ quản lý dữ liệu này.

Về kiến trúc, Data Fabric là một kiến trúc chuyên biệt, tinh vi, hài hòa các tiêu chuẩn và quy trình quản lý dữ liệu trên các thiết bị đám mây, tại chỗ và thiết bị biên. Vai trò chính của kiến trúc này là hỗ trợ tích hợp và kết nối các công nghệ quản lý dữ liệu phân tán. Do mỗi doanh nghiệp có nhu cầu khác nhau và có cơ sở hạ tầng dữ liệu cũng như số lượng các nhà cung cấp đám mây là khác nhau, nên Data Fabric không có một kiến trúc duy nhất phù hợp với tất cả. Mỗi DN sẽ tự chọn triển khai một kiến trúc Data Fabric sao cho phù hợp nhất với mình, nhưng về cơ bản kiến trúc đó phải bao gồm các lớp sau:

- Lớp nguồn dữ liệu (Data source layer): Các hệ thống nguồn dữ liệu nội bộ như hệ thống quản lý quan hệ khách hàng (CRM), trang web, phần mềm hoạch định nguồn lực doanh nghiệp (ERP) hoặc hệ thống thông tin nguồn nhân lực (HRIS) đều có mặt trong lớp này. Nguồn dữ liệu cũng có thể từ các hệ thống bên ngoài như các ứng dụng truyền thông xã hội.

- Lớp khai phá và thu nhập dữ liệu (Data discovery and ingestion layer): Lớp này giúp khám phá những cách mới và sáng tạo để kết nối với dữ liệu ‘phù hợp’ có thể giúp thúc đẩy các sáng kiến kinh doanh hoặc phát triển các sản phẩm kinh doanh mới. Ví dụ như kết nối dữ liệu CRM với dữ liệu truyền thông xã hội để hiểu sâu hơn về hành vi của người tiêu dùng nhằm giúp cải thiện các đề xuất và trải nghiệm khách hàng.

- Lớp biểu đồ tri thức (Knowledge graph layer): Dữ liệu được nhập từ lớp nguồn thường không phải ở dạng có cấu trúc; mà là các định dạng thô, bán cấu trúc và phi cấu trúc. Biểu đồ tri thức giúp chuyển đổi dữ liệu này thành một định dạng thống nhất và nhất quán để sử dụng trong phân tích và tạo kết nối có giá trị giữa các tài sản dữ liệu, giúp người tiêu dùng dễ dàng sử dụng chúng.

- Lớp phân tích và tạo thông tin chi tiết (Analytics and insight generation layer): sử dụng sức mạnh của các thuật toán nâng cao máy học (Machine Learning) và trí tuệ nhân tạo (Artificial Intelligence) để tạo ra thông tin chi tiết dựa trên các trường hợp sử dụng khác nhau.

- Lớp điều phối dữ liệu (Data Orchestration layer): Lớp điều phối giúp kiểm soát tất cả các khía cạnh của kết cấu dữ liệu, từ thu thập đến tiêu thụ. Lớp này là một thành phần quan trọng và giúp theo dõi quy trình làm việc và vận hành hiệu quả các hoạt động trong kết cấu dữ liệu.

- Lớp truy cập dữ liệu (Data access layer): cho phép tiêu thụ dữ liệu, đảm bảo quyền phù hợp cho các nhóm nhất định, tuân theo nguyên tắc quản trị. Ngoài ra, lớp này giúp hiển thị dữ liệu có liên quan thông qua việc sử dụng dashboards và các công cụ trực quan hóa dữ liệu khác.

- Lớp quản lý dữ liệu (Data management layer): Lớp này giúp quản lý và duy trì bảo mật và quản trị dữ liệu.

Data Fabric - Một giải pháp đột phá trong quản lí dữ liệu

Data Fabric được so sánh với một tấm thảm tổng thể kết nối thông tin trên các hệ thống lưu trữ dữ liệu khác nhau - mà không cần sao chép hoặc di chuyển dữ liệu, tăng cường các biện pháp bảo mật và quyền riêng tư, giúp cho việc quản lí ngăn xếp công nghệ (MarTech Stack) dễ dàng hơn. Data Fabric sử dụng biểu đồ tri thức ngữ nghĩa (semantic knowledge graph), quản lý siêu dữ liệu và máy học để thống nhất dữ liệu trên nhiều loại dữ liệu và điểm cuối khác nhau. Máy học được sử dụng để tự động áp dụng các quy tắc quản trị nhằm đảm bảo thông tin được chia sẻ trên toàn bộ dữ liệu tuân thủ các quy định của chính phủ.

Việc sử dụng dữ liệu hiệu quả hơn sẽ cho phép các doanh nghiệp áp dụng các công nghệ mới và thực hiện các hoạt động kinh doanh đạt hiệu quả tốt hơn. Data Fabric cho phép loại bỏ phần lớn sự phức tạp liên quan đến việc di chuyển, chuyển đổi và tích hợp thông tin, làm cho tất cả dữ liệu có sẵn trong một DN.

Công nghệ này có thể phát hiện các mẫu và đưa ra đề xuất về cách thức, vị trí sử dụng và chỉnh sửa dữ liệu. Nhờ đó, việc truy cập dữ liệu trở nên thuận tiện và dễ dàng hơn. Ngoài ra, công nghệ này giúp rút ngắn thời gian truy cập, tích hợp, chia sẻ và mở rộng khả năng truy cập dữ liệu cho người dùng. Ngoài ra, kiến trúc Data Fabric cũng cho phép các nhóm kỹ thuật và bảo mật triển khai mã hóa dữ liệu nhạy cảm và độc quyền, giảm thiểu rủi ro chia sẻ dữ liệu và vi phạm hệ thống.

Để duy trì sự nhanh nhẹn và cạnh tranh trong môi trường chuyển đổi số, các doanh nghiệp cần cải thiện khả năng truy cập và khả năng hiển thị đối với dữ liệu và phải tiếp cận được dữ liệu từ các nguồn khác nhau. Giải pháp Data Fabric có khả năng phân tích dữ liệu liên tục để tạo ra kết nối giữa các điểm cuối dữ liệu và nâng cao khả năng quản lý dữ liệu trên các môi trường hạ tầng tại chỗ và đa đám mây. Giải pháp này cũng giúp các doanh nghiệp trở nên linh hoạt hơn, thúc đẩy tăng trưởng và đổi mới.

Bất kỳ người dùng nào ở bất kỳ điểm nào đều có thể lấy dữ liệu thô và sử dụng dữ liệu đó để có được thông tin chi tiết có giá trị. Kiến trúc Data Fabric lý tưởng cho các tổ chức đa dạng về địa lý, cũng như những tổ chức có nhiều nguồn dữ liệu và các vấn đề phức tạp. Khi được triển khai thành công, kiến trúc này có tiềm năng chuyển đổi một doanh nghiệp. Theo Gartner, Data Fabric có thể phân tích để tìm hiểu và đề xuất nơi lưu trữ dữ liệu. Điều này giúp giảm bớt công việc quản lý dữ liệu lên tới 70% [2].

Đối với các trường hợp sử dụng dữ liệu quy mô và khối lượng lớn, Data Fabric nổi lên như một lựa chọn ưu tiên so với giải pháp hồ dữ liệu (Data Lake) hoặc kho dữ liệu (Data Warehouse). Data Fabric có thể chuẩn bị dữ liệu đáng tin cậy cho Data Lakes và Warehouse.

Gartner cho rằng Data Fabric là “Xu hướng công nghệ chiến lược hàng đầu cho năm 2022”, là nền tảng giúp giảm 30% thời gian thiết kế tích hợp, 30% triển khai và 70% bảo trì” [3]. Data Fabric có thể tận dụng các kỹ năng và công nghệ hiện có từ các trung tâm dữ liệu, hồ dữ liệu và kho dữ liệu đồng thời đưa ra các phương pháp và công cụ mới cho tương lai. Gartner cũng dự đoán rằng vào năm 2024, 25% nhà cung cấp quản lý dữ liệu sẽ cung cấp một khung hoàn chỉnh cho Data Fabric - tăng so với tỉ lệ 5% hiện nay [4].

Ứng dụng Data Fabric trong một số lĩnh vực

hiệu quả chuỗi cung ứng bằng cách kết nối con người, máy móc, hệ thống và dữ liệu đầu cuối trong toàn bộ chuỗi giá trị. Cụ thể, Data Fabric có thể thúc đẩy sự phát triển và triển khai các ứng dụng công nghiệp. Hiện nay, nhiều tổ chức công nghiệp đang chuyển sang sử dụng Data Fabric để thu thập và xử lý khối lượng lớn dữ liệu phi cấu trúc do máy móc hoặc cảm biến tạo ra để nâng cao hiệu quả và an toàn cho hoạt động của mình.

Lĩnh vực tài chính: Các tổ chức tài chính sử dụng giải pháp Data Fabric để cung cấp các dịch vụ và tài chính cho khách hàng của họ trên mọi thiết bị, mọi lúc và mọi nơi. Khách hàng được trải nghiệm dịch vụ tài chính nhất quán trên tất cả các kênh. Điều này giúp DN nâng cao mức độ hài lòng của khách hàng.

Ngoài ra, công nghệ Data Fabric cho phép kết hợp nhiều nguồn dữ liệu như hồ sơ dịch vụ khách hàng, lịch sử giao dịch và phân tích phương tiện truyền thông xã hội, nhờ đó các tổ chức tài chính có được các thông tin chi tiết, chính xác và hữu ích cho hoạt động kinh doanh tài chính của mình.

Lĩnh vực chăm sóc sức khỏe (CSSK): Các nhà cung cấp dịch vụ CSSK ứng dụng Data Fabric để đáp ứng nhu cầu ngày càng tăng về CSSK; lấy bệnh nhân làm trung tâm, cải thiện kết quả lâm sàng và giảm chi phí. Đặc biệt khi sử dụng Data Fabric, các quy trình công việc truyền thống, vốn chậm và phức tạp đã bị loại bỏ, thay vào đó là sự cộng tác thời gian thực; cho phép các nhà cung cấp dịch vụ CSSK khác nhau chia sẻ dữ liệu an toàn trong thời gian thực.

Data Fabric cũng hỗ trợ hiệu quả trong quản lý hồ sơ bệnh nhân, thanh toán và tuân thủ các yêu cầu qui định. Công nghệ này cũng cho phép chia sẻ an toàn, linh hoạt thông tin bệnh nhân giữa các bệnh nhân với nhau, các khoa khám bệnh và giữa các nhà cung cấp dịch vụ sức khỏe. Điều này giúp cải thiện trải nghiệm dịch vụ CSSK cho bệnh nhân và cho phép bác sĩ đưa ra quyết định điều trị sáng suốt hơn.

Lĩnh vực công nghiệp: Các tổ chức sản xuất sử dụng Data Fabric để tăng tốc đổi mới và nâng cao hiệu quả chuỗi cung ứng bằng cách kết nối con người, máy móc, hệ thống và dữ liệu đầu cuối trong toàn bộ chuỗi giá trị. Cụ thể, Data Fabric có thể thúc đẩy sự phát triển và triển khai các ứng dụng công nghiệp. Hiện nay, nhiều tổ chức công nghiệp đang chuyển sang sử dụng Data Fabric để thu thập và xử lý khối lượng lớn dữ liệu phi cấu trúc do máy móc hoặc cảm biến tạo ra để nâng cao hiệu quả và an toàn cho hoạt động của mình.

Kết luận

Có thể thấy Data Fabric là một cách tiếp cận chiến lược mới đối với hoạt động lưu trữ của DN. Ngoài việc kiểm soát tập trung, dữ liệu có thể tiếp cận mọi nơi, bao gồm cả lưu trữ tại chỗ, đám mây công cộng và riêng tư, cũng như các thiết bị IoT và thiết bị biên. Data Fabric cho phép các tổ chức/DN cải thiện hiệu quả triển khai và bảo trì cơ sở hạ tầng, giảm chi phí và tăng hiệu suất.

Data Fabric mở ra nhiều khả năng cho việc quản lý dữ liệu DN khi mà dữ liệu là tài sản quý, là mỏ vàng trong quá trình chuyển đổi số. Vì thế các nhà quản lý dữ liệu cần tận dụng lợi thế của công nghệ mới này càng sớm càng tốt. Theo dự báo của Fortune Business Insights, quy mô thị trường Data Fabric toàn cầu dự kiến đạt 6,97 tỷ USD vào năm 2029, với tốc độ CAGR là 22,3% trong giai đoạn từ nay đến năm 2029 [5]. Mức độ tăng trưởng này cho thấy Data Fabric sẽ trở nên phổ biến và định vị là một nền tảng thực sự đầy hứa hẹn nhất để quản lý dữ liệu trong tương lai.

Tài liệu tham khảo:

1. https://insidebigdata.com

2. https://itvibes.com.au

3. https://www.gartner.com/smarterwithgartner 4. https://www.techfunnel.com

5. https://www.globenewswire.com

6. Các trang web khác: https://www.grandviewresearch. com; https://streamsets.com/learn/data-fabric; https:// www.reworked.co/information-management; https://www. elixirdata.com; https://www.itexchangeweb.com; https:// www.cdata.com/blog.

(Bài viết đăng ấn phẩm in Tạp chí số 12 tháng 12/2022)

TS. Hoàng Thị Phương - Trường Đại học Sư phạm kỹ thuật Nam Định