Nhu cầu cao đối với các chuyên gia có kỹ năng Hadoop

Mối quan tâm ngày càng tăng đối với công nghệ Hadoop và các công nghệ liên quan đang tạo ra nhu cầu cần thiết phải có những chuyên gia về các kỹ năng dữ liệu lớn.

Các nhà phân tích và quản lý CNTT tại Hội nghị Hadoop World tuần này liên tục chỉ ra rằng sự sẵn có của các kỹ năng là một trong những thách thức chính mà các công ty phải đối mặt trong việc áp dụng Hadoop.

Một dấu hiệu cho thấy mức độ hạn chế của việc cung cấp các chế kỹ năng là: Các Giám đốc điều hành CNTT của JP Morgan Chase và Ebay, những người đã nêu lên những vấn đề quan trọng tại hội nghị, đã tận dụng cơ hội để tuyển mộ từ khán giả.

Hugh Williams, Phó chủ tịch của eBay, nói với khán giả rằng trang web bán đấu giá đang tuyển dụng các chuyên gia Hadoop và ông mời những người cùng mối quan tâm nói chuyện với mình.

Larry Feinsmith, Giám đốc điều hành JP Morgan Chase, cũng nửa đùa nửa thật nói với khán giả rằng Chase cũng đang tuyển dụng và sẵn sàng trả thêm 10% so với eBay.“Hadoop là kho dữ liệu mới. Nó là nguồn dữ liệu mới” trong doanh nghiệp, James Kobielus, một nhà phân tích của Forrester Research, cho biết. Các công ty sẽ phải trả thêm tiền cho những người có kiến thức chuyên sâu về Hadoopđể giúp họ có thể tận dụng lợi thế của nó, ông nói.

Hadoop cho phép các công ty lưu trữ và quản lý khối lượng các dữ liệu có cấu trúc và phi cấu trúc lớn hơn so với các dữ liệu được quản lý bởi hệ thống quản lý cơ sở dữ liệu quan hệ hiện nay.

Ngày càng có nhiều công ty bắt đầu khai thác công nghệ này để lưu trữ và phân tích hàng petabyte dữ liệu như weblog, nhấp vào dòng dữ liệu và nội dung phương tiện truyền thông xã hội để đạt được những hiểu biết tốt hơn về khách hàng và công việc kinh doanh của họ.

Số doanh nghiệp thông qua công nghệ Hadoop ngày càng tăng tạo ra nhu cầu cần thiết phải có những chuyên gia có các kỹ năng phân tích tiên tiến, Kobielus nói. Nó bao gồm những người có nguồn gốc trong các lĩnh vực như phân tích thống kê đa biến, khai thác dữ liệu, mô hình dự báo, xử lý ngôn ngữ tự nhiên, phân tích nội dung, phân tích văn bản và phân tích mạng lưới xã hội, ông nói.

"Dữ liệu lớn trong ý nghĩa rộng lớn hơn - và đặc biệt là Hadoop – đang tạo ra nhu cầu cần thiết phải có những người có kinh nghiệm đã thực hiện các phân tích tiên tiến sử dụng phương pháp tiếp cận mới hơn như MapReduce và R cho mô hình dự báo và thống kê", ông nói. Đó là những nhà phân tích dữ liệu hoặc các nhà khoa học dữ liệu, những người sẽ làm việc với dữ liệu có cấu trúc và phi cấu trúc trong môi trường Hadoop để cung cấp những hiểu biết mới và trí thông minh cho doanh nghiệp, ông nói.

Mối quan tâm đến Hadoop cũng tạo ra nhu cầu cần thiết phải có các chuyên gia quản lý nền tảng Hadoop, Kobielus nói. Công việc của họ sẽ là thực hiện các cụm Hadoop, bảo đảm an toàn, quản lý, tối ưu hóa chúng và đảm bảo rằng chúng luôn có sẵn để doanh nghiệp sử dụng.

"Những nhà quản trị cơ sở dữ liệu quản lý Teradata và Exadata của Oracle đều đang bắt đầu xác định lại vai trò của mình như là quản trị viên cụm Hadoop", ông nói.

Nhu cầu đối với các chuyên gia Hadoop được chia thành ba loại chính: các nhà phân tích dữ liệu hoặc các nhà khoa học dữ liệu; các kỹ sư dữ liệu; và các chuyên gia quản lý dữ liệu CNTT, ông Martin Hall, Giám đốc điều hành của Karmasphere, một hãng chuyên bán các sản phẩm phần mềm cho các môi trường Hadoop.

Các chuyên gia quản lý dữ liệu sẽ là những người có nhiệm vụ lựa chọn, cài đặt, quản lý, cung cấp và quy mô các cụm Hadoop, Hall nói. Các kỹ năng cần thiết đối với vai trò này tương tự như những kỹ năng để thực hiện các nhiệm vụ tương tự trong các môi trường kho dữ liệu và các cơ sở dữ liệu quan hệ truyền thống, ông nói.

Trong khi đó, các kỹ sư dữ liệu Hadoop, là những người chịu trách nhiệm về việc tạo ra các công việc xử lý dữ liệu và xây dựng các thuật toán MapReduce phân phối để các nhà phân tích dữ liệu sử dụng. Những người có kỹ năng trong các lĩnh vực như Java và C có thể tìm thấy nhiều cơ hội hơn khi các doanh nghiệp bắt đầu triển khai Hadoop, ông nói.

Nhóm thứ ba là các nhà khoa học dữ liệu với những kinh nghiệm trong các lĩnh vực như SAS, SPSS và các ngôn ngữ lập trình như R, Hall nói. Đây là những người sẽ tạo ra, phân tích, chia sẻ và tích hợp thông tin thu thập được và lưu trữ trong môi trường Hadoop.

Trong thời điểm hiện nay, sự thiếu hụt của nhân lực Hadoop có nghĩa là các công ty cần phải được hỗ trợ bởi các nhà cung cấp dịch vụ để triển khai công nghệ.

Cloudera, MapR, Hortonworks và IBM hiện nay đang cung cấp các khóa đào tạo về Hadoop để các công ty có thể tận dụng lợi thế để xây dựng các trung tâm Hadoop xuất sắc của riêng mình.

Thùy Linh