Hadoop là gì?

Hadoop là gì? Các thành phần, hệ sinh thái và cấu trúc Hadoop như thế nào? Bạn đọc cùng tham khảo tiếp bài viết dưới đây của Taimienphi.vn để tìm hiểu chi tiết nhé.

Hadoop là một trong những hệ thống xử lý Big Data phổ biến nhất hiện nay. Vậy chính xác thì Hadoop là gì? Cấu trúc Hadoop có gì đặc biệt?

tim hieu ve hadoop

Tìm hiểu về Hadoop, hệ sinh thái và các thành phần

1. Hadoop là gì?

Apache Hadoop là framework phần mềm mã nguồn mở, được sử dụng để phát triển các ứng dụng xử lý dữ liệu được thực thi trong Distributed Computing Environment (DCE)

Các ứng dụng được xây dựng dựa trên Hadoop chạy trên các bộ dữ liệu lớn được phân phối trên các cụm máy tính.

hadoop la gi

Tương tự dữ liệu nằm trong hệ thống tập tin cục bộ trên hệ thống máy tính cá nhân, trong Hadoop, dữ liệu nằm trong hệ thống tập tin phân tán có tên gọi là Hadoop Distributed File System (HDFS).

Mô hình xử lý dựa trên khái niệm "Data Locality", trong đó logic tính toán được gửi đến các node (máy chủ) chứa dữ liệu. Về cơ bản logic tính toán chỉ là phiên bản biên dịch một chương trình được viết bằng ngôn ngữ cao cấp như Java.

Link tải Hadoop mới nhất:

=> Link tải Hadoop cho Windows

2. Hệ sinh thái Hadoop và các thành phần

Các thành phần trong hệ sinh thái Hadoop bao gồm: HDFS và HDFS, MapReduce, YARN, Hive, Apache Pig, Apache HBase và các thành phần HBase, HCatalog, Avro, Thrift, Drill, Apache mahout, Sqoop, Apache Flume, Ambari, Zookeeper và Apache OOzie.

tim hieu ve hadoop

Apache Hadoop bao gồm 2 dự án con, trong đó:

- Hadoop MapReduce: Là mô hình tính toán và Framework được sử dụng để viết các ứng dụng chạy trên Hadoop. Các chương trình MapReduce này có khả năng xử lý song song khối dữ liệu khổng lồ trên các cụm node tính toán lớn.

- HDFS (Hadoop Distributed File System): HDFS đảm nhận vai trò lưu trữ các ứng dụng Hadoop. Các ứng dụng MapReduce sử dụng dữ liệu từ HDFS. HDFS tạo nhiều bản sao các khối dữ liệu và phân phối trên các node tính toán trong cụm.

Ngoài ra còn một số dự án khác liên quan đến Hadoop như Hive, HBase, Mahout, Sqoop, Flume và ZooKeeper.

Xem thêm: Top công cụ Big Data tốt nhất 2020?

3. Kiến trúc Hadoop

Kiến trúc Master-Slave trên Hadoop lưu trữ dữ liệu và xử lý dữ liệu phân tán bằng MapReduce và HDFS.

hadoop la gi tim hieu ve phan mem

NameNode: đại diện cho các file và thư mục được sử dụng trong Namespace.
DataNode: quản lý trạng thái node HFDS và cho phép người dùng tương tác với các khối (block).
MasterNode: cho phép xử lý dữ liệu song song bằng Hadoop MapReduce.
Slave node: về cơ bản Slave node là các máy bổ sung trong cụm Hadoop, cho phép người dùng lưu trữ dữ liệu để thực hiện các phép tính phức tạp.

Ngoài ra tất cả Slave node đều được tích hợp Task Tracker và DataNode, cho phép đồng bộ các process với NameNode và Job Tracker tương ứng.

Trong Hadoop, hệ thống master / slave có thể được thiết lập tại chỗ hoặc trên đám mây.

4. Các tính năng của Hadoop

Một số tính năng đáng chú ý của Hadoop bao gồm:

4.1. Giải pháp phân tích Big Data

Bản chất Big Data không có cấu trúc và có xu hướng phân tán, do đó các cụm Hadoop sẽ là lựa chọn lý tưởng để phân tích kiểu dữ liệu này. Vì công cụ xử lý logic (không phải dữ liệu thực tế) cho các node tính toán nên băng thông tiêu thụ ít hơn. Khái niệm này được gọi là Data Locality, giúp tăng hiệu quả các ứng dụng dựa trên Hadoop.

tim hieu thong tin ve hadoop

4.2. Khả năng mở rộng

Bằng cách bổ sung các cụm node để mở rộng các cụm Hadoop. Điều này cho phép bạn có thể xử lý khối lượng dữ liệu lớn hơn và không cần sửa đổi phần logic ứng dụng.

4.3. Khả năng chịu lỗi

Hệ sinh thái Hadoop có khả năng sao chép dữ liệu đầu vào sang các cụm node khác. Bằng cách này trong trường hợp nếu có sự cố với cụm node, quá trình xử lý dữ liệu vẫn có thể tiếp tục bằng cách sử dụng dữ liệu được lưu trữ trên một cụm node khác.

5. Network Topology trong Hadoop

Topology hay cấu trúc mạng ảnh hưởng đến hiệu suất các cụm Hadoop khi kích thước cụm này tăng lên. Ngoài hiệu suất, người dùng cũng quan tâm đến tính có sẵn và khả năng xử lý các sự cố.

Để hình thành được cụm Hadoop này bằng cách sử dụng Network Topology (cấu trúc liên kết mạng).

Thông thường băng thông là yếu tố quan trọng khi hình thành mạng bất kỳ. Tuy nhiên trong Hadoop việc đo băng thông sẽ phức tạp hơn, mạng sẽ được biểu diễn dưới dạng cây và khoảng cách giữa các node của cây được coi là yếu tốt quan trọng trong việc hình thành cụm Hadoop.

Cụm Hadoop bao gồm một data center, rack và node. Trong đó, data center bao gồm các rack và rack bao gồm các node. Băng thông mạng có sẵn cho các process khác nhau, tùy thuộc vào vị trí các process.

https://thuthuat.taimienphi.vn/hadoop-la-gi-61162n.aspx
Bài viết trên đây Taimienphi.vn vừa giới thiệu cho bạn về Hadoop là gì? Các thành phần và hệ sinh thái Hadoop? Ngoài ra nếu còn thắc mắc hoặc câu hỏi nào cần giải đáp, bạn đọc có thể để lại ý kiến của mình trong phần bình luận bên dưới bài viết nhé.

Tác giả: Công Lý     (4.0★- 3 đánh giá)  ĐG của bạn?

  

Bài viết liên quan

Tả chú lính cứu hỏa
Cách chơi Rise of the Kings trên PC
Nghị luận xã hội về vai trò của nguồn nước sạch
Nghị luận về câu nói Mọi thứ rồi sẽ qua đi, chỉ còn tình người ở lại
Dàn ý nghị luận xã hội về lòng yêu nước
Từ khoá liên quan:

Hadoop la gi

, Tìm hiểu về công cụ Big Data Hadoop, Tìm hiểu về Hadoop là gì ,

SOFT LIÊN QUAN
  • Hadoop

    Xử lý dữ liệu phân tán trên máy tính

    Hadoop là công cụ phân tích dữ liệu được thiết kế ở dạng mã nguồn mở, cho phép xử lý phân tán các tập dữ liệu lớn trên các cụm máy tính bằng cách sử dụng các mô hình lập trình đơn giản. Hadoop được viết bằng Java gồm các ứng dụng có thể làm việc với hàng ngàn node khác nhau và hàng petabyte dữ liệu.

Tin Mới

  • Hadoop là gì?

    Hadoop là gì? Các thành phần, hệ sinh thái và cấu trúc Hadoop như thế nào? Bạn đọc cùng tham khảo tiếp bài viết dưới đây của Taimienphi.vn để tìm hiểu chi tiết nhé.

  • Học jQuery, tài liệu tự học lập trình jQuery

    JQuery là thư viện JavaScript đa tính năng, hỗ trợ đắc lực cho những người lập trình web, học jQuery thành thạo, bạn sẽ code ít hơn và được cập nhật liên tục các công nghệ mới nhất.

  • Thiết lập kích thước phần tử trong jQuery

    Để tìm hiểu các phương thức thiết lập kích thước phần tử trong jQuery, bạn đọc cùng tham khảo tiếp bài viết dưới đây của Taimienphi.vn, ngoài ra bạn đọc có thể tham khảo thêm một số bài viết khác đã có trên Taimienphi.vn để tìm hiểu thêm về phương thức lấy và thiết lập các thuộc tính CSS trong jQuery.

  • Sơ đồ tư duy Những ngôi sao xa xôi

    Sơ đồ tư duy Những ngôi sao xa xôi sẽ khái quát đặc sắc nội dung, nghệ thuật của tác phẩm thông qua sơ đồ, hình họa giúp cho việc ghi nhớ được dễ dàng, hiệu quả hơn. Mặt khác, dựa vào sơ đồ tư duy các em có thể triển khai nội dung phân tích Những ngôi sao xa xôi được đầy đủ, tránh bỏ sót những nội dung quan trọng.


 Mùa hè tới rồi muốn so sánh giá tìm điều hòa giá rẻ nhất thị trường hãy dùng TopGia để so sanh gia có nhiều mẫu dieu hoa để so sanh sanh, xem dieu hoagiá rẻ để so sánh giá