Big Data đang dần trở thành một phần không thể thiếu đối với những công ty chuyên về lĩnh vực công nghệ thông tin. Để truy cập và phân tích Big Data, bạn phải sử dụng một loại công nghệ có tên Hadoop. Vậy Hadoop là gì? Công cụ này có cấu trúc như thế nào?
Tóm Tắt
Hadoop là gì?
Định nghĩa Hadoop
Hadoop hay Apache Hadoop là một framework có mã nguồn mở được sử dụng để tàng trữ và giải quyết và xử lý hiệu suất cao những tập dữ liệu có kích cỡ lớn từ gigabyte cho đến petabyte. Thay vì sử dụng một máy tính lớn để tàng trữ và giải quyết và xử lý tài liệu, Hadoop được cho phép bạn phân cụm nhiều máy tính để nghiên cứu và phân tích đồng thời những Big Data một cách nhanh gọn hơn .Hadoop được tăng trưởng bởi Doug Cutting và Michael J. Cafarella, công cụ này sử dụng quy mô lập trình MapReduce để tàng trữ và truy xuất tài liệu nhanh hơn từ những nút của nó. Bên cạnh đó, Hadoop dựa trên chính sách streaming nên khi được viết bằng ngôn từ Java sẽ được cho phép bạn tăng trưởng những ứng dụng dạng phân tán dựa vào những loại ngôn từ lập trình khác như : C + +, Python, Perl …
Hiện nay, khi nhiều ứng dụng đang tạo ra một số lượng Big Data cần xử lý, Hadoop đang đóng một vai trò rất quan trọng trong thế giới cơ sở dữ liệu.
Lịch sử phát triển của Hadoop
Khi những công ty chuyên về công cụ tìm kiếm như Yahoo và Google tăng trưởng đã thôi thúc Apache Hadoop sinh ra, do nhu yếu giải quyết và xử lý một khối lượng lớn Big Data ngày càng tăng và năng lực phân phối tác dụng trên web nhanh hơn. Lấy cảm hứng từ Google’s MapReduce, một quy mô lập trình chia ứng dụng thành những phân số nhỏ để chạy trên những nút khác nhau, Doug Cutting và Mike Cafarella mở màn tiến hành Hadoop vào năm 2002 khi đang thao tác trong dự án Bất Động Sản Apache Nutch .Theo một bài báo trên New York Times, Doug đặt tên Hadoop theo tên con voi đồ chơi của con trai mình. Vài năm sau, Hadoop bị tách khỏi Nutch. Khi Cutting gia nhập Yahoo, ông đã phát hành Hadoop dưới dạng một dự án Bất Động Sản mã nguồn mở vào năm 2008. Và ở đầu cuối, Apache Software Foundation ( ASF ) đã đưa Hadoop ra đời công chúng vào tháng 11 năm 2012 với tên gọi Apache Hadoop .
Những phần mềm liên quan đến Hadoop
- Apache Hive: là phần mềm kho dữ liệu chạy trên Hadoop và cho phép người dùng làm việc với dữ liệu trong HDFS bằng cách sử dụng ngôn ngữ truy vấn giống SQL, được gọi là HiveQL.
- Apache Impala: là cơ sở dữ liệu phân tích có mã nguồn mở
- Apache Pig: là một công cụ thường được sử dụng với Hadoop để phân tích các bộ Big Data được biểu diễn dưới dạng các luồng dữ liệu. Pig cho phép các hoạt động như nối, lọc, sắp xếp, tải,..
- Apache Zookeeper: là một dịch vụ tập trung cho phép xử lý phân tán có độ tin cậy cao.
- Apache Sqoop ™: là một công cụ được thiết kế để truyền số lượng lớn dữ liệu một cách hiệu quả giữa Apache Hadoop và các kho dữ liệu có cấu trúc như hệ cơ sở dữ liệu.
- Apache Oozie: là một hệ thống lập lịch các trình quy trình làm việc để quản lý những công việc trong Apache Hadoop.
Tại sao Hadoop lại quan trọng?
Khả năng xử lý một lượng lớn dữ liệu
Hadoop phân phối năng lực tàng trữ và giải quyết và xử lý một lượng lớn bất kể loại tài liệu nào. Điều này đặc biệt quan trọng quan trọng khi khối lượng và sự phong phú của tài liệu không ngừng tăng lên, đặc biệt quan trọng là từ những phương tiện đi lại truyền thông online xã hội và Internet of Things ( IoT ) .
Khả năng tính toán
Mô hình điện toán phân tán của Hadoop giải quyết và xử lý Big Data một cách nhanh gọn. Bạn sử dụng càng nhiều nút máy tính, bạn càng có thêm nhiều sức mạnh để giải quyết và xử lý .
Khả năng chịu lỗi
Xử lý tài liệu và ứng dụng sẽ được bảo vệ khỏi những lỗi phần cứng. Nếu một nút gặp trục trặc, những việc làm sẽ tự động hóa được chuyển sang những nút khác để bảo vệ giám sát phân tán không bị lỗi. Đồng thời những bản sao của tài liệu đều được tàng trữ tự động hóa .
Tính linh hoạt
Không giống như những hệ quản trị cơ sở tài liệu truyền thống cuội nguồn, Hadoop hoàn toàn có thể giúp bạn tàng trữ bao nhiêu tài liệu tùy thích và được phép quyết định hành động cách sử dụng chúng sau này. Bao gồm tài liệu phi cấu trúc như văn bản, hình ảnh và video .
QUẢNG CÁOMiễn phí và dễ mở rộng
Đây là một framework mã nguồn mở nên trọn vẹn không lấy phí. Ngoài ra, bạn cũng hoàn toàn có thể thuận tiện tăng trưởng mạng lưới hệ thống của mình để giải quyết và xử lý nhiều tài liệu hơn bằng cách thêm những nút .
Cấu trúc của Hadoop
Hadoop được tạo thành từ những modules, mỗi modules sẽ triển khai một trách nhiệm đơn cử thiết yếu cho mạng lưới hệ thống máy tính đã được phong cách thiết kế để nghiên cứu và phân tích Big Data .
Hệ thống tệp phân tán
Hệ thống tệp phân tán là phương pháp được máy tính sử dụng để tàng trữ tài liệu. Thông thường mạng lưới hệ thống tệp được xác lập bởi hệ điều hành quản lý của máy tính. Tuy nhiên, Hadoop sử dụng một mạng lưới hệ thống tệp của riêng không liên quan gì đến nhau nằm trên mạng lưới hệ thống tệp của máy tính chủ. Điều này có nghĩa Hadoop hoàn toàn có thể được truy vấn bằng bất kể máy tính nào và chạy bất kể hệ điều hành quản lý nào .
MapReduce
MapReduce được đặt tên theo hai hoạt động giải trí cơ bản mà modules này thực thi, gồm có đọc tài liệu từ cơ sở tài liệu, đưa chúng vào định dạng tương thích để nghiên cứu và phân tích ( map ) và triển khai những thuật toán .
Hadoop Common
Hadoop Common phân phối những công cụ ( bằng Java ) thiết yếu cho mạng lưới hệ thống máy tính của người dùng ( Windows, Unix hoặc hệ quản lý và điều hành khác ) để đọc tài liệu được tàng trữ trong mạng lưới hệ thống tệp Hadoop .
YARN
YARN là modules sau cuối của Hadoop có tính năng quản trị tài nguyên của mạng lưới hệ thống tàng trữ tài liệu và triển khai những nghiên cứu và phân tích .
Cách thức hoạt động của Hadoop
Quá trình hoạt động giải trí của Hadoop gồm 3 quá trình .
Giai đoạn 1
Một user hay một ứng dụng sẽ submit một job lên mạng lưới hệ thống Hadoop ( hadoop job client ) cùng với những nhu yếu giải quyết và xử lý những thông tin cơ bản gồm :
- Truyền dữ liệu lên máy chủ (input) để bắt đầu phân tán dữ liệu và xuất kết quả (output).
- Các dữ liệu sẽ được xử lý thông qua 2 hàm chính là map và reduce. Trong đó, Map có chức năng quét qua toàn bộ dữ liệu và phân tán chúng thành các dữ liệu con. Còn Reduce có chức năng thu thập các dữ liệu còn lại và sắp xếp chúng.
- Các thiết lập cụ thể liên quan đến job thông qua các thông số được truyền vào.
Giai đoạn 2
Hệ thống Hadoop triển khai submit job gồm có file jar, file thực thi và mở màn thiết lập lịch thao tác ( JobTracker ) sau đó đưa job vào hàng đợi .
Sau khi tiếp nhận yêu cầu từ JobTracker, Máy chủ “mẹ” (master) sẽ phân chia công việc cho các máy chủ “con” (slave). Các máy chủ con bắt đầu thực hiện các job được giao và trả kết quả cho máy chủ “mẹ”.
Giai đoạn 3
TaskTrackers sẽ được dùng để kiểm tra nhằm mục đích bảo vệ những MapReduce hoạt động giải trí thông thường và kiểm tra tác dụng đã nhận ( quy trình output ) .Khi “ chạy Hadoop ” có nghĩa là đang chạy một tập những trình nền hoặc những chương trình thường trú tại những sever khác nhau trên mạng của bạn. Những trình nền đóng một vai trò đơn cử và có 1 số ít chỉ sống sót trên một sever nhất định hoặc hoàn toàn có thể sống sót trên nhiều sever .
Nhờ tính linh động của mạng lưới hệ thống Hadoop, những công ty hoàn toàn có thể lan rộng ra và kiểm soát và điều chỉnh quy trình nghiên cứu và phân tích tài liệu khi hoạt động giải trí kinh doanh thương mại của họ lan rộng ra. Những thông tin trên bài viết đã giúp cho bạn có cái nhìn tổng quan hơn về Hadoop, kỳ vọng công cụ này sẽ giúp ích cho bạn trong việc giải quyết và xử lý khối lượng lớn tài liệu .
FAQs về Hadoop
Big Data là gì?
Big Data là những tập dữ liệu khổng lồ được tạo ra từ những hành vi của con người trong mỗi ngày, mỗi giờ, mỗi giây. Tập dữ liệu này gồm có có cấu trúc và không có cấu trúc. Chúng sẽ được nghiên cứu và phân tích để tìm ra những quy mô, khuynh hướng và những mối liên hệ hầu hết tương quan đến hành vi và tương tác của con người dẫn đến việc ra quyết định hành động kế hoạch .
Sử dụng Hadoop sẽ gặp những thách thức gì?
Khi sử dụng Hadoop, bạn hoàn toàn có thể phải đương đầu với những thử thách như :
- Lập trình MapReduce không phải lúc nào cũng thích hợp để giải quyết các vấn đề
- Đồi hỏi phải có kiến thức nhất định mới sử dụng tốt Hadoop
- Thiếu các công cụ để phân tích chất lượng và tiêu chuẩn hóa dữ liệu.
- Các thách thức khác xoay quanh vấn đề bảo mật dữ liệu
Hadoop thích hợp với nền tảng hệ điều hành nào?
Hadoop hoàn toàn có thể thích hợp với mọi nền tảng thông dụng lúc bấy giờ như Window, Linux, MacOs do công cụ này được tạo ra từ Java .
Nên sử dụng Hadoop hay Spark?
Mỗi framework đều có những điểm điển hình nổi bật riêng, trong khi Spark có ưu điểm là nhanh, dễ sử dụng, còn Hadoop lại tiêu biểu vượt trội về tính năng bảo mật thông tin can đảm và mạnh mẽ, tàng trữ lớn, giải quyết và xử lý hàng loạt ( batch process ) với ngân sách thấp. Do đó, việc chọn framework nào còn phải nhờ vào vào đặc trưng dự án Bất Động Sản của bạn. Tuy nhiên, bạn cũng hoàn toàn có thể tích hợp cả hai để tận dụng triệt để ưu điểm của chúng và mang lại quyền lợi cho mình .
CÔNG TY CỔ PHẦN TẬP ĐOÀN TINO
- Trụ sở chính: L17-11, Tầng 17, Tòa nhà Vincom Center, Số 72 Lê Thánh Tôn, Phường Bến Nghé, Quận 1, Thành phố Hồ Chí Minh
Văn phòng đại diện: 42 Trần Phú, Phường 4, Quận 5, Thành phố Hồ Chí Minh- Điện thoại: 0364 333 333
Tổng đài miễn phí: 1800 6734- Email: [email protected]
- Website: www.tino.org
Source: https://final-blade.com
Category : Kiến thức Internet
