Làm Data Engineer thì cần kĩ năng gì

Dữ liệu được chứa trong cơ sở dữ liệu, và đương nhiên bạn phải hiểu biết về lĩnh vực này thì mới làm tốt được công việc của mình. Bạn phải biết được cách vận hành của các loại database lớn hiện nay (MySQL, Postgres, SQL Server, Oracle), bạn phải biết chúng chạy ra sao, làm sao để tối ưu SQL khi cần lấy dữ liệu.

Rồi bạn sẽ cần xem thêm tới những loại “database” mới sử dụng cho các mục đích riêng biệt, ví dụ như database về dữ liệu địa lý, database về dữ liệu streaming và xử lý thời gian thực… Kiến thức thì bao la, đụng tới đâu thì bạn tìm hiểu tới đấy, nhưng lời khuyên chung của mình là bạn không được dở database, thậm chí bạn phải rành database hơn mấy ông developer trong công ty.

Rồi bạn sẽ phải biết về NoSQL database, một loại database mới đang được dùng ngày càng nhiều. MongoDB là một từ khóa bạn có thể dùng để đi Google tiếp. Ngoài ra còn có nhiều loại database NoSQL khác nhưng ý tưởng cũng tương tự.

database.png

Hạ tầng và cloud

Hạ tầng là những thứ liên quan tới server, Linux, cách lưu trữ, cách dùng Docker, và mở rộng hơn là sử dụng cloud để làm công việc của bạn. Bạn sẽ cần biết cách dựng nên một con server, các thiết lập nó, cài các công cụ cần thiết để làm việc, cách để hạ tầng scale ra tùy theo nhu cầu và lượng data cần xử lý… Nhiều thứ cần phải tìm hiểu, nhưng cứ bắt đầu dần dần, tìm hiểu từng thứ một.

Thật ra còn nhiều thứ khác về tech bạn phải tìm hiểu lắm, mình chỉ mới kể ra những cái mà theo mình là quan trọng nhất cho những bạn mới tìm hiểu và bắt đầu làm. Dần dần bạn sẽ giỏi lên, đừng lo. Cứ học, cứ làm, cứ tìm hiểu liên tục là được.

Ngoài ra, bạn còn phải có kĩ năng về trao đổi với loài người và hiểu biết cơ bản các khái niệm kinh doanh

Bạn làm data thì cỡ nào bạn cũng phải đi nói chuyện với loài người, có thể là các phòng ban khác ở khối kinh doanh, có thể là các phòng ban về tech khác nữa. Nên bạn phải tập nói sao cho người ta hiểu ý mình, nói ngắn gọn, và có khả năng giải thích những thứ phức tạp theo cách đơn giản thì mới làm tốt được việc của data engineer.

Đó là chưa kể bạn phải tìm hiểu về những khái niệm rất là “business”, ví dụ như tỉ lệ chuyển đổi, cái khái niệm về quảng cáo, sản xuất, vận hành, chăm sóc khách hàng. Những kiến thức về business này sẽ giúp bạn làm việc của mình tốt hơn vì bạn biết nó là gì, bạn cần làm gì để giúp công ty tạo ra giá trị có liên quan. Nếu rảnh, hãy đi nói chuyện, giao lưu, đi ăn trưa với các phòng ban kinh doanh, bạn sẽ giỏi hơn rất nhiều so với việc chỉ ngồi làm tech, chỉ ngồi code suốt ngày.

Dữ liệu được chứa trong cơ sở dữ liệu, và đương nhiên bạn phải hiểu biết về lĩnh vực này thì mới làm tốt được công việc của mình. Bạn phải biết được cách vận hành của các loại database lớn hiện nay (MySQL, Postgres, SQL Server, Oracle), bạn phải biết chúng chạy ra sao, làm sao để tối ưu SQL khi cần lấy dữ liệu.Rồi bạn sẽ cần xem thêm tới những loại “database” mới sử dụng cho các mục đích riêng biệt, ví dụ như database về dữ liệu địa lý, database về dữ liệu streaming và xử lý thời gian thực… Kiến thức thì bao la, đụng tới đâu thì bạn tìm hiểu tới đấy, nhưng lời khuyên chung của mình là bạn không được dở database, thậm chí bạn phải rành database hơn mấy ông developer trong công ty.Rồi bạn sẽ phải biết về NoSQL database, một loại database mới đang được dùng ngày càng nhiều. MongoDB là một từ khóa bạn có thể dùng để đi Google tiếp. Ngoài ra còn có nhiều loại database NoSQL khác nhưng ý tưởng cũng tương tự.