Cocok Banget Sama Kamu
Student
Fresh Graduate
Profesional

Big Data Engineer

Harga :

  • Rp 3.500.000 (mahasiswa Universitas Islam Indonesia)
  • Rp 5.000.000 (mahasiswa non Universitas Islam Indonesia)
  • Rp 8.000.000 (umum professional/non professional)

Materi Yang Akan Kamu Dapetin

Pelatihan Big data engineer bertujuan untuk memberikan pemahaman dan keterampilan dasar untuk seorang big data engineer pemula yang kompeten dan diharapkan siap untuk bekerja di perusahaan setelah mengikuti pelatihan ini. Big data engineer adalah profesi yang bertanggung jawab mengembangkan, memelihara, mengetes, menganalisis, dan mengevaluasi big data dalam perusahaan. Tugas big data engineer mencakup penggunaan big data untuk tujuan keuntungan dan perkembangan perusahaan. Big data engineer harus punya serangkaian skill guna mengelola data yang masif tersebut. Selain itu Big data engineer juga bertanggung jawab mulai dari mendesain data system hingga berkoordinasi dengan data scientist. Pelatihan ini dilaksanakan dalam 14 pertemuan, dengan estimasi setiap pertemuannya adalah 2,5 jam.

Kurikulum

Fundamental Concept & Roadmap Big Data Engineer:

  • Why Big Data Engineer ? Why now?
  • Lebih dalam memahami Proses Big Data Engineer
  • Download & Install Software Requirements
  • Demo memahami proses ETL sederhana
  • How to be a Good Engineer

Python & Database Fundamentals:

  • Database
  • Basic Programming with Python
  • [Small Project#1]

Extract, Transform, Load:

  • Memahami Pentingnya sinkronisasi dengan kebutuhan perusahaan
  • Dasar-dasar penggunaan Apache Spark agar bisa melakukan ETL sendiri
  • Dasar Apache Spark Session/SQL
  • ETL in Depth for Relational Database
  • ETL in Depth for Non-Relational Database
  • [Small Project#2]

Big Picture of Big Data in Cloud:

  • Mengenal arsitektur Big Data di Cloud
  • Simple Practice Dataproc & Google Big Query

Membangun Data Warehouse & Data Mart

  • Mengenal Hive sebagai Data Warehouse
  • Praktek membangun Hive
  • Spark dengan Hive
  • Membuat Data Mart

Otomasi Proses Data Pipeline:

  • Mengenal Apache Airflow
  • Membuat Data Pipeline
  • Database & Executors
  • Advanced Concept in Airflow
  • [Small Project#3]
     

Crawling Raw Data:

  • Praktek Dasar-dasar berbagai teknik Crawling
  • Study Case berbagai teknik Crawling
  • Extras : Memanfaatkan Elastic search & Kibana Tools

Membangun Data Lake:

  • Memahami ekosistem Big Data yang lebih luas
  • Apache Kafka sebagai Real Time Data Processing
  • Apache Spark Streaming & Kafka bersama
  • Streaming unstructured and structured data
  • [Small Project#4
  • [Final Project#5]

Fasilitator

Verified by MonsterInsights