Data Engineer
Indexed description
Data Engineer → membangun dan mengelola pipeline ETL/ELT.
Data Warehouse → pengelolaan data warehouse.
Data Modeler → pemodelan data.
Data Analyst → analisis data dan penyajian insight.
Data Engineer
- Merancang, membangun, dan memelihara data pipeline untuk proses ETL/ELT dari berbagai sumber data
- Mengembangkan dan mengoptimalkan database serta data warehouse untuk kebutuhan analitik dan pelaporan
- Mengintegrasikan data dari API, database relasional, dan sumber data lainnya
- Melakukan transformasi, validasi, dan pembersihan data guna memastikan kualitas serta konsistensi data
- Mengoptimalkan performa query SQL dan proses pemrosesan data agar lebih efisien
- Mengotomatisasi workflow pemrosesan data menggunakan tools seperti Apache Airflow atau scheduler lainnya
- Berkolaborasi dengan tim Data Analyst, Data Scientist, dan Software Engineer untuk memenuhi kebutuhan bisnis
- Memonitor pipeline data, melakukan troubleshooting, dan menyelesaikan permasalahan terkait kegagalan proses ETL
- Menerapkan standar keamanan, tata kelola (data governance), dan dokumentasi data
- Mengembangkan dashboard atau data mart untuk mendukung pengambilan keputusan berbasis data
Tools & Teknologi (sesuaikan dengan pengalaman) :
- SQL (MySQL, PostgreSQL, SQL Server)
- Python (Pandas, PySpark)
- Apache Airflow
- Apache Spark
- Kafka
- Docker
- Git
- AWS/GCP/Azure
- BigQuery, Snowflake, Redshift
- Hadoop
- db
- Data Visual, Data Model, Data Analyst, Power BI, Data Enigneering
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search