Data Engineer
Indexed description
דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem
דרישות המשרה
- ניסיון של לפחות 3 שנים כ Data engineer - חובה
- ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP)
- ניסיון של 3 שנים עם Python - חובה
- ניסיון מעשי עם Spark עבור Large scale data - חובה
- ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי
- הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
- הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
- ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
- ניסיון של כלי data pipelines כמו airflow, Kubeflow
- תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה - חובה
- הבנה של מושגים ותהליכים בתחום machine learning
הכרות עם פתרונות GenAI / prompt engineering – יתרון
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search