הנדסת נתונים - Data Engineering

אודות המסלול

תחום ה- Data Engineering מחולל שינוי מהותי באופן שבו ארגונים אוספים, מעבדים, מאחסנים ומנצלים נתונים לצורך קבלת החלטות, פיתוח מוצרים, אוטומציה של תהליכים והפקת תובנות עסקיות.

בעידן שבו מערכות דיגיטליות מייצרות כמויות עצומות של מידע ממקורות מגוונים, תפקידם של אנשי הנדסת הנתונים הוא לבנות את התשתית הטכנולוגית שמאפשרת להפוך נתונים גולמיים, מפוזרים ולא מובנים, למידע אמין, זמין ושימושי.

הנדסת נתונים מהווה שכבת יסוד קריטית כמעט בכל תחום טכנולוגי מתקדם, ובפרט בעולמות כמו בינה מלאכותית, מערכות המלצה, אנליטיקה, סייבר, בריאות דיגיטלית, מסחר מקוון, פינטק ותחבורה חכמה.

כיום, עם ההתפתחות המואצת של תחום ה- Generative AI ושל מערכות מבוססות סוכנים חכמים, החשיבות של Data Engineering גדלה אף יותר. מודלים גנרטיביים, מערכות RAG, סוכנים אוטונומיים ומערכות Multi-Agent תלויים כולם בתשתיות נתונים איכותיות, זמינות, עדכניות ומאורגנות היטב. ללא שכבת נתונים חזקה, גם המודלים המתקדמים ביותר לא יוכלו לספק תשובות אמינות, עקביות ורלוונטיות.

מבחינת השלב באבולוציה של התחום, Data Engineering הפך בשנים האחרונות לאחד ממקצועות הליבה בעולם התוכנה, הדאטה וה־AI. ככל שארגונים נשענים יותר על נתונים בזמן אמת, תהליכי עיבוד מבוזרים, שירותי ענן, סוכנים חכמים ופתרונות GenAI, כך גובר הצורך במהנדסי נתונים בעלי ידע עמוק בתכנון ארכיטקטורות נתונים, בניית pipelines, עבודה עם בסיסי נתונים, מערכות streaming, orchestration, data governance, ניטור, אבטחת מידע ותשתיות תומכות AI.

במסלול זה הסטודנטים ייחשפו לעקרונות המרכזיים של הנדסת נתונים, לטכנולוגיות ולפלטפורמות המקובלות בתעשייה, וכן לאתגרים המעשיים הכרוכים בתכנון, יישום ותחזוקה של מערכות נתונים מודרניות. בנוסף, המסלול יעסוק בתפקיד של מהנדס הנתונים בעולמות החדשים של GenAI וסוכנים, לרבות בניית שכבות Retrieval עבור מערכות RAG הכנת נתונים לאימון ול־fine-tuning, ניהול מאגרי ידע, שילוב מידע ממקורות רבים, תיעוד lineage והבטחת איכות, אמינות ועדכניות של נתונים עבור מודלים וסוכנים אוטונומיים.

כחלק מרכזי מהמסלול, הסטודנטים יבצעו פרויקט שנתי מרתק וחדשני, שידמה עבודה אמיתית מהתעשייה ויאפשר להם לבנות תיק עבודות משמעותי כבר במהלך התואר. פרויקט כזה יכול לכלול, למשל, תכנון והקמה של פלטפורמת נתונים מקצה לקצה עבור מערכת פינטק, בניית תשתית RAG לארגון, הקמת מערכת נתונים תומכת סוכנים חכמים, או פיתוח pipeline בזמן אמת לזיהוי אנומליות והונאות. הפרויקט יכלול שלבי אפיון, ארכיטקטורה, מימוש, בדיקות, תיעוד והצגת תוצרים, כך שבסיום הלימודים הסטודנט יוכל להציג בראיונות דוגמה ממשית ליכולת תכנון וביצוע של מערכת נתונים מודרנית.

מרכיב זה מקנה יתרון משמעותי כבר בשלב הראיון הראשוני, משום שהוא מאפשר למועמד להציג ניסיון מעשי, חשיבה מערכתית, הבנה טכנולוגית רחבה ויכולת לחבר בין צורך עסקי לפתרון הנדסי. יש כוונה ליצור קשר בין פעילות המעבדה או ההתמחות בתחום זה לבין חברות טכנולוגיה מובילות, כך שחלק מהפרויקטים יוצעו בשיתוף עם התעשייה, ויתבססו על אתגרים אמיתיים מעולמות הדאטה ה־AI  ,וה־GenAI.

מדוע כדאי ללמוד מסלול בתחום ה־Data Engineering?

1. תחום ה־Data Engineering הוא תחום ליבה בעולם הטכנולוגי המודרני. בבסיסו עומדת היכולת לבנות תשתיות נתונים אמינות, יעילות וסקיילביליות, המאפשרות לארגונים להפיק ערך אמיתי מהמידע שברשותם. תשתיות אלה מהוות בסיס לפיתוח מוצרים חכמים, מערכות המלצה, קבלת החלטות מבוססת נתונים, בינה מלאכותית, GenAI וסוכנים חכמים.
2. אחד הדברים המרתקים בתחום הוא השילוב בין עומק הנדסי לבין השפעה ישירה על פעילות הארגון. הנדסת נתונים נמצאת מאחורי כמעט כל מוצר דיגיטלי משמעותי, ומשפיעה על איכות המידע, מהירות התגובה של המערכת, חוויית המשתמש, והיכולת של הארגון לפעול בצורה חכמה ויעילה. בעולם ה־GenAI, מהנדס הנתונים הוא זה שמאפשר למודל או לסוכן לקבל גישה למידע הנכון, בזמן הנכון ובפורמט הנכון.
3. המסלול משלב טכנולוגיות חדשניות ורלוונטיות במיוחד לשוק העבודה כגון: Big Data, Data Pipelines ,Cloud Computing ,Data Warehouses ,Streaming בסיסי נתונים מבוזרים, Data Lakes ,Orchestration ,DevOps for Data ,AI Infrastructure Vector Databases ,RAG ,Knowledge Graphs ותשתיות למערכות מבוססות Agents ידע זה מעניק לסטודנטים בסיס רחב ועדכני להשתלבות בתעשייה.
4. תחום ה־Data Engineering נמצא בצמיחה מתמדת והוא נדרש כמעט בכל ארגון טכנולוגי, החל מחברות סטארטאפ ועד חברות גלובליות. עם העלייה המהירה בשימוש במערכות GenAI ובסוכנים אוטונומיים, עולה גם הביקוש לאנשי Data Engineering שיידעו לבנות את שכבת הנתונים שעליה מערכות אלה נשענות. זהו זמן מצוין להכיר תחום שנמצא בלב המהפכה הדיגיטלית והמהפכה של הבינה המלאכותית.
5. הפרויקט השנתי מעניק לסטודנט ערך מוסף משמעותי: לא רק ידע תאורטי, אלא גם תוצר מעשי שאפשר להציג בראיונות עבודה, בקורות חיים, בלינקדאין ובתיק עבודות אישי.

לאילו תפקידים מכוון המסלול?

1. תפקידי Data Engineer
2. תפקידי Data Platform Engineer
3. תפקידי Analytics Engineer
4. תפקידי Big Data Engineer
5. תפקידי Infrastructure / Backend Data Development
6. תפקידי פיתוח תשתיות נתונים למערכות AI ו- Machine Learning
7. תפקידי Data Engineer למערכות GenAI ,RAG ו- AI Agents
8. תפקידי פיתוח תשתיות ידע ונתונים עבור מערכות Multi-Agent

מטרות המסלול

1. לחשוף את הסטודנט לעולם הנדסת הנתונים ולעקרונות המרכזיים של תכנון ובניית תשתיות נתונים מודרניות.
2. לאפשר לסטודנט לבצע פרויקט עם זיקה לעולמות הנתונים, עיבוד מידע, ארכיטקטורת מידע, תשתיות אנליטיות, GenAI או סוכנים חכמים.
3. לאפשר לסטודנט לצבור בסיס ידע תאורטי ומעשי שיקנה לו ראייה רחבה של תחום הנדסת הנתונים, יסייע לו לנתב את מסלול הקריירה שלו בעולם הדאטה וה־AI ויקנה יתרון בהשתלבות בחברות הייטק, סטארטאפים וארגונים מבוססי נתונים.
4. להקנות לסטודנט הבנה של תפקיד הנדסת הנתונים במערכות AI מודרניות, ובפרט במערכות Generative AI ,RAG ,Knowledge Retrieval ו- Agentic Workflows.
5. לאפשר לסטודנט לבנות במהלך הלימודים תיק עבודות איכותי ומעשי, המבוסס על פרויקט שנתי חדשני, שיכול להוות יתרון משמעותי בתהליכי מיון וראיונות עבודה.

יתרונות שיקבלו בוגרי המסלול

1. התנסות בביצוע פרויקט שנתי או פרויקט גמר עם זיקה לאחד מתחומי הפעילות המרכזיים של Data Engineering.
2. ידע באפיון פתרון נתונים מבחינת צרכים עסקיים, ארכיטקטורה, מקורות נתונים ויעדי שימוש.
3. ידע בתכנון מפרט דרישות טכנולוגיות ותוכנית פיתוח לפתרונות Data Pipelines, מחסני נתונים, תשתיות streaming, מערכות עיבוד נתונים ותשתיות נתונים למערכות AI. 
4. היכרות עם תחומי הפעילות המרכזיים בתעשיית הדאטה וראייה רחבה של עולם הנדסת הנתונים.
5. הבנה מעשית של הקשר בין Data Engineering לבין GenAI, לרבות הכנת נתונים, ניהול מאגרי ידע, תשתיות Retrieval, עבודה עם Vector Stores ותמיכה בסוכנים חכמים.
6. בסיס מעשי ורלוונטי להשתלבות בתפקידי פיתוח, דאטה, תשתיות, אנליטיקה, בינה מלאכותית ופתרונות מבוססי Agents.
7. תיק עבודות ממשי ומרשים, המבוסס על פרויקט שנתי חדשני, שניתן להציג למעסיקים כבר בראיון הראשוני כהוכחה ליכולות טכנולוגיות, חשיבה מערכתית וניסיון מעשי