הקדמה – ניתוח נתונים בשפת פייתון

זהו חלק ב' של המדריך לניתוח נתונים בעזרת שפת פייתון. למעוניינים בחלק הראשון לחצו על: המדריך לניתוח נתונים בשפת פייתון – חלק א.

אם עדיין לא התקנתם את סביבת העבודה של פייתון היכנסו למדריך שהכנתי על התקנת סביבת העבודה.

אחזור בקצרה על ההקדמה שהופיעה בחלק א' של המדריך:
שפת פייתון היא שפת תוכנה ולא שפה שנוצרה לניתוח נתונים, ולכן, לדעתי, ניתוח נתונים בעזרת שפת פייתון הוא דרך מאד מסורבלת ולא מומלצת גם אם נעזרים בחבילת Pandas. אם בכל זאת אתם מעוניינים לנתח נתונים בשפת פייתון או שהשוק דורש את זה מכם, הכנתי מדריך שמסביר כיצד אפשר לנתח נתונים בשפת פייתון.

שימו לב, המדריך מניח שיש לכם ידע בסיסי בתכנות והבנה של ניתוח נתונים בשפת SQL.
אם אתם מעוניינים במדריך לשפת SQL לחצו כאן.

בנוסף, חשוב לדעת ששפת פייתון משתנה באופן תדיר. פונקציות חדשות נכנסות כל הזמן ולפעמים גם חלק מהסינטקס משתנה. במדריך התמקדתי רק בפעולות הבסיסיות בשפת פייתון שיעזרו לכם להיכנס לעניינים ולהתקדם אחר כך לבד. אם מצאתם טעות אתם מוזמנים ליצור קשר במייל: [email protected]

**** לפודקאסט של הבלוג לחצו כאן **** 

עבודה עם אינדקסים של DataFrame ב- Pandas

השימוש באינדקסים ב- Pandas מדגים מדוע לדעתי ניתוח נתונים בשפת פייתון הוא מאד מסורבל ולא נוח ומדוע עדיף להשתמש בשפת SQL במקום פייתון. מרבית מהבעיות שתתקלו בהן תהיינה קשורות בצורה זו או אחרת לאינדקסים וחיבור של משתנים מסוג Series שלהם אינדקס שונה מה-DataFrame  שלכם, לכן על מנת לשלוט בניתוח נתונים בפייתון, אין מנוס אלא להבין את הקונספט של אינדקסים.

לכל DataFrame ב- Pandas יש אינדקס. אינדקס הוא מספור של השורה. ברוב המקרים האינדקס יהיה נומרי, יתחיל מאפס ויתקדם באחד כל שורה אבל זה לא תמיד כך. אם למשל ניצור subset של טבלה באמצעות פונקציית loc, האינדקס של השורות בטבלה החדשה שנקבל יהיה האינדקס של השורות האלה בטבלה המקורית.

השימוש באינדקס יבוא לידי ביטוי כאשר נרצה להוסיף עמודות לטבלה או כשנרצה לחבר בין טבלאות.

הערה: יכולים להיות DataFrames עם יותר מאינדקס אחד.

דוגמה:

כדי לראות את האינדקס של DataFrame נריץ את הפקודה:

data.index.tolist()

[0, 1, 2, 3, 4, 5, 6, 7,…….

נבנה תת טבלה בשם b מתוך הטבלה data ונריץ את אותה פקודה על טבלה b

b=data.loc[data["Country"]=='Israel',["Country","CustomerID"]]

b.index.tolist()

[31982, 31983, 50791, 50792, 50793, 50794,

…

הסבר: האינדקס של טבלה b  שיצרתי מתוך הטבלה data הוא אותו אינדקס של השורות המקוריות שהופיעו בטבלה של data.

פקודת rest_index

כדי לאפס את האינדקס נריץ את הפקודה הבאה:

b.reset_index(drop=True,inplace=True)

תזכורת: הפרמטר inplace=True אומר ל- Pandas לשנות את הטבלה b ולא לשנות את הפלט של הפקודה.

שימוש בפונקציית Copy בפקודות של Pandas

כשמייצרים תת טבלה ב- pandas לא נוצרת טבלה חדשה בזכרון, אלא נוצרת טבלה לוגית אשר מצביעה על הטבלה המקורית בזכרון עם השינויים שבוצעו. השיטה הזאת מאפשרת לחסוך בזמן ריצה וזיכרון מערכת, אבל יוצרת בעיות כאשר רוצים לבצע שינויים על אחת מהטבלאות. אם למשל נשנה את הטבלה המקורית, גם תת הטבלה תשתנה.

כדי להימנע מבעיות אלו, ישנה אפשרות ב-Pandas  לייצר תת טבלה חדשה בזיכרון בעזרת פונקציית Copy. טבלה חדשה זאת לא תשפיע או תהיה מושפעת מהטבלה שממנה היא נגזרה.

לדוגמה:

b=data.loc[data["Country"]=='Israel',["Country","CustomerID"]].copy()

טיפול בערכים חסרים ב- DataFrame

איתור ערכים חסרים

ל- Pandas יש פונקציה בשם isnull כדי לאתר ערכים חסרים:

data.loc[data["CustomerID"].isnull()]

בדוגמה הנ"ל נקבל את כל הערכים החסרים בשדה CustomerID.     

מילוי ערכים חסרים

על מנת למלא ערכים חסרים, ב- Pandas יש פונקציה בשם fillna.
יש אפשרות להפעיל את הפונקציה ולמלא באופן אוטומטי את כל הערכים החסרים בערך שנקבע מראש.

דוגמה למילוי כל הערכים החסרים בערך שנבחר מראש:

data['Country'].fillna('No Country',inplace=True)

דוגמה למילוי כל הערכים החסרים לפי פונקציה סטטיסטית – במקרה שלנו 'שכיח':

data['Country'].fillna((data['Country']).mode()[0], inplace=True)

הסבר על הפקודה – (data['Country']).mode()[0]
הפקודה mode מחזירה משתנה מסוג סדרה- Series ולכן אם נרצה לקבל את הערך עצמו של השכיח נצטרך לבחור את האיבר הראשון בסדרה בעזרת התייחסות למיקום שלו [0].

הסרה של שורות עם ערכים חסרים

ישנה פונקציה בחבילת Pandas בשם dropna המאפשרת הסרה של שורות עם ערכים חסרים מהטבלה.

אם נריץ אותה על כל הטבלה כמו בדוגמה הבאה יוסרו כל השורות שבאחד השדות שלהם יש ערכים חסרים.

data.dropna(inplace=True)

אפשר גם להסיר את השורות שבשדה מסוים שלהם יש ערכים חסרים כמו בדוגמה הבאה:

data.dropna(subset=['Country'],inplace=True)

שינוי ערכים של שדות (recode)

בעיבוד נתונים לפעמים יש צורך לשנות ערכים בטבלה. למשל, אם נוצרה טעות ובמקום שם המדינה Israel הוקלד IRL או אם היינו רוצים לקבץ ערכים כמותיים.

אם היינו עובדים בשפת SQL היינו יכולים לבצע פעולת אלו בעזרת פקודת case when. בשפת פייתון ישנם מספר דרכים לבצע שינוי של ערכים. בדוגמה הבאה אראה כיצד אפשר לבצע פעולות מסוג זה בעזרת פונקציה:

def age_groups_func(series):
    if series < 20:
        return "15-19 yrs"
    elif 20 <= series < 25:
        return "20-24 yrs"
    elif 25 <= series:
        return "25-30 yrs"

data['age_group'] = data ['age'].apply(age_groups_func)

הסבר:

בשורות קוד הנ"ל בניתי פונקציה אשר מחלקת את הגיל לקבוצות. לאחר מכן, הפעלתי את הפונקציה בעזרת apply ואת התוצאה הכנסתי למשתנה חדש בשם age_group.