כיצד לייצר דו"ח BI לכמות אדירה של נתונים

You are currently viewing כיצד לייצר דו"ח BI לכמות אדירה של נתונים
Image by Jan from Pixabay
נכתב על ידי יובל מרנין.
לחברות המעוניינות בשירותי פרילנס או סדנאות של אנליסט, ניתן לפנות אליי [email protected]

כאשר כמות הנתונים היא גדולה מאד, מרבית כלי ה-BI  אינם עומדים במשימה ומתחילים “לגמגם”.
הסיבה לכך היא שמרבית כלי ה-BI  עובדים בזיכרון עבודה של המחשב (זיכרון ה-RAM) בו הם רצים וזיכרון העבודה הוא יחסית מוגבל.

ישנן מספר שיטות להתמודד עם מכשול זה:

עבודה ישירות מול הדאטה בייס

ישנם כלי BI המאפשרים עבודה ישירה מול הדאטה-בייס. הדו"ח מבקש את הנתונים מתוך הדאטה-בייס ואם יש פעולות כמו פילטור שהמשתמש מבצע, הכלי יבקש מהדאטה-בייס לבצע את החישובים.

באופן פעולה זה הנתונים אינם נמצאים בזיכרון העבודה של המחשב שמריץ את הדו"ח וניתן לטפל בכמות גדולה מאד של נתונים.

החיסרון של שיטה זו הוא – המהירות עדיין נסמכת על חישובים שמבוצעים על הדאטה בייס וכשמגיעים לכמויות גדולות של נתונים, גם הדאטה בייסים לא יכולים לבצע את הפעולות בצורה מהירה. כמו כן, כל פעולה שמבצעים בדו"ח יכולה להשפיע המשאבים של הדאטה-בייס.

יצירת טבלאות אגרגטיביות (מקובצות)

במקום לבקש מכלי ה-BI לבצע אגרגציות על הטבלאות הענקיות, אפשר ליצור טבלאות אגרגטיביות קטנות בדאטה-בייס ולחשב בהן את המטריקות שאיתן אנו מעוניינים לעבוד.

החסרונות של השיטה הזאת – נדרשת עזרה של data engineers בתחזוקה של הטבלאות המאוגרגות. חסרון נוסף הוא שכלי ה-BI לא יכול להראות את הנתונים ברמת השורה הבודדת, למשל אם נרצה לראות את הנתונים של לקוח ספציפי, לא נוכל.

צריכים עזרה בבניית דוחות KPI לחברה שלכם?
מוזמנים ליצור איתי קשר [email protected]


למאמרים נוספים בנושא

איך לספר סיפור בהיר ומובן מנתונים.
מדריך לניתוח נתונים ב- Power BI.

Yuval Marnin

לחברות המעוניינות בשירותי פרילנס או מנטורינג של אנליסט, ניתן לפנות אליי ל[email protected]