ניהול אחסון ב-Dataverse ויישומי פיננסים ותפעול

ככל שארגונים מאיצים את מסעות הטרנספורמציה הדיגיטלית שלהם, היכולת לנהל נתונים ביעילות הופכת לציווי עסקי אסטרטגי. עם עלייתן של יישומים המונעים על ידי בינה מלאכותית וזרימות עבודה המונעות על ידי Copilot, ארגונים מייצרים וצורכים נתונים בקצב חסר תקדים. נתונים אלה מזינים חדשנות, מאפשרים חוויות מותאמות אישית ותומכים בקבלת החלטות קריטיות - אך רק אם הם מנוהלים ומאוחסנים בצורה חכמה.

כדי לתמוך בצרכים עסקיים מתפתחים אלה, ארגונים חייבים לאמץ אסטרטגיית ניהול אחסון פרואקטיבית. זה מבטיח שנתונים שאינם נדרשים עוד לפעילות היומיומית מטופלים באחריות, משחררים קיבולת לעומסי עבודה בעלי ערך גבוה, מפחיתה חיכוכים תפעוליים ומתאימים את עצמם לדרישות התאימות והביקורת.

מנקודת מבט טכנית, ניהול אחסון יעיל ב- Dataverse וב-Dynamics 365 משפר את ביצועי המערכת, משפר את יעילות העלויות ומבטיח עמידה במדיניות שמירה לטווח ארוך (LTR). שתי הפלטפורמות מציעות כלים ויכולות אוטומציה המעצימות ארגונים לנהל אחסון.

על ידי יישום האסטרטגיות המתוארות במאמר זה, ארגונים יכולים להפחית את תקורת התמיכה, לייעל את תאימות הדרישות ולשחרר ערך רב יותר מיישומי העסק שלהם - ולהפוך את האחסון ממגבלות ליתרון תחרותי.

היתרונות העיקריים

ניהול אחסון יעיל ב Dataverse וב-Dynamics 365 מספק מספר יתרונות מרכזיים המטפלים בנקודות כאב נפוצות של לקוחות ומשפרים את היעילות התפעולית הכוללת.

  • תאימות מוגברת למדיניות LTR: ניהול אחסון יעיל מבטיח שהנתונים מאוחסנים בהתאם למדיניות LTR. זה לא רק מסייע בעמידה בדרישות הרגולציה, אלא גם מבטיח כי נתונים קריטיים נשמרים ונגישים בעת הצורך.

  • ביצועים משופרים: על ידי אופטימיזציה של ניהול האחסון, ארגונים יכולים לשפר משמעותית את ביצועי המערכות שלהם. הקצאה וניהול יעילים של אחסון מפחיתים את זמן ההשהיה ומשפרים את מהירות אחזור הנתונים, מה שמוביל לפעולות חלקות ומהירות יותר.

  • יעילות עלויות מוגברת: ניהול אחסון יעיל מאפשר לארגונים להתמקד בנתונים בעלי ערך גבוה על ידי ייעול וניקוי סביבת האחסון שלהם. על ידי שמירה רק על מה שדרוש, עסקים יכולים לייעל את טביעת הרגל של האחסון שלהם, מה שמוביל לניצול משאבים חכם יותר ומדרגיות חסכונית.

רקע

ככל שארגונים גדלים והופכים יותר מפעילותם לדיגיטלית, נפח נתוני העסק המאוחסנים במערכות כמו Dataverse ו-Dynamics 365 עולה בהתמדה. זה כולל לא רק נתונים פעילים של עסקאות, אלא גם רשומות היסטוריות שיש לשמור למטרות ביקורת, רגולציה או המשכיות עסקית. עם הזמן, הצטברות זו עלולה להוביל לירידה בביצועים, עלייה בעלויות תפעוליות ועלייה בעלויות אחסון - במיוחד כאשר נתונים שאינם בשימוש פעיל נשארים בשכבות אחסון בעלות ביצועים גבוהים.

אסטרטגיית ניהול אחסון מוגדרת היטב מסייעת לארגונים להתמודד עם אתגרים אלה על ידי זיהוי נתונים שניתן לאחסן בארכיון, לנקות או להעביר לאחסון בעלות נמוכה יותר המותאם לקריאה. זה חשוב בתרחישי תאימות שבהם נתונים חייבים להישאר בלתי ניתנים לשינוי, בעלי גישה נמוכה ולקריאה בלבד, כגון רשומות פיננסיות, יומני ביקורת או הגשות רגולטוריות. הבטחת שמירת נתונים כאלה באופן תואם, מבלי לפגוע בביצועי המערכות החיות, היא דרישה מרכזית עבור ארגונים רבים.

באמצעות הכלים והאסטרטגיות הזמינים בשתי הפלטפורמות, ארגונים יכולים לקבל נראות טובה יותר על טביעת הרגל של האחסון שלהם, להפחית צריכה מיותרת ולהבטיח כי נתונים קריטיים לתאימות מטופלים כראוי.

מאמר זה מתאר גישות מעשיות לניהול אחסון המסייעות ללקוחות להתאים את נוהלי שמירת הנתונים שלהם לצרכים העסקיים והרגולטוריים. זה משפר את ביצועי המערכת, מפחית תקורות תפעוליות ומבטיח עמידה בחובות התאימות ללא פשרות.

מדוע אנו מאחסנים נתונים

כדי לבחור ולמטב את דפוס שמירת הנתונים הנכון עבור הנתונים שלך, חשוב לחשוב על הסיבות והשימושים שלשמם אנו מאחסנים נתונים.

נתונים תפעוליים

באפליקציה עסקית, נתונים תפעוליים הם מה שמשמש למעקב אחר מכירות או פעולות פיננסיות או שרשרת אספקה.

יש לגשת לנתונים אלה בזמן אמת, כדי לתמוך בתהליכים תפעוליים פנימיים ולקוחות המתעדים פעולות מפורטות כגון אינטראקציות עם לקוחות, הזמנות או פעילויות מלאי.

עם הזמן, נתונים תפעוליים עשויים לעבור משימוש פעיל לשימוש נמוך יותר. ייתכן שיהיה צורך לגשת לנתונים כמעט בזמן אמת, כדי לסייע ללקוח בהזמנה או במקרה תמיכה. לדוגמה, שקול את התרחישים הבאים:

  • לקוח מבצע הזמנה, בעוד לקוח אחר, שלא יצר אינטראקציה עם העסק זמן מה, מבצע הזמנה.
  • כל הזמנה שבוצעה ונשלחת, נגישה באופן מתמיד. ישנן גם הזמנות הנמצאות בתקופת אחריות של שלוש שנים, שעשויות להידרש לקבלת תמיכה ואולי לדרוש החזר כספי.

זה עשוי להוביל לשלבים של צרכי גישה לנתונים תפעוליים כגון:

  • פחות משנה של נתונים שנגישו באופן פעיל.
  • פחות משלוש שנים של נתונים שנגישים לעתים רחוקות.
  • יותר משלוש שנים בהן הנתונים אינם נגישים עוד באופן מבצעי.

האופי של אחסון תפעולי בזמן אמת אכן הופך אותו ליקר יחסית בהשוואה לאמצעי אחסון אחרים, ולכן חשוב לזהות מתי יש לגשת לנתונים באופן תפעולי ומתי לא, לצורך הגדרת אסטרטגיות שמירה.

אינטגרציה תפעולית

כקטגוריה מיוחדת של שימוש תפעולי, ייתכן שיהיה צורך לשכפל נתונים בין מערכות תפעוליות מרובות, כולל דפוסים כגון:

  • בַּנקָאוּת ניהול קשרי לקוחות עבור אינטראקציות עם לקוחות בחזית ושכפול למערכות בנקאיות מרובות. לדוגמה, יש לכם חשבונות עובר ושב, כרטיסי אשראי, משכנתאות ומערכות לבדיקת אשראי.
  • ייצור ניהול קשרי לקוחות עבור קליטת הזמנות בחזית ומערכת ניהול משאבי ארגון לניהול שרשרת אספקה.
  • טיפול משטרתי בחירום ניהול קשרי לקוחות לאינטראקציות עם אזרחים ומערכות שיגור עבור מחלקות משטרה המציעות ניהול פריסה.

במקרים אלה, בעוד שלכל מערכת עשויות להיות נתונים ייחודיים שהיא עוקבת אחריהם, לעתים קרובות ישנם נתוני אב משותפים שיש לשתף בין המערכות ולשמור עליהם מסונכרנים, מה שמוביל לצורכי אינטגרציה.

נתוני ביקורת

לעסק יש בדרך כלל אחריות רגולטורית לשמור נתונים לתקופות ממושכות - למשל שבע שנים בממוצע - למטרות ביקורת, בין אם פנימיות ובין אם חיצוניות, כגון תמיכה בביקורת פיננסית, גילוי רגולטורי או בדיקת הונאות.

נתונים אלה בדרך כלל יכסו הן נתונים הדרושים למטרות תפעוליות והן נתונים שאינם נחוצים עוד, מכיוון שהם מאפשרים סקירה של מערך הנתונים ממקום אחד.

נתוני אנליטיקה

ארגונים צריכים לבחון ולנתח את מצב העסקים שלהם. עליהם למדוד ולהשוות נתונים סטטיסטיים לאורך זמן, ולפרוס על פני מספר חלקי עסק או את כל חלקיו.

התקופות הגדולות והיקף הנתונים שעל פניהן ניתוח זה יכול להתרחש מובילים לצורך לשכפל נתונים תפעוליים לכלי ניתוח מיוחדים. זה מונע מניתוחים מורכבים להשפיע על ביצועי מערכות תפעוליות, אך גם מאפשר ניתוח על פני מערכי נתונים החורגים מתקופה שבה הנתונים נדרשים מבחינה תפעולית. לדוגמה, ייתכן שתצטרכו להשוות נתונים על פני שבע שנים, במקום על פני שנה עד שנתיים. עם זאת, צורכי ניתוח שונים עשויים להזדקק לתקופות שמירת נתונים מלאות או לכלול רק את הנתונים השמורים במערכות תפעוליות.

נתוני אנליטיקה מאפשרים בדרך כלל צבירה של נתונים על פני מספר חלקים של העסק ומשלבים נתונים ממערכות מרובות.

זרימת נתונים

הנתונים מסוגים אלה בדרך כלל זורמים לאורך זמן מנתונים תפעוליים ולאחר מכן לנתונים עסקיים או היסטוריים, כפי שמוצג בתמונה הבאה.

זרימת הנתונים.

סוגים שונים של אחסון

Dataverse סוגי אחסון

Dataverse מארגן את האחסון לשלוש קטגוריות עיקריות, לכל אחת דפוסי שימוש והשלכות חיוב שונות.

סוג אחסון Description מקרי שימוש נפוצים
אחסון מסד נתונים מאחסן נתונים מובנים בטבלאות - סטנדרטיות ומותאמות אישית. רשומות עסקיות, מטא-נתונים, קשרים ותצורות
אחסון קבצים שומר קבצים מצורפים ונתונים בינאריים. קבצים מצורפים לדוא"ל, תמונות, מסמכים שהועלו דרך Power Apps
אחסון יומני רישום מאחסן יומני ביקורת ויומני מעקב אחר תוספים. מעקב אחר שינויים, ביקורת, אבחון ותאימות

סוגי אחסון בפלטפורמות פיננסים ותפעול

אחסון פיננסי ותפעולי מנוהל בנפרד, אך משולב יותר ויותר במערכת האקולוגית. Power Platform זה כולל את סוגי האחסון הבאים.

סוג אחסון Description מקרי שימוש נפוצים
אחסון מסד נתונים תפעולי נתוני עסקאות מרכזיים עבור כספים, שרשרת אספקה, משאבי אנוש ועוד פקודות יומן, מלאי, הזמנות לקוחות
אחסון ניהול מסמכים אובייקטים בינאריים גדולים (Blobs) המאוחסנים ב-Azure Blob Storage חשבוניות, קבלות, מסמכים סרוקים
יומני טלמטריה ואבחון יומני מערכת ונתוני טלמטריה ניטור ביצועים, אבחון בעיות.

תרחישי אחסון משותפים ומשולבים

  • אחסון בכתיבה כפולה

    • מאפשר סנכרון בזמן אמת בין אפליקציות Dataverse ואפליקציות פיננסים ותפעול.
    • דורש ניהול תפקידים וקיבולת זהיר כדי למנוע כפילויות או שימוש יתר.

  • שימור לטווח ארוך (LTR)

    • מעביר נתונים היסטוריים לאגם נתונים מנוהל (MDL).
    • מפחית את השימוש באחסון ראשוני תוך שמירה על תאימות וגישה לניתוח נתונים.
    • משתלב עם:
      • חיפוש מהיר (חיפוש מקורי)Dataverse
      • OneLake (אנליטיקה מבוססת מארג)
      • קישור סינפסה (ניתוח אגמים מותאם אישית)

כיצד הנתונים שלך גדלים עם הזמן

ככל שארגונים מגדילים את השימוש שלהם בפלטפורמת הכספים והתפעול של Dynamics 365, צמיחת הנתונים הופכת הן לסימן להצלחה והן לאתגר אסטרטגי. Dataverse מה שמתחיל כמערכת נתונים רזה וטרנזקציונלית יכול להתפתח במהירות למערכת נתונים מורכבת ורב-שכבתית. סעיף זה בוחן חמישה גורמים מרכזיים לצמיחת נתונים והשלכותיהם על אחסון, ביצועים וממשל.

שימוש במחסני נתונים על נתונים תפעוליים

כדי לשחרר תובנות ממערכות תפעוליות, ארגונים רבים משתמשים ב- Azure Synapse Link, OneLake או ייצוא נתונים כדי לשכפל נתונים מ- Dataverse אפליקציות פיננסים ותפעול למערכת אנליטית. אמנם זה תומך בעומסי עבודה מתקדמים של דיווח ובינה מלאכותית, אך הוא גם מציג:

  • אחסון יתיר בשכבות תפעוליות ואנליטיות

    נתונים משוכפלים לעיתים קרובות בין הסביבה התפעולית והאנליטית. יתירות זו מגדילה את צריכת האחסון הכוללת ועשויה להוביל לעלויות גבוהות יותר, במיוחד אם נתונים היסטוריים נשמרים ללא הגבלת זמן בשתי המערכות.

  • שכפול סכמות ותקורה של ניהול גרסאות

    כדי לשמור על עקביות בין מערכות, ארגונים חייבים לשכפל שינויים בסכימה - לדוגמה, שדות חדשים ושמות של עמודות - הן בשכבות התפעוליות והן בשכבות האנליטיות. זה מוסיף מורכבות לניהול נתונים ומגביר את הסיכון לסחיפת סכמה, מה שעלול לשבש דוחות או מודלים במורד הזרם.

  • שמירה מוגברת של נתונים היסטוריים לצורך ניתוח מגמות

    מערכות אנליטיות בדרך כלל שומרות נתונים לתקופות ארוכות יותר כדי לתמוך בניתוח מגמות, חיזוי ודיווח רגולטורי. למרות ערך רב, שמירה ארוכת טווח זו עלולה להוביל למערכי נתונים נפוחים אם לא מנוהלת באמצעות אסטרטגיות ארכיון וחלוקה לרמות נכונות.

אחסון נתונים חיוני לניתוח נתונים, אך ללא מדיניות מחזור חיים, הוא יכול להכפיל או לשלש את שטח האחסון שלכם.

שימוש בחיפוש על הנתונים

תכונות כמו חיפוש, אינדוקס Copilot וחיפוש רלוונטיות דורשות אינדוקס של כמויות גדולות של נתונים מובנים ולא מובנים. Dataverse אינדקסים אלה לרוב:

  • צריכת אחסון יומנים ומסד נתונים

    אינדקסי חיפוש מאוחסנים הן באחסון יומן והן באחסון מסד נתונים. ככל שיותר טבלאות ושדות מסומנים כניתנים לחיפוש, גודל האינדקס גדל באופן יחסי. דבר זה יכול להשפיע באופן משמעותי על ניצול האחסון הכולל, במיוחד בסביבות עם כמויות גדולות של רשומות או שינויים תכופים בסכימה.

  • הישאר גם עבור טבלאות שאינן בשימוש או שהוצאו משימוש

    אפילו כאשר טבלאות מסוימות הוצאו משימוש או אינן בשימוש פעיל עוד, אינדקסי החיפוש המשויכים אליהן עשויים להישאר בשימוש אלא אם כן יוסרו במפורש. זה מוביל לצריכת אחסון מיותרת ויכול לסבך את תכנון הקיבולת.

  • משוכפלים לעתים קרובות בסביבות שונות, כגון סביבות פיתוח, בדיקה וייצור

    אינדקסי חיפוש משוכפלים בדרך כלל בסביבות פיתוח, בדיקה וייצור. אמנם זה מבטיח התנהגות חיפוש עקבית, אך זה גם מכפיל את שטח האחסון, במיוחד כאשר סביבות משוכפלות או מרעננות לעתים קרובות.

חיפוש משפר את השימושיות ואת המוכנות לבינה מלאכותית, אך התנפחות אינדקסים תורמת באופן שקט לעודפי אחסון.

הפעלת רישום נתונים

יומני ביקורת, יומני מעקב של תוספים וטלמטריה הם קריטיים לתאימות, ניפוי שגיאות וניטור. עם זאת, שימו לב לנקודות הבאות:

  • אחסון יומני רישום גדל באופן ליניארי עם השימוש ומספר המשתמשים.

    נתוני יומן גדלים באופן פרופורציונלי עם:

    • מספר המשתמשים ורמות הפעילות שלהם
    • נפח העסקאות והאינטגרציות
    • מורכבות הלוגיקה העסקית כגון תוספים וזרימות עבודה

    בסביבות בעלות שימוש גבוה, דבר זה יכול להוביל להתרחבות מהירה של טבלאות יומן, תוך צריכת מכסות אחסון של מסד הנתונים והיומנים כאחד.

  • ברירות מחדל של שמירת נתונים לעתים קרובות נדיבים מדי, כמו 90 יום או יותר.

    כברירת מחדל, תכונות רישום רבות שומרות נתונים לתקופות ממושכות, כגון 90 יום או יותר. אמנם הדבר תומך במעקב לטווח ארוך, אך הדבר עלול לגרום לצריכת אחסון מיותרת, במיוחד כאשר יומני רישום אינם נבדקים או מיוצאים באופן פעיל.

  • יומני רישום שנוצרו על ידי המערכת מחויבים ללקוח ב Dataverse.

    ב Dataverse, יומני רישום שנוצרו על ידי המערכת, כולל יומני ביקורת ויומני מעקב של תוספים, נספרים כנגד זכאות האחסון של הלקוח. משמעות הדבר היא שללא אסטרטגיות ניקוי או ייצוא נאותות, רישום נתונים יכול לתרום ישירות לעודפי אחסון ולעלויות רישוי מוגברות.

רישום נתונים אינו נתון למשא ומתן עבור תעשיות מפוקחות, אך יש לשלב אותו עם אסטרטגיות שמירה וייצוא, כגון Azure Monitor או Log Analytics.

יצירת עותקים מרובים של סביבת הייצור

כדי לתמוך בפיתוח, בדיקות, הדרכה ופתרון בעיות, לקוחות יוצרים לעתים קרובות סביבות sandbox או משוכפלות. כל עותק:

  • משכפל את הנתונים המלאים ואת טביעת הרגל של האינדקס.
  • עשוי לכלול תלויות לא ברורות כמו אינדקסי חיפוש, יומני ביקורת ומטא-דאטה.
  • מנוקה לעיתים רחוקות לאחר השימוש.

התפשטות סביבתית היא גורם מרכזי בעלויות ומורכבות האחסון. מדיניות ממשל ואוטומציה הן המפתח לבלימה.

אופטימיזציה של שאילתות על הנתונים

ככל שנפחי הנתונים גדלים ותגובתיות היישומים הופכת קריטית, לקוחות וספקי שירותי תוכנה מיישמים לעתים קרובות טכניקות שונות לאופטימיזציה של שאילתות כדי לשפר את הביצועים. Dataverse ודינמיקה 365. אסטרטגיות אלו נפוצות במיוחד בתרחישים עתירי דיווח, ניתוח ואינטגרציה.

כדי לשפר את הביצועים, לקוחות וספקי שירותי תוכנה עצמאיים יוצרים לעתים קרובות:

  • אינדקסים מותאמים אישית ותצוגות ממומשות

    אלה משמשים להאצת ביצוע שאילתות על ידי חישוב מקדים של צירופים או צבירה. הם מועילים בתרחישים הכוללים מסננים מורכבים או מערכי נתונים גדולים.

  • טבלאות שעברו דנורמליזציה לצורך דיווח

    כדי לפשט את הדיווח ולהפחית את מורכבות השאילתות, מפתחים יוצרים לעתים קרובות גרסאות שטוחות של נתונים רלציוניים. טבלאות אלו מפחיתות את הצורך בצירופים בזמן ריצה ומשפרות את ביצועי לוח המחוונים.

  • שכבות או אגרגטים במטמון

    נתונים הנגישים לעתים קרובות מאוחסנים מראש או מאוחסנים במטמון בטבלאות ביניים או במאגרי מידע חיצוניים כדי להפחית את העומס על מסד הנתונים הראשי.

בעוד שאלו משפרים את התגובה, הם גם:

  • הגדלת ניצול האחסון

    כל שכבת אופטימיזציה מציגה מבני נתונים נוספים, בין אם מדובר בעותק של נתונים קיימים בפורמט לא-נורמל, תצוגה מחושבת מראש או טבלת מטמון. מבנים אלה לעיתים קרובות משכפלים נתונים שכבר מאוחסנים במקום אחר, מה שמוביל לשטח אחסון כולל גדול יותר. בסביבות עם מכסות אחסון מחמירות או מודלים של רישוי מבוססי עלות, כמו Dataverse, זה יכול להסלים במהירות לכדי עודף שניתן להימנע ממנו.

  • יכול להפוך ליתום ככל שהאפליקציות מתפתחות

    ככל שיישומים מתפתחים, ייתכן שחלק מארטיפקטים של אופטימיזציה לא יהיו עוד בהתייחסות על ידי דוחות פעילים, לוחות מחוונים או אינטגרציות. אובייקטים יתומים אלה ממשיכים לצרוך אחסון ואף עלולים להאט את פעולות המערכת, למשל, במהלך גיבויים או אינדוקס, אם לא יזוהו ויוסרו. ללא ביקורות סדירות, הן עלולות להצטבר מבלי שיבחינו בהן, ולחתור תחת שיפורי הביצועים שלשמם נוצרו.

אופטימיזציה של שאילתות חיונית להגדלה, אך יש לאזן אותה עם היגיינת אחסון וכוונון מונחה טלמטריה.

אינדקסים והשפעתם על אחסון

אינדקסים חיוניים לשיפור ביצועי שאילתות ולשימוש באחזור נתונים מהיר במערכי נתונים גדולים. הן באפליקציות **מימון ותפעול** והן באפליקציות **Dynamics 365**, אינדקסים נוצרים אוטומטית עבור מפתחות ראשיים ושדות הנשאלים לעתים קרובות, וניתן להגדיר אינדקסים מותאמים אישית אחרים כדי לתמוך בתרחישים עסקיים ספציפיים. Dataverse

בעוד שאינדקסים הם קריטיים לביצועים, יש להם גם השפעה ישירה על צריכת האחסון, שלעתים קרובות אינה מוערכת כראוי במהלך תכנון הפתרון.

כיצד אינדקסים צורכים אחסון

  • שכפול פיזי של נתונים: כל אינדקס מאחסן עותק של העמודות המאונדקסות, יחד עם מצביעים לשורות המתאימות. ככל שיותר עמודות ושורות מאונדקסות, כך גודל האינדקס גדול יותר.

  • צמיחה עם נפח הנתונים: ככל שהטבלה הבסיסית גדלה, כך גם המדד. בסביבות עם כמות עסקאות גבוהה, אינדקסים יכולים לגדול במהירות, במיוחד בטבלאות גדולות שעברו דה-נורמליזציה או כאלה עם הוספות ועדכונים תכופים.

  • מספר אינדקסים לכל טבלה: נפוץ שטבלה אחת מכילה מספר אינדקסים, לדוגמה לחיפוש, סינון, מיון וצירופים. כל אינדקס נוסף מגדיל את סך שטח האחסון הנדרש.

  • אינדקסים לחיפוש ב Dataverse: תכונות כמו Dataverse חיפוש ואינדוקס Copilot יוצרות אינדקסים ייעודיים המשתרעים על פני שדות וטבלאות מרובים. אלה מאוחסנים בטבלת DataverseSearch ויכולים לצרוך מקום רב, במיוחד כאשר משתמשים בהם בסביבות מרובות כגון סביבות פיתוח, בדיקה וייצור.

  • אינדקסים שנוצרו על ידי המערכת: חלק מהאינדקסים נוצרים באופן אוטומטי על ידי הפלטפורמה, כגון עבור שדות חיפוש או קשרי גומלין. אלה עשויים להימשך גם אם הטבלאות המשויכות הוצאו משימוש, אלא אם כן יוסרו במפורש.

השלכות אחסון

  • אחסון מוגבר של מסדי נתונים ויומנים: אינדקסים תורמים הן לשימוש באחסון מסדי נתונים והן ביומנים, דבר שיכול להשפיע על עלויות הרישוי ב Dataverse.
  • שכפול סביבה: כאשר סביבות מועתקות או מרעננות, כל האינדקסים משוכפלים, מה שמגביר את ניצול האחסון בסביבות פיתוח, בדיקה וייצור.
  • תקורת תחזוקה: יש לעדכן את האינדקסים ככל שהנתונים משתנים, דבר שעלול להגביר את זמן השהיית הכתיבה ואת צריכת המשאבים.

השפעת סנכרון בצד השרת על אחסון

סנכרון בצד השרת ב Dataverse מאפשר שילוב חלק של הודעות דוא"ל, פגישות ומשימות בין Microsoft Exchange לבין Dataverse. אמנם זה משפר את הפרודוקטיביות והאוטומציה, אבל זה גם תורם לצריכת האחסון בדרכים הבאות.

  • יצירת רשומת פעילות: כל הודעת דוא"ל או פגישה מסונכרנת מייצרת רשומת פעילות ב Dataverse, הכוללת מטא-נתונים, תוכן גוף ההודעה וייתכן גם קבצים מצורפים.
  • אחסון קבצים מצורפים: אם קבצים מצורפים אינם מסוננים או מועברים, הם מאוחסנים ישירות ב Dataverse, מה שמגדיל את ניצול האחסון.
  • תאימות ושמירה: ארגונים המשתמשים בסנכרון בצד השרת לצורך מעקב אחר תאימות עשויים לשמור יותר נתונים מהנדרש, מה שמגדיל עוד יותר את נפח האחסון.
  • תוכן מוגן: אפילו אימיילים המוגנים על ידי Purview, למרות נראות התוכן שלהם מוגבלת, עדיין מייצרים רשומות placeholder שצורכות מקום.

כדי לנהל השפעה זו, על ארגונים ליישם מדיניות שמירה, לשקול הסרת קבצים מצורפים ולנטר באופן קבוע את נפחי רשומות הפעילות.

איך אני יכול לנהל את נפח האחסון ההולך וגדל?

בין אם אתם כבר מתמודדים עם עודפי אחסון או שואפים להישאר צעד אחד קדימה, ניהול צמיחת נתונים בפלטפורמת הכספים והתפעול של Dynamics 365 דורש גישה מכוונת ומונעת מדיניות. Dataverse סעיף זה מתאר שתי נקודות כניסה אסטרטגיות: תיקון תגובתי וממשל פרואקטיבי.

ישנם שני תרחישים אפשריים:

  1. אתם רוצים ליישם באופן יזום שיטות עבודה מומלצות לניהול אחסון ולהימנע מעלויות גבוהות בעתיד.
  2. אתה כבר נמצא במצב שבו צמצום גודל האחסון והעלות הוא הכרחי.

יישום שיטות עבודה מומלצות לניהול גודל האחסון והעלויות

תרחיש 1: ברצונך ליישם באופן יזום שיטות עבודה מומלצות לניהול אחסון

אם אתם עדיין לא במצב משבר, עכשיו זה הזמן ליישם כלים וטכניקות לניהול יזום של האחסון.

הגדר ניתוח נתונים עבור הנתונים שלך

ככל שארגונים גדלים, כך גובר הצורך להפיק תובנות מנתונים תפעוליים, מבלי לפגוע בביצועי יישומי הליבה העסקיים. מיקרוסופט מציעה דרכים מרובות לאפשר ניתוח נתונים על Dataverse נתוני פיננסים ותפעול של Dynamics 365 על ידי שילוב עם אגם הנתונים או מחסן הנתונים שלך.

הנה שתי אפשרויות עוצמתיות שכדאי לשקול:

אפשרות 1. השתמש ב Azure Synapse קישור – הבא את האגם שלך

Azure Synapse קישור מאפשר לך להתחבר ישירות לסביבת העבודה שלך ב-Azure Data Lake או Synapse. Dataverse זה מאפשר שכפול כמעט בזמן אמת של נתונים תפעוליים לסביבה אנליטית, מבלי לכתוב צינורות ETL מורכבים.

יתרונות:

  • הפעל מודלים מתקדמים של ניתוחים ובינה מלאכותית על נתונים בזמן אמת או כמעט בזמן אמת.
  • הימנעו מפגיעה בביצועים של מערכות הייצור שלכם.
  • השתמש בכלים מוכרים כמו T-SQL, Spark, או Power BI לדיווח.

דוגמה למקרה שימוש: חברת קמעונאית משתמשת ב-Synapse Link כדי לנתח את התנהגות הרכישה של לקוחות באזורים שונים, תוך שילוב Dataverse נתוני ניהול קשרי לקוחות עם נתוני שוק חיצוניים באזור שלה.

אפשרות 2. השתמשו ב-OneLake – ניתוחים מאוחדים עם Microsoft Fabric

OneLake, חלק מ Microsoft Fabric, מספק חוויית Data Lake מאוחדת שבה ניתן לאחסן ולנתח נתונים ממקורות מרובים, כולל Dataverse אפליקציות פיננסים ותפעול, ללא כפילויות.

יתרונות:

  • אחסון מרכזי לכל עומסי העבודה האנליטיים.
  • אינטגרציה מקורית עם Power BI, Synapse ושירותי בינה מלאכותית.
  • ניהול ואבטחה פשוטים יותר בתחומי נתונים.

דוגמה למקרה שימוש: חברת שירותים פיננסיים משתמשת ב-OneLake כדי לאחד נתונים תפעוליים מאפליקציות פיננסים ותפעול Dataverse ועם אינדיקטורים כלכליים חיצוניים, מה שמאפשר מידול סיכונים בזמן אמת ולוחות מחוונים לניהול. על ידי כך, תוכלו לנתק את הנתונים התפעוליים ממערכות הליבה שלכם ולאפשר ניתוחים ניתנים להרחבה וחסכוניים על ידי ייצוא נתונים אלה לסביבות אנליטיות משלהן, מבלי לשכפל עומסי עבודה או לפגוע בביצועים.

כלים וטכניקות להפחתת האחסון

Dataverse מציע מספר כלים ואסטרטגיות מובנות שיסייעו למנהלי מערכת לנהל אחסון ביעילות ולשמור על ביצועי המערכת.

Dataverse

ניהול נתונים באמצעות מדיניות פיקוח

  • התחל עם הסביבות והטבלאות הצורכים את שטח האחסון הרב ביותר.
  • השתמש במדיניות פיקוח חוזרת לצמיחת נתונים צפויה במקום להשתמש בניקוי חד-פעמי בלבד.
  • בדוק קריטריוני מחיקה ושמירה בסביבת ארגז חול (Sandbox) לפני השימוש בהם בייצור.
  • סקור את תוצאות המדיניות ואת הכשלים באופן קבוע.
  • הוסף קיבולת אחסון כאשר לא ניתן למחוק או להעביר נתונים נדרשים לשמירה לטווח ארוך.

ניקוי סביבה ונתונים

  • מחיקת סביבות שאינן בשימוש: ניתן למחוק סביבה כדי לפנות מקום אחסון ולהסיר מידע אישי מזהה (PII).
  • משימות מחיקה בכמות גדולה: ניתן למחוק את הנתונים הבאים בכמות גדולה:
    • נתונים ישנים או נתונים שאינם רלוונטיים לעסק.
    • נתונים לדוגמה או נתוני בדיקה שאינם נחוצים.
    • נתונים המיובאים ממערכות אחרות באופן שגוי.

אופטימיזציה של קבצים וטבלאות

שמירה לטווח ארוך (LTR) וארכיון

אופטימיזציה של אינדקס החיפוש

  • צמצום Dataverse חיפוש: ניתן לצמצם את גודל האחסון על ידי ביצוע כל השלבים ב Dataverse פרטי אחסון מבוססי קיבולת.
  • הקטנת גודל טבלת DataverseSearch: טבלת DataverseSearch היא האחסון המצטבר המשמש את אינדקס Dataverse החיפוש. היא כוללת את הנתונים מכל השדות הניתנים לחיפוש, לאחזור ולסינון של הטבלאות שהוספת לאינדקס עבור הסביבה שלך. ניתן להקטין את גודל הטבלה על ידי הסרת עמודות חיפוש, עמודות תצוגה ותנאי סינון עבור טבלה אחת או יותר. באפשרותך לבטל חיפוש Dataverse כדי להסיר את כל הנתונים המסודרים באינדקס.
יישומי פיננסים ותפעול

אפליקציות פיננסים ותפעול מספקות אפשרויות גמישות לניהול אחסון בסביבות ייצור וסביבות ארגז חול.

ניהול סביבתי

  • הגבל את מספר עותקי הייצור המלאים: ניתן להפחית את צריכת האחסון הכוללת של אפליקציות פיננסים ותפעול על ידי הסרת עותקי ייצור מלאים בסביבות ארגז חול. לדוגמה, אם יש לך חמישה עותקים של סביבות ייצור בארגז חול, צריכת האחסון שלך היא סכום הייצור ועוד חמישה עותקים של סביבות ייצור בארגז חול.
  • חיתוך נתונים בסביבות ארגז חול: על ידי חיתוך הנתונים בסביבת ארגז חול, ניתן להפחית את טביעת הרגל הכוללת של אחסון. באפשרותך לבצע את השיטות הבאות כדי לנקות את הנתונים בארגז החול.
    • תהליך השחזור כולל ביצוע של פתיחה וקיצוץ
    • כתיבת T-SQL
    • כתוב X++
  • ביצוע העתקה ללא טרנזקציות בין סביבות: העתקת סביבה עבור אפליקציות פיננסים ותפעול כללה באופן מסורתי שכפול מלא של מסדי נתונים, כולל תצורה, נתוני אב וטרנזקציות, אשר, בעוד שימושי לאיתור שגיאות, מגדיל משמעותית את צריכת האחסון הן בסביבות פיננסים ותפעול Dataverse.

ניקוי מותאם אישית וניהול יומני רישום

  • כתוב שגרות ניקוי מותאמות אישית לפי הצורך: באפשרותך לכתוב שגרות ניקוי מותאמות אישית לפי הצורך של העסק שלך כדי לנקות את הנתונים הלא רצויים.
  • הימנעו מאחסון יומני רישום: ניתן להעביר SysDatabaseLog למסד נתונים בעל פחות טרנזקציות כדי להפחית את טביעת הרגל הכוללת של האחסון.

ארכיון ושמירה לטווח ארוך

שגרות ניקוי מובנות

  • שגרות ניקוי: ב-Dynamics 365 Finance ו- Dynamics 365 Supply Chain Management, שגרות ניקוי זמינות במודולים שונים. שגרות ניקוי מספקות סקירה כללית של השגרות הזמינות כעת. לאחר העתקת מסד הנתונים של ארגז החול, הפעל את שגרות הניקוי הללו באופן יזום כדי להסיר טבלאות מיותרות, כגון היסטוריית אצווה, יומני רישום והיסטוריית עסקאות קמעונאיות. מחיקת נתונים מיושנים או לא רלוונטיים.
  • אחסון נתוני עסקאות בכרטיס אשראי: מתאר משימת אחסון ב Dynamics 365 Commerce שיכולה לסייע בפינוי מקום במסד הנתונים על ידי אחסון אסימוני תשלום בכרטיס אשראי.

צמצום גודל האחסון והעלויות

תרחיש 2: אתם כבר במצב שבו צמצום גודל האחסון והעלות הוא הכרחי

בדוק מה תופס מקום באחסון

  • השתמשו במרכז הניהול ובדוחות אחסון של פיננסים ותפעול כדי לזהות טבלאות, סוגי קבצים ויומני רישום הצורכים ביותר. Power Platform
  • השתמש בטלמטריה, אם זמינה, כדי לייחס שימוש לאפליקציות, משתמשים או יחידות עסקיות ספציפיות.

מתן עדיפות למועמדים לניקיון

  • התמקדו ב:
    • טבלאות ביניים ואינטגרציה, כגון מאגרים זמניים של כתיבה כפולה
    • יומני ביקורת: שמרו אותם באחסון שלכם
    • סביבות או ארגזי חול שאינם בשימוש
    • מטא-נתונים ותיבות חיפוש יתומות
    • מחיקת מה שאינך צריך, לדוגמה מחיקה בכמות גדולה

השתמש ב-Synapse Link וב-OneLake לדיווח אנליטי

  • ייצוא הנתונים האנליטיים ל-Synapse Link.
  • השתמשו ב-OneLake כדי לגשת לנתונים השמורים ולנתוני העסק למטרות דיווח וניתוח.

החלת שמירה לטווח ארוך (LTR)

  • העברת נתונים היסטוריים לאגם נתונים מנוהל (MDL) באמצעות מדיניות LTR.
  • שמור על גישה לחיפוש וניתוח נתונים באמצעות חיפוש מהיר, קישור סינפסה או OneLake.

מקרי שימוש

מקרי שימוש לניהול אחסון בסביבות Dataverse פיננסים ותפעול הם קריטיים לאופטימיזציה של שטח מסד נתונים, שיפור ביצועי המערכת ועמידה בדרישות רגולטוריות. להלן מספר תרחישים אופייניים המדגימים כיצד ניתן ליישם אסטרטגיות אלו:

  • ניהול גידול נתונים היסטוריים

    • תרחיש: עסק פועל ב-Dynamics 365 כבר מספר שנים וצבר כמויות גדולות של עסקאות היסטוריות וקבצים מצורפים.
    • פעולה: יישום אסטרטגיות שמירה ארוכות טווח לשמירת נתונים לא פעילים, צמצום גודל מסד הנתונים הראשי ושמירה על עמידה בדרישות הביקורת.

  • שמירת נתונים מונחית תאימות

    • תרחיש: לקוח בתעשייה מוסדרת חייב לשמור נתונים פיננסיים או נתונים של לקוחות במשך שבע עד עשר שנים בפורמט חסין מפני פגיעה.
    • פעולה: השתמשו ב-LTR כדי לשמור על נתונים בלתי ניתנים לשינוי, לקריאה בלבד, בהתאם לדרישות החוק והרגולטוריות, תוך שמירה על נתוני עסק רזים מבלי להתפשר על הניתוח והדיווח.

  • אופטימיזציה של חיפוש ואינדקס Copilot

    • תרחיש: Dataverse חיפוש ואינדוקס Copilot מופעלים בכל הסביבות, כולל טבלאות שאינן בשימוש.
    • פעולה: ביקורת על שדות הניתנים לחיפוש והשבתת אינדוקס עבור טבלאות בעלות ערך נמוך או טבלאות שהוצאו משימוש. ניטור גודל טבלת DataverseSearch וייעל את התצורות כדי להפחית את אחסון היומנים ומסד הנתונים.

  • ניהול ביקורת וטלמטריה

    • תרחיש: יומני מעקב של תוספים ויומני ביקורת גדלים במהירות, צורכים אחסון ומשפיעים על הביצועים.
    • פעולה: ייצוא יומני רישום למערכות חיצוניות, כמו Azure Monitor, וניקוי אוטומטי של ערכים ישנים כדי לשמור על נראות מבלי להציף את האחסון.

  • שילוב אחסון נתונים ואנליטיקה

    • תרחיש: הארגון משכפל נתונים תפעוליים אל Azure Synapse או OneLake לצורך ניתוח נתונים, מה שמוביל לאחסון כפול.
    • פעולה: השתמש בייצוא מצטבר, החל מסננים והימנע משכפול מלא של מערך נתונים כדי למזער יתירות תוך מתן תובנות עשירות.

  • צמצום עודפי אחסון

    • תרחיש: לקוח מקבל הודעה על חריגה ממכסת Dataverse האחסון שלו, מה שמוביל לעלויות בלתי צפויות.
    • פעולה: השתמש בדוחות קיבולת כדי לזהות טבלאות הצורכות ביותר, לנקות סביבות מיושנות ולהסיר קבצים מצורפים או יומני רישום שאינם בשימוש. שקלו להעביר נתונים קרים - בדרך כלל רשומות היסטוריות או רשומות שניגשות אליה לעתים רחוקות - לשכבות אחסון בעלות נמוכה יותר.

  • אופטימיזציה של ביצועים בטבלאות גדולות

    • תרחיש: תהליכים עסקיים קריטיים מאטים עקב טבלאות גדולות.
    • פעולה: אחסון רשומות ישנות, ניקוי משימות מערכת, לדוגמה AsyncOperationBase ו-WorkflowLogBase.

  • ניהול מחזור חיים של הסביבה

    • תרחיש: סביבות פיתוח ובדיקה משוכפלות מסביבת הייצור, ומשכפלות את כל הנתונים והאינדקסים.
    • פעולה: חיתוך סביבות ארגז חול לאחר רענון, השבתת אינדוקס חיפוש מיותר והסרה של נתוני בדיקה כדי להפחית את צריכת האחסון העודפת. מחק סביבות ארגז חול שאינן בשימוש כדי לחסוך באחסון.

מקרי בוחן

מקרה בוחן 1: צמצום עודפי אחסון באמצעות ניקוי אינדקסים

פרופיל לקוח: חברת ייצור גלובלית המשתמשת באפליקציות Dynamics 365 לשרשרת אספקה ופיננסים ותפעול.

אתגר: הלקוח חווה עומס יתר בלתי צפוי באחסון וירידה בביצועים בסביבת הייצור שלו. חקירה גילתה כי מספר אינדקסים מותאמים אישית ותצוגות ממומשות, שנוצרו במהלך היישום המוקדם, אינם בשימוש עוד אך עדיין צורכים אחסון משמעותי.

פתרון: הצוות ביצע ביקורת רבעונית של כל האינדקסים המותאמים אישית והסיר את אלו שלא הופנו אליהם על ידי שאילתות או דוחות פעילים. הם גם יישמו מדיניות ממשל לסקירת בקשות אינדקס חדשות לפני הפריסה.

תוֹצָאָה:

  • אחסון מסד הנתונים מופחת ב-28%.
  • שיפור ביצועי השאילתה ב-15%.
  • נמנעו סכום צפוי של $12,000 לשנה בעלויות אחסון אחרות.

מקרה בוחן 2: אחסון נתונים היסטוריים כדי לעמוד ביעדי תאימות וביצועים

פרופיל לקוח: חברת שירותים פיננסיים המשתמשת Dataverse וב-Dynamics 365 לצורך קליטת לקוחות וניהול מקרים.

אתגר: החברה הייתה צריכה לשמור רישומי לקוחות במשך יותר משבע שנים כדי לעמוד בדרישות הרגולציה, אך הכמות הגדלה של נתונים לא פעילים האטה זרימות עבודה פעילות והגדילה את עלויות האחסון.

פתרון: הלקוח יישם אסטרטגיית שמירה לטווח ארוך באמצעות יכולות הארכיון של Dataverse. רשומות לא פעילות הועברו לשכבת אחסון לקריאה בלבד, המותאמת לעלות, בעוד שנתונים פעילים נשארו באחסון בעל ביצועים גבוהים.

תוצאה:

  • אוחסנו למעלה מ-1.2 מיליון רשומות.
  • גודל מסד הנתונים הראשי הופחת ב-40%.
  • שמירה על ביקורת מלאה ועמידה במדיניות השמירה.

מקרה בוחן 3: ייעול אינדקסי חיפוש בסביבות שונות

פרופיל לקוח: ארגון קמעונאי עם סביבות Dataverse מרובות, כולל סביבות פיתוח, בדיקה וייצור, התומכות בפתרון ניהול קשרי לקוחות מבוסס Copilot.

אתגר: נעשה שימוש באינדקסי חיפוש בכל הסביבות, כולל טבלאות ונתוני בדיקה שאינם בשימוש. זה הוביל לטבלאות DataverseSearch מנופחות ולצריכת אחסון מיותרת.

פתרון: הצוות סקר שדות הניתנים לחיפוש והפסיק להשתמש באינדוקס בטבלאות לא קריטיות בסביבות פיתוח ובדיקה. הם גם ביצעו ניקוי אוטומטי של אינדקסים במהלך רענון הסביבה.

תוצאה:

  • אחסון אינדקס החיפוש מופחת ב-35%.
  • זמני רענון סביבתיים משופרים ב-20%.
  • הפחתת נפח האחסון הכולל של יומנים ומסדי נתונים.

מקרה בוחן 4: שימוש בייצוא נתונים לניתוח נתונים ללא כפילויות אחסון

פרופיל לקוח: ספק שירותי בריאות המשתמש ב-Dynamics 365 ו Dataverse לצורך מעורבות עם מטופלים וחיוב.

אתגר: צוות האנליטיקה נזקק לגישה לנתונים תפעוליים לצורך ניתוח מגמות ומידול בינה מלאכותית, אך שכפול נתונים למחסן נפרד הגדיל את עלויות האחסון והמורכבות.

פתרון: הלקוח השתמש ב Azure Synapse קישור עם ייצוא מצטבר ואחסון מדורג ב-OneLake. הם שמרו רק נתונים אנליטיים חיוניים ויישמו מדיניות שמירה כדי לנהל את העומק ההיסטורי.

תוצאה:

  • מאפשר ניתוח נתונים בזמן אמת מבלי להשפיע על מערכות התפעול.
  • אחסון מיותר מופחת ב-45%.
  • שליטה משופרת במחזור החיים של נתונים אנליטיים.

מסקנה

ניהול אחסון יעיל הוא קריטי לשמירה על ביצועי המערכת ולמיטוב ניצול המשאבים בסביבות Dynamics 365. שגרות הניקוי ומשימות הארכיון המפורטות במאמר זה מספקות פתרונות חזקים לפינוי שטח יקר במסד הנתונים וייעול הפעילות. באמצעות כלים כמו LTR וטכניקות דומות, לקוחות יכולים להתמודד עם אתגרי אחסון נפוצים וליצור שיטות ניהול נתונים בנות-קיימא. יתר על כן, מחקרי מקרה מהעולם האמיתי מדגימים את יעילותן של גישות אלו, ומציעים תובנות לגבי יישומן המעשי. אימוץ אסטרטגיות אלו מאפשר לארגונים לנהל באופן יזום את צרכי האחסון שלהם ולשפר את היעילות הכוללת.

הפניות

ניקוי אחסון ב Dataverse:

ניקוי אחסון במחלקת הכספים והתפעול:

קיבולת אחסון:

  • Last updated on