Керування сховищем у Dataverse програмах для фінансів та операцій

У міру того, як організації прискорюють свій шлях до цифрової трансформації, здатність ефективно керувати даними стає стратегічним імперативом бізнесу. З появою додатків на основі штучного інтелекту та робочих процесів, керованих Copilot, підприємства генерують і споживають дані з безпрецедентною швидкістю. Ці дані сприяють інноваціям, забезпечують персоналізований досвід і допомагають приймати важливі рішення, але лише за умови розумного керування та зберігання даних.

Щоб задовольнити ці мінливі потреби бізнесу, організації повинні прийняти проактивну стратегію управління сховищами. Це гарантує, що дані, які більше не потрібні для повсякденних операцій, обробляються відповідально, вивільняючи ємність для великих робочих навантажень, зменшуючи операційні непорозуміння та відповідаючи вимогам відповідності та аудиту.

З технічної точки зору, ефективне керування сховищем у Dataverse Dynamics 365 підвищує продуктивність системи, підвищує економічну ефективність і забезпечує дотримання політики довгострокового зберігання (LTR). Обидві платформи пропонують інструменти та можливості автоматизації, які дають організаціям змогу керувати сховищем.

Впроваджуючи стратегії, описані в цій статті, підприємства можуть зменшити накладні витрати на підтримку, оптимізувати дотримання вимог і отримати більшу цінність від своїх бізнес-додатків, перетворюючи сховище з обмеження на конкурентну перевагу.

Ключові переваги

Ефективне керування сховищем у Dataverse Dynamics 365 і Dynamics 365 надає кілька ключових переваг, які вирішують поширені проблеми клієнтів і підвищують загальну операційну ефективність.

  • Підвищена відповідність вимогам LTR: ефективне керування сховищем гарантує, що дані зберігаються відповідно до політик LTR. Це не тільки допомагає дотримуватися нормативних вимог, але й гарантує, що критично важливі дані зберігаються та доступні в разі потреби.

  • Покращена продуктивність: Оптимізуючи керування сховищем, організації можуть значно підвищити продуктивність своїх систем. Ефективне розподіл і керування сховищем зменшують затримку та покращують швидкість отримання даних, що призводить до більш плавної та швидкої роботи.

  • Підвищення економічної ефективності: ефективне керування сховищем дає змогу організаціям зосередитися на високоцінних даних, оптимізуючи та наводячи лад у ландшафті сховища. Зберігаючи лише необхідне, компанії можуть оптимізувати свій обсяг зберігання, що призведе до розумнішого використання ресурсів і економічно ефективної масштабованості.

Фон

У міру того, як організації розвиваються та оцифровують все більше своїх операцій, обсяг бізнес-даних, що зберігаються в таких системах, як Dataverse Dynamics 365, неухильно зростає. Сюди входять не лише активні дані про транзакції, але й історичні записи, які необхідно зберігати для аудиту, регулювання або забезпечення безперервності бізнесу. З часом це накопичення може призвести до зниження продуктивності, збільшення операційних накладних витрат і зростання витрат на зберігання, особливо коли дані, які більше не використовуються активно, залишаються на високопродуктивних рівнях зберігання.

Чітко визначена стратегія керування сховищем допомагає організаціям вирішувати ці проблеми, виявляючи дані, які можна архівувати, очистити або перемістити в недороге сховище, оптимізоване для читання. Це важливо для сценаріїв відповідності, коли дані мають залишатися незмінними, малодоступними та доступними лише для читання, як-от фінансові записи, журнали аудиту або нормативні документи. Забезпечення того, щоб такі дані зберігалися відповідно до вимог і не впливали на продуктивність реальних систем, є ключовою вимогою для багатьох підприємств.

Використовуючи інструменти та стратегії, доступні на обох платформах, організації можуть отримати кращу видимість свого обсягу сховища, зменшити непотрібне споживання та забезпечити належну обробку критично важливих даних.

У цій статті описано практичні підходи до керування сховищем, які допомагають клієнтам узгодити свої методи зберігання даних із потребами бізнесу та регулювання. Це підвищує продуктивність системи, зменшує операційні витрати та гарантує виконання зобов’язань щодо відповідності без компромісів.

Чому ми зберігаємо дані

Щоб вибрати та оптимізувати правильну схему зберігання даних для ваших даних, важливо подумати про причини та способи використання, для яких ми зберігаємо дані.

Експлуатаційні дані

У бізнес-додатку операційні дані – це те, що використовується для відстеження продажів або фінансових дій або дій у ланцюжку поставок.

Доступ до цих даних потрібен у режимі реального часу, що підтримує клієнтські та внутрішні операційні процеси, які фіксують деталізовані дії, такі як взаємодія з клієнтами, замовлення або діяльність із запасами.

З часом оперативні дані можуть перетворитися з активно використовуваних на нечасто використовувані. Дані можуть бути доступні майже в режимі реального часу, щоб допомогти клієнту із замовленням або в разі підтримки. Наприклад, розглянемо такі ситуації:

  • Клієнт розміщує замовлення, а інший клієнт, який деякий час не взаємодіяв з бізнесом, робить замовлення.
  • Доступ до кожного замовлення, яке було розміщено та відвантажується, здійснюється постійно. Існують також замовлення з гарантійним терміном на три роки, до яких може знадобитися звернутися за підтримкою та, можливо, вимагатиметься повернення коштів.

Це може призвести до таких етапів потреби в оперативному доступі до даних, як:

  • Менше ніж рік активного доступу до даних.
  • Менше трьох років даних, до яких рідко звертаються.
  • Більше трьох років, коли дані більше не мають оперативного доступу.

Характер оперативного зберігання в реальному часі робить його відносно дорогим порівняно з іншими сховищами, тому визначення того, коли дані потребують оперативного доступу, а коли ні, важливо для визначення стратегій зберігання.

Операційна інтеграція

Як спеціалізована категорія оперативного використання, дані можуть вимагатися для реплікації між кількома операційними системами, включаючи такі шаблони, як:

  • Банківська справа: управління взаємовідносинами з клієнтами для взаємодії з клієнтами на передовій та реплікації в кількох банківських системах. Наприклад, у вас є поточні рахунки, кредитні картки, іпотека та системи перевірки кредитоспроможності.
  • Виробництво: Управління взаємовідносинами з клієнтами для прийняття замовлень на передовій лінії та система управління ресурсами підприємства для управління ланцюгами поставок.
  • Управління надзвичайними ситуаціями поліції: Управління взаємовідносинами з клієнтами для взаємодії з громадянами та диспетчерські системи для відділень поліції пропонують управління розгортанням.

У таких випадках, хоча кожна система може мати унікальні дані, які вона відстежує, часто існують загальні основні дані, якими потрібно обмінюватися між системами та синхронізувати, що призводить до потреб інтеграції.

Дані аудиту

Як правило, компанія несе регулятивну відповідальність за зберігання даних протягом тривалого періоду часу (наприклад, у середньому протягом семи років) для цілей аудиту, як внутрішнього, так і зовнішнього, наприклад, для проведення фінансового аудиту, розкриття інформації нормативними актами або перевірки на предмет шахрайства.

Ці дані зазвичай охоплюють як дані, необхідні для операційних цілей, так і дані, які більше не потрібні, оскільки вони дозволяють переглядати весь набір даних з одного місця.

Дані аналітики

Перед організаціями виникає потреба в огляді та аналізі стану свого бізнесу. Вони повинні вимірювати та порівнювати статистичні дані за певний проміжок часу, що охоплюють кілька або всі аспекти бізнесу.

Великі періоди та широта даних, протягом яких може відбуватися цей аналіз, призводить до необхідності реплікації операційних даних у спеціалізовані аналітичні інструменти. Це дозволяє уникнути впливу складної аналітики на продуктивність операційних систем, але також дозволяє аналізувати набори даних, які виходять за межі періоду, за який дані потрібні в операційній формі. Наприклад, вам може знадобитися порівняти дані за сім років, а не за один-два роки. Однак різні потреби в аналітиці можуть потребувати повних періодів зберігання даних або охоплювати лише дані, що зберігаються в операційних системах.

Аналітичні дані зазвичай дають змогу агрегувати дані в різних підрозділах бізнесу та поєднують дані з кількох систем.

Потік даних

Дані цих типів зазвичай перетікають з часом від операційних даних, а потім до транзакційних або історичних даних, як показано на наступному зображенні.

Потік даних.

Різні типи зберігання

Dataverse Типи зберігання

Dataverse Упорядковує сховище за трьома основними категоріями, кожна з яких має різні моделі використання та наслідки для виставлення рахунків.

Тип сховища Опис Загальні випадки застосування
Зберігання баз даних Зберігає структуровані дані в таблицях — стандартних і користувацьких. Бізнес-записи, метадані, зв’язки та конфігурації
Зберігання файлів Зберігає вкладення та двійкові дані. Вкладення електронної пошти, зображення, документи, завантажені через Power Apps
Зберігання журналів Зберігає журнали аудиту та журнали трасування плагінів. Відстеження змін, аудит, діагностика та відповідність вимогам

Типи сховищ фінансових та операційних платформ

Зберігання фінансів та операцій управляється окремо, але все більше інтегрується в екосистему Power Platform . Вона включає в себе наступні типи сховищ.

Тип сховища Опис Загальні випадки застосування
Оперативне зберігання баз даних Основні дані про транзакції для фінансів, ланцюжка поставок, людських ресурсів тощо Записи в бухгалтерській книзі, інвентаризація, замовлення клієнтів
Зберігання для управління документами Двійкові великі об’єкти (Blob), що зберігаються в сховищі BLOB-об’єктів Azure Рахунки-фактури, квитанції, відскановані документи
Журнали телеметрії та діагностики Системні журнали та дані телеметрії Моніторинг продуктивності, діагностика проблем.

Сценарії спільного та інтегрованого зберігання

  • Сховище з подвійним записом

    • Забезпечує синхронізацію в режимі реального часу між Dataverse програмами для фінансів та операцій.
    • Вимагає ретельного управління ролями та ємністю, щоб уникнути дублювання або надмірного використання.

  • Довгострокове зберігання (LTR)

    • Переміщує історичні дані до керованого озера даних (MDL).
    • Зменшує використання основного сховища, зберігаючи при цьому відповідність вимогам і доступ до аналітики.
    • Інтегрується з:
      • Швидкий пошук (Dataverse-рідний пошук)
      • OneLake (аналітика на основі тканини)
      • Synapse Link (користувацька аналітика озера)

Як зростають ваші дані з часом

У міру того, як організації масштабують використання Dataverse платформи фінансів та операцій Dynamics 365, зростання даних стає як ознакою успіху, так і стратегічним викликом. Те, що починається як спрощений транзакційний набір даних, може швидко перетворитися на складний багаторівневий масив даних. У цьому розділі розглядаються п’ять ключових факторів зростання даних та їх наслідки для зберігання даних, продуктивності та управління.

Використання сховища даних на операційних даних

Щоб отримати статистику з операційних систем, багато організацій використовують Azure Synapse Link, OneLake або експорт даних для реплікації даних із Dataverse програм для фінансів і операцій у аналітичну систему. Хоча це підтримує розширену звітність і робочі навантаження штучного інтелекту, воно також вводить:

  • Резервне сховище на операційному та аналітичному рівнях

    Дані часто дублюються між операційним та аналітичним середовищами. Таке резервування збільшує загальне споживання сховища та може призвести до збільшення витрат, особливо якщо історичні дані зберігаються нескінченно довго в обох системах.

  • Дублювання схеми та керування версіями

    Щоб підтримувати узгодженість між системами, організації повинні відтворювати зміни схеми — наприклад, нові поля та перейменовані стовпці — на операційному та аналітичному рівнях. Це ускладнює керування даними та збільшує ризик дрейфу схеми, що може призвести до руйнування подальших звітів або моделей.

  • Збільшення збереження історичних даних для аналізу тенденцій

    Аналітичні системи зазвичай зберігають дані протягом більш тривалих періодів для підтримки аналізу тенденцій, прогнозування та нормативної звітності. Хоча це цінне, це довгострокове зберігання може призвести до роздутих наборів даних, якщо ним не керувати за допомогою належних стратегій архівування та розподілу рівнів.

Сховище даних має важливе значення для аналітики, але без політик життєвого циклу воно може подвоїти або потроїти обсяг сховища.

Використання пошуку за даними

Такі функції, як Dataverse пошук, індексація Copilot і пошук відповідності, вимагають індексації великих обсягів структурованих і неструктурованих даних. Ці індекси найчастіше:

  • Використання сховища журналів і баз даних

    Пошукові індекси зберігаються як у журналі, так і в сховищі бази даних. Чим більше таблиць і полів позначаються як доступні для пошуку, тим пропорційніше зростає розмір індексу. Це може суттєво вплинути на загальне використання сховища, особливо в середовищах із великими обсягами записів або частою зміною схеми.

  • Зберігається навіть для невикористовуваних або застарілих таблиць

    Навіть якщо певні таблиці застаріли або більше не використовуються активно, пов’язані з ними пошукові індекси можуть зберігатися, якщо їх явно не видалити. Це призводить до непотрібного споживання сховища та може ускладнити планування потужності.

  • Часто дублюються в різних середовищах, таких як середовища розробки, тестування та продакшн

    Пошукові індекси зазвичай реплікуються в середовищах розробки, тестування та продакшн. Хоча це забезпечує стабільну пошукову поведінку, воно також багаторазово збільшує обсяг сховища, особливо коли середовища часто клонуються або оновлюються.

Пошук покращує зручність використання та готовність штучного інтелекту, але роздуття індексу тихо сприяє перевищенню обсягу пам’яті.

Увімкнення ведення журналу даних

Журнали аудиту, журнали трасування плагінів і телеметрія мають вирішальне значення для відповідності, налагодження та моніторингу. Однак зверніть увагу на наступні моменти:

  • Зберігання журналів зростає лінійно зі збільшенням використання та кількості користувачів.

    Дані журналу зростають пропорційно з:

    • Кількість користувачів та рівень їхньої активності
    • Обсяг угод та інтеграцій
    • Складність бізнес-логіки, такої як плагіни та робочі процеси

    У середовищах з високим рівнем використання це може призвести до швидкого розширення таблиць журналів, споживаючи як квоти на зберігання бази даних, так і журналів.

  • Дефолти за замовчуванням часто бувають занадто щедрими, наприклад, 90 днів або більше.

    За замовчуванням багато функцій ведення журналу зберігають дані протягом тривалого часу, наприклад 90 днів або більше. Хоча це підтримує довгострокове відстеження, це може призвести до непотрібного споживання сховища, особливо коли журнали активно не переглядаються та не експортуються.

  • Журнали, створені системою, виставляються покупцеві в. Dataverse

    У Dataverse мережі журнали, створені системою, включно з журналами аудиту та журналами трасування плагінів, зараховуються до права клієнта на зберігання. Це означає, що без належних стратегій очищення або експорту лісозаготівля може безпосередньо сприяти перевищенню обсягів зберігання та збільшенню витрат на ліцензування.

Ведення журналів не підлягає обговоренню в регульованих галузях, але має поєднуватися зі стратегіями зберігання та експорту, такими як Azure Monitor або Log Analytics.

Наявність кількох копій виробничого середовища

Щоб підтримати розробку, тестування, навчання та усунення несправностей, клієнти часто створюють пісочницю або клоноване середовище. Кожен примірник:

  • Відтворює повні дані та індексний слід.
  • Може включати неочевидні залежності, такі як пошукові індекси, журнали аудиту та метадані.
  • Рідко прибирається після використання.

Розростання навколишнього середовища є основним фактором вартості та складності зберігання. Політики врядування та автоматизація є ключовими для стримування.

Оптимізація запитів за даними

У міру того, як обсяги даних зростають, а реакція додатків стає критично важливою, клієнти та незалежні постачальники ПЗ часто впроваджують різні методи оптимізації запитів для підвищення продуктивності в Dataverse Dynamics 365 і Dynamics 365. Ці стратегії особливо поширені у звітності, аналітиці та сценаріях з великою кількістю інтеграцій.

Щоб підвищити ефективність, клієнти та незалежні постачальники ПЗ часто створюють:

  • Користувацькі індекси та матеріалізовані представлення

    Вони використовуються для пришвидшення виконання запитів шляхом попереднього обчислення об’єднань або агрегацій. Вони корисні в сценаріях, що включають складні фільтри або великі набори даних.

  • Денормалізовані таблиці для звітності

    Щоб спростити звітність та зменшити складність запитів, розробники часто створюють зведені версії реляційних даних. Ці таблиці зменшують потребу в з’єднаннях під час виконання та покращують продуктивність панелі інструментів.

  • Кешування шарів або агрегатів

    Дані, до яких часто звертаються, іноді попередньо агрегуються або кешуються в проміжних таблицях чи зовнішніх сховищах, щоб зменшити навантаження на основну базу даних.

Хоча вони покращують швидкість реагування, вони також:

  • Збільшення використання пам’яті

    Кожен шар оптимізації вводить більше структур даних, будь то копія існуючих даних у денормалізованому форматі, попередньо обчислене представлення чи таблиця кешу. Ці структури часто дублюють дані, які вже зберігаються деінде, що призводить до збільшення загального обсягу сховища. У середовищах зі суворими квотами на зберігання або моделями ліцензування на основі вартості, як-от Dataverse, це може швидко призвести до перевищення обсягу, якого можна уникнути.

  • Може осиротіти в міру розвитку програм

    З розвитком програм деякі артефакти оптимізації можуть більше не використовуватися активними звітами, інформаційними панелями або інтеграціями. Ці осиротілі об’єкти продовжують споживати місце для зберігання даних і можуть навіть уповільнювати роботу системи, наприклад, під час резервного копіювання або індексування, якщо їх не ідентифікувати та не видалити. Без регулярних аудитів вони можуть непомітно накопичуватися, підриваючи саме ті покращення продуктивності, для підтримки яких вони були створені.

Оптимізація запитів є важливою для масштабування, але повинна бути збалансована з гігієною сховища та налаштуванням на основі телеметрії.

Індекси та їхній вплив на сховище

Індекси є важливими для покращення продуктивності запитів та використання швидкого пошуку даних у великих наборах даних. У фінансових та операційних програмах Dynamics 365 та Dynamics 365 індекси автоматично створюються для первинних ключів і часто запитуваних полів, а також можна визначити інші користувацькі індекси для підтримки певних бізнес-сценаріїв. Dataverse

Хоча індекси є критично важливими для продуктивності, вони також мають прямий вплив на споживання пам’яті, яке часто недооцінюється під час проектування рішень.

Як індекси використовують сховище

  • Фізичне дублювання даних: кожен індекс зберігає копію індексованих стовпців разом із вказівниками на відповідні рядки. Чим більше стовпців і рядків проіндексовано, тим більший розмір індексу.

  • Зростання з обсягом даних: Зі зростанням базової таблиці зростає і індекс. У середовищах з високою кількістю транзакцій індекси можуть швидко зростати, особливо у великих, денормалізованих таблицях або таблицях з частими вставками та оновленнями.

  • Кілька індексів на таблицю: Зазвичай одна таблиця має кілька індексів, наприклад, для пошуку, фільтрації, сортування та об’єднань. Кожен інший індекс збільшує сукупний обсяг сховища.

  • Пошукові індекси в Dataverse: такі функції, як Dataverse пошук та індексування Copilot, створюють спеціалізовані індекси, що охоплюють кілька полів і таблиць. Вони зберігаються в таблиці DataverseSearch і можуть займати значне місце, особливо під час використання в кількох середовищах, таких як середовища розробки, тестування та виробництва.

  • Індекси, згенеровані системою: Деякі індекси створюються платформою автоматично, наприклад, для полів підстановки або зв’язків. Вони можуть зберігатися, навіть якщо пов’язані таблиці застаріли, якщо їх явно не видалити.

Наслідки для зберігання

  • Збільшення обсягу сховища бази даних та журналів: індекси сприяють використанню як сховища бази даних, так і журналів, що може вплинути на вартість ліцензування в Dataverse.
  • Дублювання середовища: Під час копіювання або оновлення середовищ усі індекси дублюються, що збільшує використання сховища в середовищах розробки, тестування та виробництва.
  • Накладні витрати на обслуговування: індекси необхідно оновлювати в міру зміни даних, що може збільшити затримку запису та споживання ресурсів.

Вплив синхронізації на стороні сервера на сховище

Синхронізація на стороні сервера в Dataverse забезпечує безперешкодну інтеграцію електронних листів, зустрічей та завдань між Microsoft Exchange та Dataverse. Хоча це підвищує продуктивність та автоматизацію, це також сприяє споживанню місця для зберігання наступним чином.

  • Створення запису активності: Кожен синхронізований електронний лист або зустріч генерує запис активності в Dataverse, який містить метадані, вміст основного повідомлення та, можливо, вкладення.
  • Сховище вкладень: Якщо вкладення не фільтруються або не вивантажуються, вони зберігаються безпосередньо в Dataverse, що збільшує використання сховища.
  • Відповідність вимогам та зберігання: Організації, що використовують синхронізацію на стороні сервера для відстеження відповідності, можуть зберігати більше даних, ніж необхідно, що ще більше збільшує обсяг сховища.
  • Захищений вміст: Навіть електронні листи, захищені Purview, хоча й обмежені у видимості вмісту, все одно генерують записи-заповнювачі, які займають місце.

Щоб керувати цим впливом, підприємствам слід впроваджувати політики зберігання, розглядати можливість вивантаження вкладень та регулярно контролювати обсяги записів діяльності.

Як я можу керувати постійно зростаючим обсягом сховища?

Незалежно від того, чи ви вже стикаєтеся з надлишками сховища, чи прагнете їх випередити, управління зростанням даних у фінансовій та операційній платформі Dynamics 365 вимагає продуманого підходу, заснованого на політиках. Dataverse У цьому розділі окреслено дві стратегічні точки відправлення: реактивне відновлення та проактивне управління.

Існує два можливих сценарії:

  1. Ви хочете проактивно застосовувати найкращі практики для управління сховищем та уникати високих витрат у майбутньому.
  2. Ви вже перебуваєте в ситуації, коли зменшення розміру та вартості сховища є необхідним.

Застосовуйте найкращі практики для управління розміром сховища та витратами

Сценарій 1: Ви хочете проактивно застосовувати найкращі практики для управління сховищем

Якщо ви ще не перебуваєте в кризовому режимі, зараз саме час застосувати інструменти та методи для проактивного управління сховищем.

Налаштуйте аналітику для своїх даних

Зі зростанням організацій зростає і потреба в отриманні аналітичних даних з операційних даних, не впливаючи на продуктивність основних бізнес-додатків. Microsoft пропонує кілька способів забезпечення аналітики фінансових та операційних даних Dynamics 365 шляхом інтеграції з вашим власним озером даних або сховищем. Dataverse

Ось два потужних варіанти, які варто розглянути:

Варіант 1. Використайте посилання – принесіть своє власне озеро Azure Synapse

Azure Synapse Посилання дозволяє вам підключатися безпосередньо до вашого робочого простору Azure Data Lake або Synapse. Dataverse Це дозволяє реплікацію операційних даних в аналітичне середовище майже в режимі реального часу, без написання складних ETL-конвеєрів.

Переваги:

  • Запускайте розширену аналітику та моделі штучного інтелекту на живих або майже живих даних.
  • Уникайте впливу на продуктивність ваших виробничих систем.
  • Використовуйте знайомі інструменти, такі як T-SQL, Spark або **для звітності**. Power BI

Приклад використання: Роздрібна компанія використовує Synapse Link для аналізу поведінки клієнтів у різних регіонах, поєднуючи Dataverse дані управління взаємовідносинами з клієнтами із зовнішніми ринковими даними у власному озері.

Варіант 2. Використовуйте OneLake – уніфіковану аналітику з Microsoft Fabric

OneLake, що є частиною Microsoft Fabric, забезпечує єдиний досвід роботи з озером даних, де ви можете зберігати та аналізувати дані з різних джерел, включаючи Dataverse фінансові та операційні програми, без дублювання.

Переваги:

  • Централізоване сховище для всіх аналітичних навантажень.
  • Рідна інтеграція з Power BI, Synapse та сервісами штучного інтелекту.
  • Спрощене управління та безпека в різних доменах даних.

Приклад використання: Фінансова компанія використовує OneLake для консолідації операційних даних із фінансових та операційних програм і Dataverse із зовнішніми економічними показниками, що дозволяє створювати моделювання ризиків у режимі реального часу та створювати інформаційні панелі для керівників. Роблячи це, ви можете відокремити операційні дані від основних систем та забезпечити масштабовану, економічно ефективну аналітику, експортуючи ці дані до власних аналітичних середовищ, без дублювання робочих навантажень та впливу на продуктивність.

Інструменти та методи для зменшення обсягу зберігання

Dataverse пропонує кілька вбудованих інструментів та стратегій, які допомагають адміністраторам ефективно керувати сховищем та підтримувати продуктивність системи.

Dataverse

Керування даними за допомогою політик керування

  • Почніть із середовищ і таблиць, які споживають найбільше сховища.
  • Використовуйте політики повторюваного керування для передбачуваного зростання даних, а не покладаючись лише на одноразове очищення.
  • Перевірте умови видалення та збереження в середовищі ізольованого програмного середовища, перш ніж використовувати їх у виробництві.
  • Регулярно переглядайте результати та помилки політики.
  • Додайте обсяг сховища, якщо необхідні дані не можна видалити або перемістити до довготривалого збереження.

Очищення середовища та даних

  • Видалення невикористовуваних середовищ: Ви можете видалити середовище, щоб звільнити місце для зберігання та видалити особисту ідентифікаційну інформацію (PII).
  • Масове видалення: Ви можете масово видалити такі дані:
    • Застарілі дані або дані, що не стосуються бізнесу.
    • Непотрібні тестові дані або дані зразків.
    • Дані, які неправильно імпортуються з інших систем.

Оптимізація файлів і таблиць

Довгострокове зберігання (LTR) та архівування

  • Архівування даних: LTR: Dataverse підтримує користувацькі політики зберігання для безпечного та довгострокового зберігання необмеженої кількості даних економічно ефективним способом. Хоча це може сприяти зростанню вашого бізнесу без обмежень щодо активних даних, ви можете розглянути можливість переміщення неактивних даних до сховища довгострокового зберігання. Dataverse Dataverse
  • Очищення таблиць: якщо ви хочете зберегти дані, але видалити їх із реляційного сховища, перейдіть до розділу довгострокового зберігання даних Dataverse . Dataverse В іншому випадку очистіть наступні таблиці:

Оптимізація пошукового індексу

  • Зменшення Dataverse пошуку: Ви можете зменшити розмір сховища, виконавши всі кроки, описані в Dataverse деталі сховища на основі ємності.
  • Зменште розмір таблиці DataverseSearch: Таблиця DataverseSearch — це сукупний обсяг пам’яті, який використовується пошуковим індексом Dataverse . Він містить дані з усіх полів таблиць, які ви індексували для свого середовища, доступних для пошуку, вилучення та фільтрації. Ви можете зменшити розмір таблиці, видаливши стовпці пошуку, стовпці перегляду та умови фільтрації для однієї або кількох таблиць. Можна вимкнути пошук Dataverse, щоб видалити всі дані покажчика.
Програми для фінансів і операцій

Програми для фінансів та операцій надають гнучкі можливості керування сховищем у виробничих та ізольованих середовищах.

Управління навколишнім середовищем

  • Обмеження кількості повних виробничих копій: Ви можете зменшити загальне споживання пам’яті програмами для фінансів та операцій, видаливши повні виробничі копії в ізольованих середовищах. Наприклад, якщо у вас є п’ять копій виробничих середовищ в ізольованому середовищі, споживання сховища дорівнюватиме сумі виробничого простору плюс п’ять копій виробничих середовищ в ізольованому середовищі.
  • Обрізання даних у ізольованому середовищі: Обрізаючи дані в ізольованому середовищі, ви можете зменшити загальний обсяг сховища. Ви можете скористатися наведеними нижче методами, щоб очистити дані в пісочниці.
    • Процес відновлення забезпечує виконання відкриття та обрізки
    • Напишіть T-SQL
    • Напишіть X++
  • Виконайте копіювання між середовищами без транзакцій: Копіювання середовища для фінансових та операційних програм традиційно передбачало повне дублювання бази даних, включаючи конфігурацію, основні дані та транзакції, що, хоча й корисно для налагодження, значно збільшує споживання пам’яті як у фінансових, так і в операційних програмах Dataverse.

Налаштування очищення та керування журналами

  • За потреби напишіть власні процедури очищення: Ви можете написати власні процедури очищення за потреби вашого бізнесу, щоб видалити небажані дані.
  • Уникайте зберігання журналів: Ви можете перемістити SysDatabaseLog до бази даних з меншою транзакційністю, щоб зменшити загальний обсяг сховища.

Архівне та довгострокове зберігання

Вбудовані процедури очищення

  • Процедури очищення: У Dynamics 365 Finance та **процесах очищення** процедури очищення доступні в різних модулях. Dynamics 365 Supply Chain Management Процедури очищення надають огляд процедур, які наразі доступні. Після копіювання бази даних ізольованого програмного середовища запустіть ці процедури очищення заздалегідь, щоб видалити непотрібні таблиці, такі як історія пакетів, журнали та історія роздрібних транзакцій. Видаліть застарілі або неактуальні дані.
  • Архівування даних транзакцій кредитних карток: Описує завдання архівування в Dynamics 365 Commerce , яке може допомогти звільнити місце в базі даних шляхом архівування токенів платежів кредитними картками.

Зменшення розміру сховища та витрат

Сценарій 2: Ви вже перебуваєте в ситуації, коли зменшення розміру та вартості сховища є необхідним

Оцініть, що споживає сховище

  • Використовуйте звіти центру адміністрування та звіти про сховище фінансів і операцій, щоб визначити таблиці, типи файлів і журнали, які споживають найбільше ресурсів. Power Platform
  • Використовуйте телеметрію, якщо вона доступна, щоб віднести використання до певних програм, користувачів або бізнес-підрозділів.

Надайте пріоритет кандидатам на прибирання

  • Зосередьтеся на:
    • Таблиці проміжного розміщення та інтеграції, такі як буфери подвійного запису
    • Журнали аудиту: Зберігайте їх у власному сховищі
    • Невикористані середовища або пісочниці
    • Осиротілі метадані та пошукові індекси
    • Видаліть непотрібне, наприклад, масове видалення

Використовуйте Synapse Link та OneLake для аналітичної звітності

  • Експортуйте аналітичні дані до Synapse Link.
  • Використовуйте OneLake для доступу до збережених даних та бізнес-даних для цілей звітності та аналізу.

Застосувати довгострокове утримання (LTR)

  • Переміщуйте історичні дані до керованого озера даних (MDL) за допомогою політик LTR.
  • Забезпечте доступ до пошуку та аналітики через Quick Find, Synapse Link або OneLake.

Випадки використання

Варіанти використання для управління сховищами даних у фінансово-операційному середовищі є критично важливими для оптимізації простору бази даних, підвищення продуктивності системи та дотримання нормативних вимог. Dataverse Нижче наведено кілька типових сценаріїв, які демонструють, як можна застосувати ці стратегії:

  • Управління зростанням історичних даних

    • Сценарій: Компанія вже кілька років працює в Dynamics 365 і накопичила великі обсяги історичних транзакцій і вкладень.
    • Дія: Впроваджуйте стратегії довгострокового зберігання для збереження неактивних даних, зменшення розміру основної бази даних та забезпечення відповідності вимогам аудиту.

  • Зберігання даних відповідно до вимог

    • Сценарій: Клієнт у галузі, що підпадає під регулювання, повинен зберігати фінансові дані або дані клієнтів протягом семи-десяти років у форматі, захищеному від несанкціонованого доступу.
    • Дія: Використовуйте LTR для збереження незмінних даних, доступних лише для читання, відповідно до правових та нормативних вимог, зберігаючи при цьому компактність бізнес-даних без шкоди для аналітики та звітності.

  • Оптимізація пошуку та індексу Copilot

    • Сценарій: Dataverse Пошук та індексування Copilot увімкнено в усіх середовищах, включаючи невикористовувані таблиці.
    • Дія: Перевірте поля, в яких можна шукати, та вимкніть індексацію для таблиць з низьким значенням або застарілих таблиць. Контролюйте розмір таблиці DataverseSearch та оптимізуйте конфігурації, щоб зменшити обсяг сховища журналів та бази даних.

  • Управління аудитом та телеметрією

    • Сценарій: Журнали трасування плагінів та журнали аудиту швидко зростають, споживаючи місце для зберігання та впливаючи на продуктивність.
    • Дія: Експортуйте журнали до зовнішніх систем, таких як Azure Monitor, та автоматизуйте очищення старих записів, щоб підтримувати видимість без перевантаження сховища.

  • Інтеграція сховищ даних та аналітики

    • Сценарій: Організація реплікує операційні дані до Azure Synapse або OneLake для аналітики, що призводить до дублювання сховища.
    • Дія: Використовуйте інкрементальний експорт, застосовуйте фільтри та уникайте повної реплікації набору даних, щоб мінімізувати надлишковість, водночас забезпечуючи отримання розширеної аналітики.

  • Зменшення надлишків сховища

    • Сценарій: Клієнт отримує сповіщення про перевищення своєї Dataverse квоти сховища, що призводить до неочікуваних витрат.
    • Дія: Використовуйте звіти про місткість, щоб визначити таблиці з найбільшим навантаженням, очистити застарілі середовища та видалити невикористані вкладення або журнали. Розгляньте можливість переміщення «холодних» даних — зазвичай історичних або рідко використовуваних записів — на дешевші рівні сховища.

  • Оптимізація продуктивності у великих таблицях

    • Сценарій: Критично важливі для бізнесу процеси сповільнюються через великі таблиці.
    • Дія: Архів старих записів, очищення системних завдань, наприклад AsyncOperationBase та WorkflowLogBase.

  • Управління життєвим циклом навколишнього середовища

    • Сценарій: Середовища розробки та тестування клонуються з робочого середовища, дублюючи всі дані та індекси.
    • Дія: Обріжте середовища ізольованого програмного забезпечення після оновлення, вимкніть непотрібне індексування пошуку та видаліть тестові дані, щоб зменшити споживання надлишкового сховища. Видаліть невикористовувані середовища ізольованого програмного забезпечення, щоб заощадити місце для зберігання.

Дослідження інцидентів

Тематичне дослідження 1: Зменшення надлишків сховища шляхом очищення індексу

Профіль клієнта: Глобальна виробнича компанія, яка використовує Dynamics 365 для ланцюга поставок, фінансових та операційних програм.

Проблема: Клієнт зіткнувся з неочікуваним перевищенням обсягу сховища та зниженням продуктивності у своєму виробничому середовищі. Розслідування показало, що численні користувацькі індекси та матеріалізовані представлення, створені на ранніх етапах впровадження, більше не використовуються, але все ще споживають значну кількість місця для зберігання.

Рішення: Команда провела щоквартальний аудит усіх користувацьких індексів та видалила ті, на які не посилаються активні запити чи звіти. Вони також запровадили політику управління для перевірки нових запитів на індексування перед розгортанням.

Результат:

  • Зменшення обсягу сховища бази даних на 28%.
  • Покращено продуктивність запитів на 15%.
  • Уникнуто прогнозованих $12,000 на рік інших витрат на зберігання.

Тематичне дослідження 2: Архівування історичних даних для досягнення цілей відповідності та ефективності

Профіль клієнта: Фінансова компанія, що використовує Dataverse Dynamics 365 для адаптації клієнтів та управління справами.

Проблема: Фірмі потрібно було зберігати записи клієнтів більше семи років, щоб відповідати нормативним вимогам, але зростаючий обсяг неактивних даних уповільнював активні робочі процеси та збільшував витрати на зберігання.

Рішення: Клієнт впровадив стратегію довгострокового зберігання, використовуючи архівні можливості Dataverse. Неактивні записи було переміщено на рівень сховища лише для читання з оптимізацією витрат, тоді як активні дані залишилися у високопродуктивному сховищі.

Результат:

  • Архівовано понад 1,2 мільйона записів.
  • Зменшено розмір основної бази даних на 40%.
  • Забезпечено повну аудитність та дотримання політик зберігання.

Тематичне дослідження 3: Оптимізація пошукових індексів у різних середовищах

Профіль клієнта: Роздрібна організація з кількома Dataverse середовищами, включаючи середовища розробки, тестування та виробництва, що підтримують рішення для управління взаємовідносинами з клієнтами на базі Copilot.

Завдання: Індекси пошуку використовувалися в усіх середовищах, включаючи невикористані таблиці та тестові дані. Це призвело до роздуття таблиць DataverseSearch та непотрібного споживання пам’яті.

Рішення: Команда переглянула поля з можливістю пошуку та припинила використовувати індексацію некритичних таблиць у середовищах розробки та тестування. Вони також автоматизували очищення індексу під час оновлення середовища.

Результат:

  • Зменшено обсяг сховища індексу пошуку на 35%.
  • Зменшено час оновлення середовища на 20%.
  • Зменшено загальне використання пам’яті журналів та бази даних.

Тематичне дослідження 4: Використання експорту даних для аналітики без дублювання сховища

Профіль клієнта: Медичний працівник, який використовує Dynamics 365 та Dataverse для взаємодії з пацієнтами та виставлення рахунків.

Проблема: Команді аналітиків потрібен був доступ до операційних даних для аналізу тенденцій та моделювання штучного інтелекту, але дублювання даних в окреме сховище збільшувало витрати на зберігання та ускладнювало процес.

Рішення: Клієнт використовував Azure Synapse Link з інкрементним експортом та багаторівневим сховищем в OneLake. Вони зберігали лише необхідні аналітичні дані та застосовували політики зберігання для управління історичною глибиною.

Результат:

  • Забезпечено аналітику в режимі реального часу без впливу на операційні системи.
  • Зменшення надлишкового сховища на 45%.
  • Покращене управління життєвим циклом аналітичних даних.

Висновок

Ефективне управління сховищем має вирішальне значення для підтримки продуктивності системи та оптимізації використання ресурсів у середовищах Dynamics 365. Процедури очищення та архівування, описані в цій статті, пропонують надійні рішення для звільнення цінного простору в базі даних та оптимізації операцій. Використовуючи такі інструменти, як LTR та аналогічні методи, клієнти можуть вирішувати поширені проблеми зберігання даних та створювати стійкі практики управління даними. Крім того, реальні тематичні дослідження демонструють ефективність цих підходів, пропонуючи розуміння їх практичного застосування. Впровадження цих стратегій дозволяє організаціям проактивно керувати своїми потребами у сховищах даних та підвищувати загальну ефективність.

Посилання

Очищення сховища в Dataverse:

Очищення сховища у фінансовій та операційній сферах:

Місткість сховища:

  • Востаннє оновлено: