Управление на съхранението в Dataverse приложения за финанси и операции

Тъй като организациите ускоряват пътуването си към дигитална трансформация, способността за ефективно управление на данни се превръща в стратегически бизнес императив. С възхода на приложенията, задвижвани от AI, и работните процеси, управлявани от Copilot, предприятията генерират и консумират данни с безпрецедентни темпове. Тези данни подхранват иновациите, позволяват персонализирани изживявания и подпомагат вземането на критични решения – но само ако се управляват и съхраняват интелигентно.

За да подкрепят тези развиващи се бизнес нужди, организациите трябва да приемат проактивна стратегия за управление на съхранението. Това гарантира, че данните, които вече не са необходими за ежедневните операции, се обработват отговорно, освобождавайки капацитет за работни натоварвания с висока стойност, намалявайки оперативните триения и привеждайки се в съответствие с изискванията за съответствие и одит.

От техническа гледна точка ефективното управление на съхранението в Dataverse и Dynamics 365 подобрява производителността на системата, подобрява ефективността на разходите и гарантира спазването на политиките за дългосрочно съхранение (LTR). И двете платформи предлагат инструменти и възможности за автоматизация, които дават възможност на организациите да управляват съхранението.

Чрез прилагането на стратегиите, описани в тази статия, предприятията могат да намалят режийните разходи за поддръжка, да рационализират съответствието и да отключат по-голяма стойност от своите бизнес приложения – превръщайки съхранението от ограничение в конкурентно предимство.

Основни предимства

Ефективното управление на съхранението в Dataverse и Dynamics 365 предоставя няколко ключови предимства, които адресират често срещани болезнени точки на клиентите и подобряват цялостната оперативна ефективност.

  • Повишено съответствие с LTR: Ефективното управление на съхранението гарантира, че данните се съхраняват в съответствие с политиките на LTR. Това не само помага за спазване на регулаторните изисквания, но също така гарантира, че критичните данни са запазени и достъпни, когато е необходимо.

  • Подобрена производителност: Чрез оптимизиране на управлението на съхранението организациите могат значително да подобрят производителността на своите системи. Ефективното разпределение и управление на съхранението намалява латентността и подобрява скоростта на извличане на данни, което води до по-плавни и по-бързи операции.

  • Стимулиране на ефективността на разходите: Ефективното управление на съхранението дава възможност на организациите да се съсредоточат върху данни с висока стойност чрез рационализиране и разчистване на своя пейзаж за съхранение. Като запазват само необходимото, фирмите могат да оптимизират своя отпечатък за съхранение, което води до по-интелигентно използване на ресурсите и рентабилна мащабируемост.

Фон

Тъй като организациите растат и дигитализират все повече от своите операции, обемът на бизнес данните, съхранявани в системи като Dataverse Dynamics 365, се увеличава постоянно. Това включва не само активни данни за транзакции, но и исторически записи, които трябва да се съхраняват за целите на одита, регулаторната политика или непрекъснатостта на бизнеса. С течение на времето това натрупване може да доведе до влошаване на производителността, увеличени оперативни разходи и нарастващи разходи за съхранение – особено когато данните, които вече не се използват активно, остават във високопроизводителни нива за съхранение.

Добре дефинираната стратегия за управление на съхранението помага на организациите да се справят с тези предизвикателства, като идентифицират данни, които могат да бъдат архивирани, почистени или преместени в по-евтино, оптимизирано за четене хранилище. Това е важно за сценарии за съответствие, при които данните трябва да останат неизменни, с нисък достъп и само за четене, като например финансови записи, регистрационни файлове за одит или регулаторни документи. Гарантирането, че тези данни се съхраняват по съвместим начин, без да се засяга производителността на системите на живо, е ключово изискване за много предприятия.

Използвайки инструментите и стратегиите, налични и в двете платформи, организациите могат да получат по-добра видимост на своя отпечатък върху съхранението, да намалят ненужното потребление и да гарантират, че критичните за съответствието данни се обработват по подходящ начин.

Тази статия очертава практически подходи за управление на съхранението, които помагат на клиентите да приведат практиките си за съхранение на данни в съответствие с бизнес и регулаторните нужди. Това подобрява производителността на системата, намалява оперативните разходи и гарантира, че задълженията за съответствие се изпълняват без компромиси.

Защо съхраняваме данни

За да изберете и оптимизирате правилния модел за съхранение на данни за вашите данни, е важно да помислите върху причините и употребите, за които съхраняваме данни.

Оперативни данни

При бизнес приложението оперативните данни са това, което се използва за проследяване на продажби или финансови действия или действия по веригата за доставки.

Тези данни трябва да бъдат достъпни в реално време, поддържайки клиентски и вътрешни оперативни процеси, които записват подробни действия като взаимодействия с клиенти, поръчки или дейности по инвентара.

С течение на времето оперативните данни могат да преминат от активно използване към рядко използвани. Може да се наложи данните да бъдат достъпни почти в реално време, за да помогнат на клиента с поръчка или в случай на поддръжка. Разгледайте например следните примерни ситуации:

  • Клиент прави поръчка, докато друг клиент, който не е взаимодействал с бизнеса от известно време, прави поръчка.
  • Всяка поръчка, която е направена и се изпраща, е достъпна постоянно. Има и поръчки с гаранционен срок от три години, които може да се наложи да бъдат посочени за поддръжка и евентуално да изискват възстановяване.

Това може да доведе до етапи на оперативен достъп до данни, като например:

  • По-малко от една година активен достъп до данни.
  • По-малко от три години на рядко достъпни данни.
  • Повече от три години, през които данните вече нямат оперативен достъп.

Естеството на оперативното съхранение в реално време го прави относително скъпо в сравнение с други хранилища, така че разпознаването кога данните трябва да бъдат достъпни оперативно и кога не е важно за определяне на стратегии за съхранение.

Оперативна интеграция

Като специализирана категория оперативна употреба може да се изисква данните да бъдат репликирани между множество операционни системи, включително модели като:

  • Банкиране: Управление на взаимоотношенията с клиенти за взаимодействие с клиенти на първа линия и репликация към множество банкови системи. Например, имате разплащателни сметки, кредитни карти, ипотеки и системи за кредитна проверка.
  • Производство: Управление на взаимоотношенията с клиенти за приемане на поръчки на първа линия и система за управление на корпоративни ресурси за управление на веригата за доставки.
  • Управление на взаимоотношенията с клиенти за взаимодействие с гражданите и диспечерски системи за полицейски управления предлагат управление на внедряването.

В тези случаи, въпреки че всяка система може да има уникални данни, които проследява, често има общи основни данни, които трябва да се споделят между системите и да се поддържат синхронизирани, което води до нужди от интеграция.

Одитни данни

Бизнесът обикновено има регулаторна отговорност да съхранява данни за продължителни периоди от време – например средно седем години – за целите на одита, независимо дали са вътрешни или външни, като например подпомагане на финансов одит, регулаторно оповестяване или преглед на измами.

Тези данни обикновено обхващат както данни, необходими за оперативни цели, така и данни, които вече не са необходими, тъй като позволяват преглед на набора от данни от едно място.

Данни от Анализ

Организациите имат нужда да преглеждат и анализират състоянието на своя бизнес. Те трябва да измерват и сравняват статистика във времето и обхващащи множество или всички части на бизнеса.

Големите периоди и обхват на данните, през които може да се извърши този анализ, водят до необходимостта от репликиране на оперативните данни в специализирани инструменти за анализ. Това избягва сложните анализи да повлияят на производителността на операционните системи, но също така позволява анализ на набори от данни, които надхвърлят периода, за който данните са необходими оперативно. Например, може да се наложи да сравнявате данни за седем години, а не за една до две години. Различните нужди от анализ обаче може да се нуждаят от пълни периоди на съхранение на данни или да обхващат само данните, съхранявани в операционните системи.

Аналитичните данни обикновено позволяват агрегиране на данни в множество части на бизнеса и комбинират данни от множество системи.

Поток от данни

Данните от тези типове обикновено преминават с течение на времето от оперативни данни и след това към транзакционни или исторически данни, както е показано на следващото изображение.

Потокът от данни.

Различни видове съхранение

Dataverse Видове съхранение

Dataverse организира съхранението в три основни категории, всяка с различни модели на използване и последици за фактурирането.

Тип съхранение Описание Обичайни случаи на употреба
Съхранение на база данни Съхранява структурирани данни в таблици – стандартни и персонализирани. Бизнес записи, метаданни, релации и конфигурации
Съхраняване на файлове Съхранява прикачени файлове и двоични данни. Прикачени файлове към имейли, изображения, документи, качени чрез Power Apps
Съхранение на трупи Съхранява регистрационни файлове за одит и регистрационни файлове за проследяване на плъгини. Проследяване на промените, одит, диагностика и съответствие

Видове съхранение на платформи за финанси и операции

Съхранението на финанси и операции се управлява отделно, но все повече се интегрира в Power Platform екосистемата. Тя включва следните видове съхранение.

Тип съхранение Описание Обичайни случаи на употреба
Оперативно съхранение на база данни Основни транзакционни данни за финанси, верига за доставки, човешки ресурси и др Записи в счетоводната книга, инвентар, клиентски поръчки
Съхранение на управление на документи Двоични големи обекти (Blobs), съхранявани в Azure Blob Storage Фактури, разписки, сканирани документи
Телеметрични и диагностични регистрационни файлове Системни регистрационни файлове и телеметрични данни Мониторинг на производителността, диагностика на проблемите.

Споделени и интегрирани сценарии за съхранение

  • Съхранение с двоен запис

    • Позволява синхронизиране в реално време между Dataverse приложенията за финанси и операции.
    • Изисква внимателно управление на ролите и капацитета, за да се избегне дублиране или прекомерна употреба.

  • Дългосрочно задържане (LTR)

    • Премества исторически данни в управлявано езеро от данни (MDL).
    • Намалява използването на основно хранилище, като същевременно поддържа съответствие и достъп до анализи.
    • Интегрира се с:
      • Бързо търсене (Dataverse-естествено търсене)
      • OneLake (анализ, базиран на фабрика)
      • Synapse Link (персонализиран анализ на езерото)

Как данните ви нарастват с течение на времето

Тъй като организациите разширяват използването на Dataverse платформата за финанси и операции на Dynamics 365, растежът на данните се превръща както в знак за успех, така и в стратегическо предизвикателство. Това, което започва като икономичен, транзакционен набор от данни, може бързо да се развие в сложно, многопластово пространство от данни. Този раздел изследва пет ключови фактора за растежа на данните и техните последици за съхранението, производителността и управлението.

Използване на съхранение на данни за оперативни данни

За да отключат прозрения от операционни системи, много организации използват Azure Synapse Link, OneLake или експортиране на данни, за да репликират данни от Dataverse приложения за финанси и операции в аналитична система. Въпреки че това поддържа разширено отчитане и AI работни натоварвания, то също така въвежда:

  • Излишно съхранение в оперативния и аналитичния слой

    Данните често се дублират между оперативната и аналитичната среда. Тази резервираност увеличава общото потребление на съхранение и може да доведе до по-високи разходи, особено ако историческите данни се съхраняват за неопределено време и в двете системи.

  • Дублиране на схеми и режийни разходи за създаване на версии

    За да поддържат съгласуваност между системите, организациите трябва да репликират промените в схемата – например нови полета и преименувани колони – както в оперативния, така и в аналитичния слой. Това добавя сложност към управлението на данните и увеличава риска от отклонение на схемата, което може да повреди отчети или модели надолу по веригата.

  • Повишено запазване на исторически данни за анализ на тенденциите

    Аналитичните системи обикновено съхраняват данни за по-дълги периоди, за да поддържат анализ на тенденциите, прогнозиране и регулаторно отчитане. Въпреки че е ценно, това дългосрочно съхранение може да доведе до раздути набори от данни, ако не се управлява с подходящи стратегии за архивиране и стъпаловидност.

Съхранението на данни е от съществено значение за анализа, но без политики за жизнения цикъл може да удвои или утрои вашия отпечатък върху съхранението.

Използване на търсене на данните

Функции като Dataverse търсене, индексиране на Copilot и търсене на съответствие изискват индексиране на големи обеми структурирани и неструктурирани данни. Тези индекси често:

  • Консумирайте съхранение на регистрационни файлове и бази данни

    Индексите за търсене се съхраняват както в хранилището за регистрационни файлове, така и в базата данни. Тъй като повече таблици и полета са маркирани като достъпни за търсене, размерът на индекса нараства пропорционално. Това може значително да повлияе на цялостното използване на хранилището, особено в среди с големи обеми записи или чести промени в схемата.

  • Запазване дори за неизползвани или отхвърлени таблици

    Дори когато определени таблици са отхвърлени или вече не се използват активно, свързаните с тях индекси за търсене могат да продължат, освен ако не бъдат изрично премахнати. Това води до ненужно потребление на съхранение и може да усложни планирането на капацитета.

  • Често се дублират в различни среди, като например среди за разработка, тестване и производство

    Индексите за търсене обикновено се репликират в среди за разработка, тестване и производство. Въпреки че това гарантира последователно поведение при търсене, то също така умножава отпечатъка на съхранението, особено когато средите се клонират или обновяват често.

Търсенето подобрява използваемостта и готовността за изкуствен интелект, но раздуването на индекса допринася за излишъка на съхранението.

Активиране на регистрирането на данните

Регистрационните файлове за проверка, регистрационните файлове за проследяване на добавки и телеметрията са от решаващо значение за съответствието, отстраняването на грешки и наблюдението. Имайте предвид обаче следните точки:

  • Съхранението на регистрационни файлове нараства линейно с използването и броя на потребителите.

    Данните от регистрационния файл нарастват пропорционално съ:

    • Броят на потребителите и техните нива на активност
    • Обемът на транзакциите и интеграциите
    • Сложността на бизнес логиката като плъгини и работни потоци

    В среда с висока употреба това може да доведе до бързо разширяване на регистрационните таблици, консумирайки както квоти за съхранение на бази данни, така и за съхранение на регистрационни файлове.

  • Настройките по подразбиране за съхранение често са твърде щедри, като например 90 дни или повече.

    По подразбиране много функции за регистриране запазват данни за продължителни периоди, като например 90 дни или повече. Въпреки че това поддържа дългосрочна проследимост, това може да доведе до ненужно потребление на съхранение, особено когато регистрационните файлове не се преглеждат активно или експортират.

  • Генерираните от системата регистрационни файлове се таксуват на клиента. Dataverse

    В Dataverse системата генерираните регистрационни файлове, включително регистрационни файлове за одит и регистрационни файлове за проследяване на приставки, се отчитат спрямо правото на съхранение на клиента. Това означава, че без подходящи стратегии за почистване или експортиране, регистрирането може пряко да допринесе за излишъка на съхранението и увеличени разходи за лицензиране.

Регистрирането не подлежи на договаряне за регулирани отрасли, но трябва да бъде съчетано със стратегии за съхранение и експортиране, като например Azure Monitor или Log Analytics.

Наличието на множество копия на производствената среда

За да поддържат разработката, тестването, обучението и отстраняването на неизправности, клиентите често създават пясъчници или клонирани среди. Всяко копие:

  • Репликира пълния отпечатък на данните и индекса.
  • Може да включва неочевидни зависимости като индекси за търсене, регистрационни файлове за одит и метаданни.
  • Рядко се почиства след употреба.

Разрастването на околната среда е основен двигател на разходите и сложността на съхранението. Политиките за управление и автоматизацията са от ключово значение за ограничаването.

Оптимизиране на заявките върху данните

Тъй като обемите от данни нарастват и отзивчивостта на приложенията става критична, клиентите и независимите доставчици на софтуер често прилагат различни техники за оптимизиране на заявките, за да подобрят производителността в Dataverse и Dynamics 365. Тези стратегии са особено често срещани в сценарии за отчитане, анализи и интеграция.

За да подобрят производителността, клиентите и независимите доставчици на софтуер често създават:

  • Персонализирани индекси и материализирани изгледи

    Те се използват за ускоряване на изпълнението на заявка чрез предварително изчисление на съединения или агрегации. Те са полезни при сценарии, включващи сложни филтри или големи набори от данни.

  • Денормализирани таблици за отчитане

    За да опростят отчитането и да намалят сложността на заявките, разработчиците често създават плоски версии на релационни данни. Тези таблици намаляват необходимостта от съединения по време на изпълнение и подобряват производителността на таблото.

  • Кеширане на слоеве или агрегати

    Често достъпните данни понякога се агрегират предварително или кешират в междинни таблици или външни хранилища, за да се намали натоварването на основната база данни.

Въпреки че те подобряват отзивчивостта, те също така:

  • Увеличете използването на място за съхранение

    Всеки слой за оптимизация въвежда повече структури от данни, независимо дали става въпрос за копие на съществуващи данни в денормализиран формат, предварително изчислен изглед или кеш таблица. Тези структури често дублират данни, които вече се съхраняват другаде, което води до по-голям общ отпечатък върху съхранението. В среди със строги квоти за съхранение или модели на лицензиране, базирани на разходите, Dataverse това може бързо да ескалира до предотвратими излишъци.

  • Може да осиротели с развитието на приложенията

    С развитието на приложенията някои артефакти за оптимизация може вече да не се препращат в активни отчети, табла за управление или интеграции. Тези осиротели обекти продължават да консумират място за съхранение и дори могат да забавят системните операции, например по време на архивиране или индексиране, ако не бъдат идентифицирани и премахнати. Без редовни одити те могат да се натрупват незабелязано, подкопавайки самите печалби, за които са създадени.

Оптимизацията на заявките е от съществено значение за мащаба, но трябва да бъде балансирана с хигиената на съхранението и настройката, управлявана от телеметрия.

Индекси и тяхното въздействие върху съхранението

Индексите са от съществено значение за подобряване на производителността на заявките и използване на бързо извличане на данни в големи набори от данни. Както Dataverse в приложенията за финанси и операции на Dynamics 365, индексите се създават автоматично за първични ключове и често търсени полета, а други персонализирани индекси могат да бъдат дефинирани за поддръжка на специфични бизнес сценарии.

Въпреки че индексите са от решаващо значение за производителността, те също имат пряко въздействие върху потреблението на място за съхранение, често подценявано по време на проектирането на решения.

Как индексите консумират място за съхранение

  • Физическо дублиране на данни: Всеки индекс съхранява копие на индексираните колони, заедно с указатели към съответните редове. Колкото повече колони и редове са индексирани, толкова по-голям е размерът на индекса.

  • Растеж с обема на данните: С нарастването на основната таблица се увеличава и индексът. В среда с високи транзакции индексите могат да растат бързо, особено в големи, денормализирани таблици или такива с чести вмъквания и актуализации.

  • Множество индекси на таблица: Обичайно е една таблица да има няколко индекса, например за търсене, филтриране, сортиране и съединения. Всеки друг индекс добавя към кумулативния отпечатък на съхранението.

  • Търсене на индекси в Dataverse: Функции като Dataverse търсене и индексиране на Copilot създават специализирани индекси, които обхващат множество полета и таблици. Те се съхраняват в таблицата DataverseSearch и могат да заемат значително място, особено когато се използват в множество среди като среди за разработка, тестване и производство.

  • Индекси, генерирани от системата: Някои индекси се създават автоматично от платформата, като например за полета за търсене или релации. Те могат да се запазят дори ако свързаните таблици са отхвърлени, освен ако изрично не са премахнати.

Последици за съхранението

  • Повишено съхранение на база данни и регистрационни файлове: Индексите допринасят за използването както на базата данни, така и на съхранението на регистрационни файлове, което може да повлияе на разходите за лицензиране. Dataverse
  • Дублиране на среда: Когато средите се копират или обновяват, всички индекси се дублират, което увеличава използването на място за съхранение в среди за разработка, тестване и производство.
  • Режийни разходи за поддръжка: Индексите трябва да се актуализират при промяна на данните, което може да увеличи забавянето на записа и консумацията на ресурси.

Влияние на синхронизацията от страна на сървъра върху съхранението

Синхронизацията от страна на сървъра позволява Dataverse безпроблемно интегриране на имейли, срещи и задачи между Microsoft Exchange и Dataverse. Въпреки че подобрява производителността и автоматизацията, той също така допринася за потреблението на съхранение по следните начини.

  • Създаване на запис на дейност: Всеки синхронизиран имейл или среща генерира запис Dataverse на дейност, който включва метаданни, основно съдържание и потенциално прикачени файлове.
  • Съхранение на прикачени файлове: Ако прикачените файлове не са филтрирани или разтоварени, те се съхраняват директно в Dataverse тях, което увеличава използването на хранилището.
  • Съответствие и съхранение: Организациите, използващи синхронизиране от страна на сървъра за проследяване на съответствието, могат да запазят повече данни от необходимото, което допълнително увеличава съхранението.
  • Защитено съдържание: Дори имейлите, защитени с Purview, макар и ограничени във видимостта на съдържанието, все още генерират записи в контейнери, които заемат място.

За да управляват това въздействие, предприятията трябва да прилагат политики за съхранение, да обмислят разтоварването на прикачените файлове и редовно да наблюдават обемите на записите на дейността.

Как мога да управлявам непрекъснато нарастващото хранилище?

Независимо дали вече се сблъсквате с излишък в хранилището или се стремите да ги изпреварите, управлението на растежа на данните в Dataverse платформата за финанси и операции на Dynamics 365 изисква умишлен, управляван от политики подход. В този раздел се очертават две стратегически входни точки: реактивно отстраняване и проактивно управление.

Има два възможни сценария:

  1. Искате проактивно да прилагате най-добрите практики за управление на съхранението и да избегнете високи разходи в бъдеще.
  2. Вече сте в ситуация, в която е необходимо намаляване на размера и разходите за съхранение.

Прилагане на най-добри практики за управление на размера на хранилището и разходите

Сценарий 1: Искате проактивно да прилагате най-добрите практики за управление на хранилището

Ако все още не сте в кризисен режим, сега е моментът да приложите инструменти и техники за проактивно управление на хранилището.

Конфигуриране на анализи за вашите данни

С разрастването на организациите нараства и необходимостта от извличане на информация от оперативни данни, без това да се отразява на производителността на основните бизнес приложения. Microsoft предлага множество начини за разрешаване на анализ на данни за Dataverse финанси и операции на Dynamics 365 чрез интегриране с вашето собствено езеро или склад за данни.

Ето две мощни опции, които трябва да имате предвид:

Опция 1. Използвайте Azure Synapse Link – донесете свое собствено езеро

Azure Synapse Link ви позволява да се свържете Dataverse директно с вашето собствено работно пространство на Azure Data Lake или Synapse. Това позволява репликация на оперативни данни почти в реално време в аналитична среда, без да се пишат сложни ETL тръбопроводи.

Ползи:

  • Изпълнявайте разширени анализи и модели на изкуствен интелект върху данни на живо или почти на живо.
  • Избягвайте въздействието върху производителността на вашите производствени системи.
  • Използвайте познати инструменти като T-SQL, Spark или Power BI за отчитане.

Пример за използване: Компания за търговия на дребно използва Synapse Link, за да анализира поведението на клиентите при покупка в различни региони, комбинирайки Dataverse данни за управление на взаимоотношенията с клиенти с външни пазарни данни в собственото си езеро.

Опция 2. Използване на OneLake – унифициран анализ с Microsoft Fabric

OneLake, част от Microsoft Fabric нея, предоставя унифицирано изживяване на езерото с данни, където можете да съхранявате и анализирате данни от множество източници, включително Dataverse приложения за финанси и операции, без дублиране.

Ползи:

  • Централизирано съхранение за всички аналитични натоварвания.
  • Вградена интеграция с Power BI, Synapse и AI услуги.
  • Опростено управление и защита в домейните на данните.

Пример за използване: Фирма за финансови услуги използва OneLake за консолидиране на оперативни данни от приложения за финанси и операции и Dataverse с външни икономически показатели, позволяващи в реално време, моделиране на риска и изпълнителни табла. По този начин можете да отделите оперативните данни от основните си системи и да позволите мащабируеми, рентабилни анализи, като експортирате тези данни в собствена аналитична среда, без да дублирате работни натоварвания или да влияете на производителността.

Инструменти и техники за намаляване на съхранението

Dataverse предлага няколко вградени инструмента и стратегии, за да помогне на администраторите да управляват ефективно съхранението и да поддържат производителността на системата.

Dataverse

Управление на данни с правила за управление

  • Започнете със средите и таблиците, които използват най-много място за съхранение.
  • Използвайте повтарящи се правила за управление за предвидим растеж на данните, вместо да разчитате само на еднократно почистване.
  • Тествайте критериите за изтриване и съхранение в среда на ограничителен режим, преди да ги използвате в производство.
  • Преглеждайте редовно резултатите от правилата и неуспехите.
  • Добавете капацитет за съхранение, когато задължителните данни не могат да бъдат изтрити или преместени в дългосрочно съхранение.

Околна среда и почистване на данни

  • Изтриване на неизползвани среди: Можете да изтриете среда, за да възстановите място за съхранение и да премахнете лична информация (PII).
  • Задачи за групово изтриване: Можете да изтриете групово следните данни:
    • Остарели данни или данни, които не са от значение за бизнеса.
    • Ненужните тестови или примерни данни.
    • Данни, които са неправилно внесени от други системи.

Оптимизация на файлове и таблици

  • Намалете съхранението на файлове с помощта на предварително намиране: Тази статия ви дава 15 метода за по-добро управление на вашето хранилище. Използвайте един или повече от тези методи, за да контролирате общото използване на мястото за съхранение на данни. Можете да изтриете категории данни, когато възникне необходимост, или да настроите задачи за групово изтриване, които да се повтарят на зададени интервали. Например можете да изтривате бележки, прикачени файлове, хронология на импортирането и други данни.
  • Изчистване на записи от таблиците на системната задача (AsyncOperationBase) и регистрационния файл на процеса (WorkflowLogBase): Ако вашата организация използва интензивно работни потоци или потоци на бизнес процеси, тези таблици (AsyncOperationBase, WorkflowLogBase) нарастват с течение на времето и в крайна сметка стават достатъчно големи, за да създадат проблеми с производителността и да консумират прекомерно място за съхранение във вашата база данни на организацията. За WorkflowLogBase можете да конфигурирате автоматично изтриване на завършени задачи на фоновия работен поток.

Дългосрочно съхранение (LTR) и архивиране

Оптимизация на индекса за търсене

  • Намаляване Dataverse на търсенето: Можете да намалите размера на хранилището, като изпълните всички стъпки в Dataverse подробностите за съхранението, базирани на капацитета.
  • Намаляване на размера на таблицата на DataverseSearch: Таблицата DataverseSearch е кумулативното хранилище, използвано от индекса Dataverse за търсене. Той включва данните от всички полета с възможност за търсене, извличане и филтриране на таблиците, които сте индексирали за вашата среда. Можете да намалите размера на таблицата, като премахнете колони за намиране, колони за изглед и условия за филтриране за една или повече таблици. Можете да изключите търсене на Dataverse, за да премахнете всички индексирани данни.
Приложения за финанси и операции

Приложенията за финанси и операции предоставят гъвкави опции за управление на съхранението в производствени и ограничителни среди.

Управление на околната среда

  • Ограничете броя на пълните производствени копия: Можете да намалите общото потребление на място за съхранение на финансови и операционни приложения, като премахнете пълните производствени копия в ограничителни среди. Например, ако имате пет копия на производствени среди в ограничителен режим, консумацията на място за съхранение е сумата от производството плюс пет копия на производствените среди в ограничителен режим.
  • Изрязване на данни в среда в ограничителен режим: Чрез изрязване на данните в среда в ограничителен режим можете да намалите общия отпечатък на съхранението. Можете да следвате методите по-долу, за да почистите данните в пясъчника.
    • Процесът на възстановяване осигурява изпълнение на отваряне и подрязване
    • Напишете T-SQL
    • Напишете X++
  • Извършване на копие без транзакции между среди: Копирането на среда за приложения за финанси и операции традиционно включва пълно дублиране на база данни, включително конфигурация, основни данни и транзакции, което, макар и полезно за отстраняване на грешки, значително увеличава потреблението на място за съхранение както във финансите, така и в операциите. Dataverse

Персонализирано почистване и управление на регистрационни файлове

  • Напишете персонализирани процедури за почистване, ако е необходимо: Можете да напишете персонализирани процедури за почистване, ако е необходимо на вашия бизнес, за да почистите нежеланите данни.
  • Избягвайте съхраняването на регистрационни файлове: Можете да преместите SysDatabaseLog в база данни с по-малко транзакции, за да намалите общия отпечатък на съхранението.

Архивно и дългосрочно съхранение

Вградени процедури за почистване

  • Процедури за почистване: В Dynamics 365 Finance и Dynamics 365 Supply Chain Management процедурите за почистване са налични в различни модули. Процедурите за почистване предоставят общ преглед на процедурите, които са налични в момента. След като копирате базата данни в ограничителния режим, изпълнете тези процедури за почистване проактивно, за да премахнете ненужните таблици, като например хронология на партидите, регистрационни файлове и хронология на транзакциите на дребно. Изтриване на остарели или неподходящи данни.
  • Архивиране на данни за транзакции с кредитни карти: Описва архивна задача Dynamics 365 Commerce , която може да помогне за освобождаване на място в базата данни чрез архивиране на токени за плащане с кредитна карта.

Намалете размера и разходите за съхранение

Сценарий 2: Вече сте в ситуация, в която е необходимо намаляване на размера и разходите за съхранение

Преценете какво консумира хранилището

  • Използвайте центъра за Power Platform администриране и отчетите за съхранение на финанси и операции, за да идентифицирате най-консумиращите таблици, типове файлове и регистрационни файлове.
  • Използвайте телеметрия, ако е налична, за да припишете използването на конкретни приложения, потребители или бизнес единици.

Дайте приоритет на кандидатите за почистване

  • Съсредоточете се върху:
    • Етапни и интегриращи таблици, като буфери за двоен запис
    • Регистрационни файлове за одит: Запазете го в собственото си хранилище
    • Неизползвани среди или пясъчници
    • Осиротели метаданни и индекси за търсене
    • Изтриване на това, което не ви е необходимо, например групово изтриване

Използване на Synapse Link и OneLake за аналитично отчитане

  • Експортирайте аналитичните данни в Synapse Link.
  • Използвайте OneLake за достъп до запазените данни и бизнес данни за отчетни и аналитични цели.

Прилагане на дългосрочно задържане (LTR)

  • Преместване на данни за минали периоди в управлявано езеро с данни (MDL) с помощта на LTR правила.
  • Поддържайте достъп до търсене и анализ чрез Quick Find, Synapse Link или OneLake.

Случаи на употреба

Случаите на използване за управление на съхранението в Dataverse и финансови и оперативни среди са от решаващо значение за оптимизиране на пространството на базата данни, подобряване на производителността на системата и спазване на регулаторните изисквания. По-долу са дадени някои типични сценарии, които показват как могат да се прилагат тези стратегии:

  • Управление на растежа на историческите данни

    • Сценарий: Бизнесът е активен в Dynamics 365 от няколко години и е натрупал големи обеми исторически транзакции и прикачени файлове.
    • Действие: Прилагане на стратегии за дългосрочно съхранение за запазване на неактивни данни, намаляване на размера на първичната база данни и поддържане на съответствие с изискванията за одит.

  • Запазване на данни, базирано на съответствие

    • Сценарий: Регулиран клиент от индустрията трябва да съхранява финансови или клиентски данни за седем до десет години във формат, защитен от фалшифициране.
    • Действие: Използвайте LTR, за да запазите неизменните данни само за четене в съответствие със законовите и регулаторните изисквания, като същевременно поддържате бизнес данните икономични, без да правите компромис с анализите и отчитането.

  • Оптимизация на индекса за търсене и Copilot

    • Сценарий: Dataverse Търсенето и индексирането на Copilot са активирани във всички среди, включително неизползвани таблици.
    • Действие: Проверете полетата с възможност за търсене и забранете индексирането за таблици с ниска стойност или отхвърлени таблици. Наблюдавайте размера на таблицата DataverseSearch и оптимизирайте конфигурациите, за да намалите съхранението на регистрационни файлове и бази данни.

  • Одит и управление на телеметрията

    • Сценарий: Регистрационните файлове за проследяване на приставките и регистрационните файлове за проверка се разрастват бързо, консумират място за съхранение и влияят върху производителността.
    • Действие: Експортирайте регистрационни файлове във външни системи, като Azure Monitor, и автоматизирайте почистването на стари записи, за да поддържате видимост, без да раздувате хранилището.

  • Интеграция на складиране и анализ на данни

    • Сценарий: Организацията репликира оперативни данни към Azure Synapse или OneLake за анализ, което води до дублирано съхранение.
    • Действие: Използвайте поетапно експортиране, приложете филтри и избягвайте пълна репликация на набор от данни, за да сведете до минимум излишъка, като същевременно позволите богати прозрения.

  • Намаляване на излишъка от съхранение

    • Сценарий: Клиентът получава известие за превишаване на квотата си Dataverse за съхранение, което води до неочаквани разходи.
    • Действие: Използвайте отчети за капацитета, за да идентифицирате таблиците с най-високо потребление, да почистите остарелите среди и да премахнете неизползваните прикачени файлове или регистрационни файлове. Помислете за преместване на студени данни – обикновено исторически или рядко достъпни записи – на по-евтини нива за съхранение.

  • Оптимизиране на производителността в големи маси

    • Сценарий: Критичните за бизнеса процеси се забавят поради големи маси.
    • Действие: Архивирайте стари записи, почистете системните задачи, например AsyncOperationBase и WorkflowLogBase.

  • Управление на жизнения цикъл на околната среда

    • Сценарий: Средите за разработка и тестване се клонират от производството, дублирайки всички данни и индекси.
    • Действие: Изрежете ограничителните среди след обновяване, деактивирайте ненужното индексиране на търсенето и премахнете тестовите данни, за да намалите излишната консумация на място за съхранение. Изтрийте неизползваните среди в ограничителен режим, за да спестите място за съхранение.

Конкретни примери

Казус 1: Намаляване на излишъка от съхранение чрез почистване на индекса

Профил на клиента: Глобална производствена компания, използваща Dynamics 365 за приложения за верига на доставки и финанси и операции.

Предизвикателство: Клиентът изпитваше неочаквано превишаване на съхранението и влошаване на производителността в производствената си среда. Разследването разкри, че множество персонализирани индекси и материализирани изгледи, създадени по време на ранното внедряване, вече не се използват, но все още консумират значително място за съхранение.

Решение: Екипът проведе тримесечен одит на всички персонализирани индекси и премахна тези, които не са посочени от активни заявки или отчети. Те също така въведоха политика за управление за преглед на нови заявки за индекси преди внедряването.

Резултат:

  • Намалено съхранение на база данни с 28%.
  • Подобрена производителност на заявките с 15%.
  • Избегна прогнозираното $12,000 годишно в други разходи за съхранение.

Казус 2: Архивиране на исторически данни за постигане на целите за съответствие и ефективност

Профил на клиента: Фирма за финансови услуги, използваща Dataverse и Dynamics 365 за функционалност за включване на клиенти и управление на случаи.

Предизвикателство: Фирмата трябваше да съхранява клиентски записи за повече от седем години, за да отговори на регулаторните изисквания, но нарастващият обем неактивни данни забавяше активните работни процеси и увеличаваше разходите за съхранение.

Решение: Клиентът е внедрил дългосрочна стратегия за съхранение, използвайки Dataverse възможностите за архивиране. Неактивните записи бяха преместени само за четене, оптимизирано по отношение на разходите ниво на съхранение, докато активните данни останаха във високопроизводително хранилище.

Резултат:

  • Архивирани над 1,2 милиона записа.
  • Намален размер на първичната база данни с 40%.
  • Поддържа пълна одитируемост и съответствие с политиките за съхранение.

Казус 3: Рационализиране на индексите за търсене в различни среди

Профил на клиента: Организация за търговия на дребно с множество Dataverse среди, включително среди за разработка, тестване и производство, поддържаща решение за управление на взаимоотношенията с клиенти с активиран Copilot.

Предизвикателство: Индексите за търсене бяха използвани във всички среди, включително неизползвани таблици и тестови данни. Това доведе до раздути таблици на DataverseSearch и ненужно потребление на място за съхранение.

Решение: Екипът прегледа полетата за търсене и спря да използва индексиране на некритични таблици в среди за разработка и тестване. Те също така автоматизират почистването на индекса по време на обновяване на околната среда.

Резултат:

  • Намалено съхранение на индекс за търсене с 35%.
  • Подобрено време за опресняване на околната среда с 20%.
  • Намалено общо използване на съхранение на регистрационни файлове и бази данни.

Казус 4: Използване на експортиране на данни за анализ без дублиране на хранилището

Профил на клиента: Доставчик на здравни услуги, използващ Dynamics 365 и Dataverse за ангажиране на пациенти и фактуриране.

Предизвикателство: Екипът за анализи се нуждаеше от достъп до оперативни данни за анализ на тенденциите и AI моделиране, но дублирането на данни в отделен склад увеличаваше разходите и сложността на съхранението.

Решение: Клиентът използва Azure Synapse Link с инкрементален експорт и многостепенно съхранение в OneLake. Те запазиха само основни аналитични данни и приложиха политики за съхранение, за да управляват историческата дълбочина.

Резултат:

  • Активиран анализ в реално време, без да се засягат оперативните системи.
  • Намалено излишно съхранение с 45%.
  • Подобрено управление на жизнения цикъл на аналитичните данни.

Заключение

Ефективното управление на съхранението е от решаващо значение за поддържане на производителността на системата и оптимизиране на използването на ресурсите в среди на Dynamics 365. Рутините за почистване и архивните задачи, описани в тази статия, предоставят стабилни решения за освобождаване на ценно пространство в базата данни и рационализиране на операциите. Използвайки тези инструменти като LTR и подобни техники, клиентите могат да се справят с често срещаните предизвикателства при съхранението и да създадат устойчиви практики за управление на данни. Освен това казуси от реалния свят демонстрират ефикасността на тези подходи, предлагайки прозрения за тяхното практическо приложение. Приемането на тези стратегии дава възможност на организациите да управляват проактивно своите нужди от съхранение и да подобрят цялостната ефективност.

Препратки

Почистване на съхранението в Dataverse:

Почистване на съхранението във финансите и операциите:

Капацитет за съхранение:

  • Последна актуализация: