.

Případová studie - významná logistická společnost


Významná logistická společnost ve spolupráci s Adastrou agilně vybudovala nový datový sklad. Na jeho základě rychleji a častěji reportuje KPIs.

Jedna z největších logistických společností na světě stavěla datový sklad ve spolupráci s Adastrou na „zelené louce“ v privátním cloudu, agilně, na základě konceptu CI/CD (Continuous Integration and Continuous Delivery). Datový sklad obsahuje 3,5 mld. záznamů, příčemž denní přírůstky dat pro zpracování činí 20 milionů záznamů a nahrávají se z 10 zdrojových systémů. Aktualizace dat a KPI ukazatelů probíhají 4krát za den. Vygenerování nového KPI z datového skladu a jeho zapracování do reportu se z několika dnů až týdnů zkrátilo na 2 dny. Počet sledovaných KPIs od zahájení projektu desetinásobně vzrostl.

Pro migrace dat ze zdrojových systémů, jednotný přístup k tvorbě transformačních scriptů a logování byl využit metadatový přístup řízený DWH Frameworkem, vlastním ETL nástrojem Adastry, který je plně integrovaný s databázovými technologiemi Microsoft (on-premisovými i cloudovými). Reporty jsou dodávány v platformě Microsoft Power BI.

Jaký problém jsme řešili

V souladu se vzrůstajícími nároky zákazníků na přepravu a logistiku klade i jedna z největších logistických společností světa stále vyšší požadavky na rychlost a efektivitu svých procesů, včetně interního IT. Proto jedna z divizí společnosti, která zastřešuje mj. i ticketovací systém a systém HelpDesku pro celý svět, potřebovala důkladně sledovat svá vlastní a poskytovat firemní KPIs (Key Performace Indicators) dalším oddělením společnosti.

Divize také současně spravuje datový sklad, nad jehož daty se KPIs generují. Některé úpravy do původního datového skladu, např. přidání nového atributu k zaměstnanci společnosti, byly komplikované a jejich provedení a nasazení mohlo zabrat až několik dní. Nejednou se také stávalo, že „chybu či problém“ se nepodařilo opravit v požadovaném termínu, čekalo se totiž např. na vyjádření kolegy z jiného oddělení, což vyřešení a uzavření „ticketu“ protahovalo. Cílem bylo zajistit, aby jakákoli změna do datového skladu a její následné promítnutí do produkčního prostředí netrvala tak dlouho.

3,5 mld.

Datový sklad obsahuje cca 3,5 mld. záznamů.

Byznys popis řešení od Adastry

Divize společnosti začala ve spolupráci s Adastrou s upgradem datového modelu původního datového skladu. Nový datový sklad vznikl na cloudové platformě, využívá znalostí a přístupu k datům z původního řešení. Zároveň odstraňuje slabá místa a řeší problémy, která v původním řešení odhalil čas nebo specifické úlohy. Nový datový sklad měl být také schopen:

  • zrychlit dobu nahrávání dat ze zdrojových systémů a následně i jejich zpracování v rámci jednotlivých vrstev DWH
  • držet delší historii dat
  • zefektivnit přístup k reportingu nad daty v DWH
20 mil denně

Denní přírůstky dat pro zpracování činí 20 milionů záznamů. Nahrávají se z 10 zdrojových systémů.

Zpracování dat – tedy nahrání dat ze zdrojových systémů, transformaci a konsolidaci dat na úrovni core vrstvy datového skladu a distribuci do specifických datamartů – zajistil Adastra DWH Framework, který pomohl s mapováním stávajících a nastavení nových transformačních a integračních procesů pomocí metadaty řízeného přístupu. Ten umožnil standardizovat a unifikovat ETL logiku (přístup k datům, logování, validace, kontrolu kvality dat apod.). Velkým přínosem řešení je možnost (pře)generovat transformační scripty pro všechny entity datového skladu, obzvláště ve chvíli, kdy je potřeba do řešení promítnout specifické zákaznické požadavky.

I díky tomu bylo dosaženo výrazného snížení doby vývoje, a tím pádem i dodání požadovaných KPI ukazatelů byznys uživatelům. Následné propojení s Azure DevOps platformou umožnilo jednotné verzování kódu, přehlednější a standardizovanou revizi kódu a zjednodušilo celý proces uvedení do provozu díky podpoře Continuous Integration a Continuous Deployment (CI/CD).

4krát

Aktualizace dat, a tedy i KPI ukazatelů, se v datovém skladu uskutečňují 4x za den. Zohledňují se tak 4 hlavní časové zóny.

Jak projekt dopadl

1. Automatizace – nové řešení maximálně využívá automatizovaného přístupu:

  • pro vývoj datového skladu a nastavení workflow ETL procesů:
    • workflow ETL procesů se nastavuje pomocí metadat a jejich závislostí
    • minimalizuje ruční přepisování kódu – vývojáři či administrátoři nepíšou přímo kód, pouze nastavují proces
    • v důsledku se tak sjednocuje, standardizuje a zjednodušuje kódování ETL procedur
    • automatizovaně se validují vstupní data, což zvyšuje kvalitu dat přenášených do DWH. Validace dat zohledňuje jak technická, tak byznysová pravidla.
    • monitoruje se vlastní průběh ETL procesu – administrátor DWH obdrží notifikaci, e-mail nebo přímo report, proběhne-li ETL proces chybně
  • pro spouštění procesu nasazení změn na cílová prostředí – s cílem snížit potřebu manuálního zpracování/zapojení do procesu nasazení

Podíl ručního zpracování a procentuální úspory času ETL specialistů při nasazování změn na cílová prostředí po úpravě procesu uvádí následující tabulka: 

2 dny

Vygenerování nového KPI z datového skladu a jeho zapracování do reportu se z několika dnů až týdnů zkrátilo na 2 dny.

Typ Krok Releases (v minutách)
5.1 5.2 5.5
Manual Pre-Deployment scripts 2
Process DWH build 7 7 7
Process DWH release 70 14 11
Manual Post-Deployment scripts 10 8 1
Manual Release check 5 5
Process OLAP release 55
Total 87 34 81
Participace 11% 38% 10%

Legenda:

Manual - provádí "ručně" zodpovědná osoba
Process - provádí se "automatizovaně" na základě nějakého předpřipraveného procesu
Total - celkový čas strávený na nasazení změn v DWH na cílové prostředí
Participace - uvádí procento z celkového času, který zodpovědná osoba aktivně stráví při nasazení změn na cílové prostředí

2. Agilně – nové řešení maximálně využívá také agilního přístupu:

Požadavky na nastavení nového KPI se realizují mnohem rychleji než v původním řešení, obvykle během pár dnů. Díky agilnímu řízení a přístupu rozdělení komplexních požadavků do malých dílčích úkolů (sub-tasků), je možné v podstatě okamžitě reagovat na uživatelské změny a kontinuálně je zapracovávat do finálního řešení.

10x více

V době zahájení projektu jsme definovali 5 KPIs. Nyní jich sledujeme 50, tedy 10krát více.

Kdo se na projektu podílel

Naše dobrá pověst stojí na schopných lidech, kteří dotáhnou projekt do zdárného konce. V tomto případě se zákazník mohl spolehnout na tyto konzultanty.

Jiří Balcárek

Ředitel divize Telco a Retail

Jiří Balcárek

Josef Pinkr

Consultant

Josef Pinkr

Řešíte podobný problém? Pojďme se o něm pobavit.

Děkujeme

V co nejbližší době se vám ozveme.

Sdílejte dále: