Kooperativa New DWH Case Study


Kooperativa

Nový datový sklad v Kooperativě a ČPP za 17 měsíců při zachování byznys kontinuity

V rekordním čase 17 měsíců vybudovaly Kooperativa a Česká podnikatelská pojišťovna s Adastrou nový datový sklad. Při zachování byznys kontinuity do něj převedly data ze stávajícího řešení (přes 5 000 tabulek). Aktualizace dat se 6krát zkrátila.

Po 10 letech provozu DWH (datového skladu) se pojišťovny Kooperativa a ČPP rozhodly pro náhradu stávajícího DWH z důvodu rostoucích požadavků byznysových útvarů na kvalitu a rychlost poskytovaných informací. Řešení DWH/BI (Business Intelligence) vybudovaly na platformě Microsoft a zmigrovaly do dvou instancí nového DWH přes 5 000 tabulek. Nové řešení 6násobně zkrátilo dobu aktualizace dat v DWH. Podílelo se na něm přes 60 interních pracovníků obou pojišťoven a 20 konzultantů Adastry a jeho budování trvalo 1 rok a 5 měsíců. Do provozu bylo uvedeno o rok dříve, než se původně plánovalo.

Jaký problém jsme řešili

Datový sklad postavený před 10 lety, který využívaly obě pojišťovny, přestal postupně vyhovovat nárokům byznysových útvarů pojišťoven. Nahrávání dat do DWH ze zdrojových systémů trvalo skoro dva dny, probíhalo obvykle o víkendu s nutností načítání hlídat a v případě chyby zasáhnout. Aktualizace dat v datovém skladu proto probíhala s týdenní frekvencí, většina útvarů tak neměla úplně aktuální informace. Mnozí pracovníci řešili svoje reportingové potřeby nestandardními postupy, mimo jiné vytvářením reportů přímo z různých kopií zdrojových systémů, nad kterými si budovali vlastní „datasklady“. Významným motivem byly i rostoucí náklady na provoz a údržbu stávající technologie.

Vedení pojišťoven proto začala uvažovat o vybudování zcela nového robustního DWH, který by jim poskytl i možnost využívat moderní BI nástroje. Současně požadovala, aby použité technologie a architektura řešení umožnily dynamický rozvoj DWH a BI v obou společnostech s ohledem na rostoucí požadavky útvarů, a to po dobu nejméně 10 let. Zohledňovala přitom už i plánovanou fúzi Kooperativy s Pojišťovnou České spořitelny (PČS) k 1. 1. 2019.

10 let

Pojišťovny Kooperativa a ČPP používaly svůj datový sklad na technologii SAS 10 let.

Jaké řešení jsme zvolili

Pojišťovny přistoupily k projektu zodpovědně a před jeho zahájením ověřily ve spolupráci s Adastrou významné části a postupy budoucího řešení formou PoC (Proof-of-Concept).

V prvním kroku došlo k podstatnému zkrácení ETL transformací náhradou full loadů inkrementálním načítáním dat. Současně bylo třeba zajistit rychlé načítání dat z Informixu (databáze hlavních zdrojových systémů) do SQL Serveru. Adastra navrhla inovativní přístup přímého nahrávání dat z Informixu do SQL Serveru, který umožňoval nestandardní paralelní načítání stovek tabulek s využitím škálování. Spolu se zákazníkem jsme provedli řadu testů, které potvrdily přednosti navrženého řešení.

Důležitým aspektem při implementaci nového DWH/BI řešení bylo zajištění business kontinuity. Zvolili jsme strategii nahrazení normalizované L1 vrstvy 1:1 vzhledem k původnímu DWH s tím, že docházelo k optimalizacím části transformací. Vznikl klon L1 vrstvy datového skladu (na technologii Microsoft SQL Server 2016/17), pod níž jsme paralelně budovali stage vrstvu L0 a vyvíjeli vrstvu L2 a datamarty. Zároveň probíhala unifikace postupů pro Kooperativu a ČPP, včetně přípravy na fúzi s PČS.

Sama technologie by ovšem efektivní a kvalitní vývoj v rámci relativně velkého vývojového týmu neumožnila. Pro akceleraci DWH/ETL vývoje na platformě SQL Serveru začal zákazník po důkladném vyhodnocení několika variant používat Adastra ETL framework – sadu předpřipravených šablon, DWH/ETL standardů a jejich promítnutí do plánování, spouštění a monitoringu běhu ETL. Výrazně se tak urychlil a zkvalitnil vývoj i vlastní nasazení do produkce.

5400

Během projektu došlo k vytvoření nebo migraci cca 1600 tabulek v L0 vrstvě, cca 1600 tabulek v L1 vrstvě, více než 200 tabulek/view v L2 vrstvě a více než 2000 uživatelských tabulek v datamartech. Celkem 5400 tabulek.

Jak projekt dopadl

Projekt byl zahájen 10. dubna 2018, úvodní etapy probíhaly formou „Fixed Time & Fixed Price“. V září 2018 stanovil řídící výbor ambiciózní termín dokončení projektu na 13. 9. 2019, o rok dříve, než se původně plánovalo. Z důvodu akcelerace vývojových prací se pojišťovny s Adastrou domluvily na přechodu na agilní přístup řízení projektu a sestavení společného vývojového týmu. Kooperativa využila zkušeností Adastry z podobných projektů, pomohla nastavit projektové řízení, metodiku vývoje a nasazování do produkce.

6x

Nahrávání dat ze zdrojových systémů se z původních 36 hodin zkrátilo na cca 6 hodin (tzn. 6krát).

Díky příkladné spolupráci společného týmu se ambiciózní termín podařilo splnit a původní DWH byl v pátek 13. září 2019 ve 13:13 vypnut. Tím se podařilo uspořit významné prostředky na ročním předplatném za licence původního DWH. Společnosti Kooperativa a ČPP získaly sjednocené řešení DWH a BI na moderní platformě Microsoft SQL s jednotným datovým modelem. Každá pojišťovna přitom využívá vlastní instanci datového skladu. Data se aktualizují denně, aktualizace dílčích dat mohou dle potřeb probíhat i několikrát denně.

17

Budování nového DWH v pojišťovnách Kooperativa a ČPP trvalo 17 měsíců. Projekt skončil o rok dříve, než se původně plánovalo.

Nad rámec primárních cílů projektu (náhrada DWH 1:1) se podařilo naplnit řadu aktivit vytvářejících pro pojišťovny cennou přidanou hodnotu. Jedná se např. o rozšíření datového skladu o bilanční sestavy a účetnictví, sjednocení většiny dříve samostatných reportů Kooperativy a ČPP nebo vznik jednotné sémantické (interpretační) vrstvy pro každou z firem. To umožnilo náhradu více než 200 exportů různým útvarům, které si nad daty vytvářely vlastní výstupy. Místo zpracování dat se tak mohou útvary věnovat operativní a analytické činnosti.

Ihned po dokončení náhrady datového skladu jsme společně zahájili plánování dalšího rozvoje nového DWH i celé oblasti BI obou společností. Na žádost zákazníka jsme např. dodatečně doplnili řešení o další standardní komponentu Adastry – Web Upload Utility – umožňující komfortní a auditovatelné načítání datových souborů různých formátů (xls, csv apod.) do DWH. Čeká nás např. dokončení „datové“ fúze Kooperativy s PČS, vyřešení požadavků IFRS 17 atd.

80

Ve společném týmu působilo 80 expertů - 20 specialistů z Adastry a více než 60 pracovníků Kooperativy a ČPP.

Když jsme před více než rokem přišli s požadavkem na zkrácení termínu náhrady DWH o jeden rok, mysleli jsme to částečně jako nadsázku. Ale tým pochopil termín jako výzvu a splnil jej. Bude to znít jako fráze, ale dílo se podařilo zejména proto, že zúčastnění nehráli vlastní hry, ale doslova vložili svou energii a schopnosti do společného výsledku. Díky tomu jsme se v klíčové BI / DWH oblasti posunuli o významný krok a můžeme efektivně podporovat byznys obou pojišťoven.

Filip Král, člen představenstva, Kooperativa

Kdo se na projektu podílel

Naše dobrá pověst stojí na schopných lidech, kteří dotáhnou projekt do zdárného konce. V tomto případě se zákazník mohl spolehnout na tyto konzultanty.

Tomáš Bělík

Ředitel divize Government & Insurance

Tomáš Bělík

Martin Bergner

Business Consultant

Martin Bergner

Oto Gücklhorn

Account Manager

Oto Gücklhorn

David Kaláb

Senior Consultant

David Kaláb

Sdílejte dále:

Zajímá vás podobné řešení? Ozvěte se nám.

Děkujeme

V co nejbližší době se vám ozveme.