.

Efektivní datový sklad

DWH Framework: jaká úskalí ETL vyřešíte?

Kdy použít ETL procesy ručně aneb když nemáte DWH Framework Standardizované ETL procesy aneb když máte DWH Framework
Kreativita programátorů
  • každý ETL vývojář má jiný styl programování
  • je obtížné si u programátorů vynutit, aby se drželi standardů
  • DWH Framework generuje jednotný styl ETL vývojářů a zajistí standardizovaný kód.
    Chaos v ETL procesech
  • malá kontrola nad stovkami/tisíci používanými procesy ETL
  • neznalost, co v ETL procesech je
  • Vysoká kontrola nad ETL procesy díky řízení metadaty.
    Nízká spolehlivost
  • nahrávání dat často neproběhne podle plánu/záměru
  • vysoká pravděpodobnost, že se s každou malou změnou proces rozpadne
  • ručně psané ETL procesy nelze 100% testovat
  • Vysoká kontrola nad ETL procesy díky řízení metadaty.
    Bez logů
  • ETL rutiny se logují jen sporadicky
  • pokud už nějaké logy jsou, pak většinou pouze technické, které vytváří samotný engine
  • DWH Framework automaticky loguje podle předem definovaných postupů, procedur a pravidel. Vždy máte podrobné informace o tom, kdy a jak byl daný řádek v tabulce vytvořen a změněn.
    Nemožnost nalezení chyb
  • je velmi obtížné zjistit, proč ETL proces nefunguje, a kde konktrétně je chyba
  • Standardizované monitorovací dashboardy v DWH Frameworku toto plně řeší.
    Žádná dokumentace
  • existuje-li nějaká dokumentace o workflow a mapování procesů ETL, pak jen minimální
  • Díky metadatů je DWH Framework „samopopisný“, lze ho snadno napojit na dokumentační nástroje, které s ním díky metadatům budou snadno spolupracovat a dokumentovat všechny ETL procesy.
    Problémy s dalším vývojem
  • vývojáři mají velké problémy s dalším vývojem, protože neví, kde začít, na co navázat apod.
  • ještě složitější je situace, kdy původní tým odešel a neexistuje dokumentace
  • DWH Framework omezí další kreativitu vývojářů, zajistí standardizované generování nových kódů.
    Nelze administrovat
  • neexistuje celkový obrázek administrace všech ETL procesů
  • Administrátor datového skladu přesně ví, které procesy běží a které mají problémy, kde proces spadl, v kolika % vše úspěšně/ neúspěšně skončilo apod.
    Nízká výkonnost
  • chybovost ETL procesů a neefektivní ETL kódy jsou časté
  • nutnost jejich přepisování snižuje výkonnost celého procesu/vývoje
  • DWH Framework napíše kód za vývojáře, efektivně, standardizovaně. Speciality se řeší ad-hoc.
    Správa vyžaduje vývojáře
  • jakýkoli zásah a správa ETL procesů či optimalizace datových typů vyžaduje vývojáře, jedině oni ví, co je v ETL napsané a jak to funguje
  • Administrátor se díky DWH Frameworku může podívat do servisních reportů, identifikovat problémové místo a buď sám chybu opravit, nebo předat dále.
    Nemožnost přepoužití stávajících ETL procesů
  • při migracích ze systému na systém je efektivnější začít stavět ETL procesy od nuly než věnovat enormní úsilí a čas kompletní datové analýze
  • Nastavit procesy jde u nového řešení hladce, původní jsou metadatově popsané v DWH Frameworku, stačí je přepoužít, příp. upravit podle nových potřeb.
    Nejistota
  • Správci DWH a administrátoři žijí v trvalé nejistotě, při každé nové verzi či upgradu dat dochází k nepředvídatelným výsledkům
  • Standardizovaný kód a proces výrazně snižují nástrahy ETL procesů a nejistotu ve výsledcích.

    Chcete i vy naplno vytěžit symbiózu, kterou spojení technologií Microsoft a Adastra DWH Frameworku nabízí? Ozvěte se nám.

    Děkujeme

    V co nejbližší době se vám ozveme.

    David Kaláb

    Ředitel divize Government & Insurance

    David Kaláb

    Michal Ponocný

    Senior konzultant & Expert na ETL procesy

    Michal Ponocný