Kvalita dat a federativn� syst�my

�asopis: Moderní �ízení 10/2010
Autor: Roman Tobišek, Adastra
Klí�ová slova: Kvalita dat, MDM - Master Data Management  

Nejd�le�it�jším podkladem pro správné rozhodnutí jsou správné informace ve správný �as. V našem sv�t� jsou správné informace obvykle zajiš�ovány prost�ednictvím informa�ních technologií. 

Klí�ovým vstupem procesu tvorby informací jsou data

Jde o data o zákaznících, produktech, lokalitách apod. p�i�em� p�irozenou pot�ebou u�ivatel� správných informací je kvalita dat. Kvalita dostate�ná na to, aby výsledná informace byla spolehlivá a d�v�ryhodná pro rozhodnutí, k n�mu� je podkladem.
P�edstavme si marketingového �editele, který má rozhodnout o zp�sobu provedení marketingové kampan�. Klí�ovou informací pro n�j bude po�et klient� v jednotlivých segmentech �i regionech. Na základ� t�chto údaj� rozhodne, zda se vyplatí klienty oslovovat plošn�, nebo s vyu�itím p�ímého oslovení formou vhodného distribu�ního kanálu. Jak spolehlivé bude jeho rozhodnutí, pokud je v klientském systému vypln�no pouze 60 % adres a navíc jsou data o n�kterých klientech evidována duplicitn�?
V n�kterých oblastech je kvalita dat natolik zásadní, �e je dokonce vynucována zákonem.

Máme na mysli p�edevším státní správu, která vede klí�ové evidence a registry. A� se ji� jedná o evidenci obyvatel, da�ových poplatník� nebo chovatel� motýl�, v�dy musí být zajišt�na jednozna�ná identifikace daného subjektu. Evidence vedené státní správou jsou závazné pro všechny orgány státní správy a s jistou mírou nadsázky lze tvrdit, �e kdo není v evidenci státní správy, jako by ani neexistoval. Proto je kvalita dat v informa�ních systémech státní správy p�ímo stanovena zákonem.

Jak na kvalitu dat?

Bez kvalitních dat nelze spolehliv� rozhodovat, podobn� jako nelze va�it bez soli. Kdy� v oné známé pohádce s�l došla, král si vypomohl bezednou slánkou. Takový komfort k dispozici nemáme, proto musíme kvalitu dat zajistit jinými prost�edky.
Pokud zajiš�ujeme kvalitu dat v samostatném systému, jeho� vstupy máme pln� pod kontrolou, je to docela snadné. Na po�átku našeho sna�ení by m�lo být poznání, jaký je objektivní stav kvality dat. Toho lze dosáhnout nap�. provedením jednoduchého auditu datové kvality, který ov��í základní kvalitativní charakteristiky dat v systému (p�esnost, úplnost, konzistence, platnost apod.). Na základ� výstup� z auditu je mo�né provést nápravu nepo�ádku. Obvykle bojujeme na dvou frontách – v aplikacích a v procesech.

Prevence

V oblasti aplikací je t�eba zajistit, aby se zjišt�né proh�ešky a nedostatky ji� nemohly opakovat.Proto je nutné doplnit do vstupních rozhraní (tzn. do webových formulá�� nebo obrazovek aplikace) p�íslušné kontroly, které zajistí, aby se do systému dostala jen data spl�ující definované po�adavky. Takto lze nap�. vynutit zápis telefonního �ísla nebo adresy standardizovaným zp�sobem. Vybrané údaje je vhodné p�ímo porovnávat s jednotným �íselníkem (nap�. �íselník stát�, m�st, titul� apod.). Je t�eba také ur�it, které údaje opravdu musí být vypln�né (rodné �íslo) a kde se jedná o �ist� dobrovolnou polo�ku (jméno oblíbeného herce). Povinné a nepovinné údaje musí být �ešeny na úrovni systému, nelze se spoléhat na pe�livost u�ivatel�.

Z praxe známe p�ípady, kdy b�ný provoz odhalí nedostatky v systému, které u�ivatelé �eší kreativn� po svém, bohu�el v�dy ka�dý jinak. Jedná se v�tšinou o zapsání informace, pro kterou v systému není kolonka. Ve jmén� klienta se tak m��eme do�íst, �e byl vymazán, v telefonním �ísle je pro zm�nu uvedena d�le�itá informace „volat po 16:00“. Obsluze rozhodn� nelze vy�ítat, �e uvádí do systému d�le�ité informace, je však t�eba uzp�sobit systém tak, aby vyhovoval pot�ebám celé organizace i jednotlivých u�ivatel�.

Reálný provoz ob�as p�ináší ne�ekané situace a ka�dý správný systém by se jim m�l co nejd�íve p�izp�sobit. V oblasti proces� je t�eba zajistit, aby byly zjišt�né neshody v datech podchyceny metodicky. Musí být zabezpe�eno, aby postupy vedoucí k zápisu nebo zm�n� údaj� v systému byly jednozna�n� popsány a nebyl mo�ný nejednozna�ný výklad. Pokud jednotlivé polo�ky v systému umo��ují volný zápis obsluhy (nap�. textové pole), musí být jasn� �e�eno, jakými pravidly se zápis �ídí. Je-li v systému nap�. volné pole pro zápis adresy (co� mimochodem není p�íliš koncep�ní �ešení), m�l by pro zápis adresy existovat standard, aby byly všechny adresy zapisovány stejným zp�sobem. Obvykle se takováto doporu�ení a konvence umís�ují do manuál� a p�íru�ek, n�kdy té� do podnikových sm�rnic �i politik.

Resty minulosti

Pokud se nám poda�í upravit systémy a procesy tak, aby ji� nedovolovaly vznik nových ne�istot, máme nap�l vyhráno. Zbývá ješt� vy�istit nepo�ádek, který ji� v systému existuje. I zde je k dispozici n�kolik variant �ešení. M��eme stav prost� ignorovat. To lze pouze v p�ípad�, �e v datech nebyly zjišt�ny zásadní problémy, které by sni�ovaly jejich pou�itelnost. V�dy je t�eba mít na z�eteli, �e náklady na nápravu nesmí p�evýšit p�ínosy, kterých nápravou dosáhneme. Nemá tedy smysl hnát se za perfektními daty, pokud nám vyhovuje pr�m�rná kvalita.

Další mo�ností je jednorázové vy�išt�ní dat:

Podle povahy systému a zejména v závislosti na objemu a rozsahu dat je mo�né provést manuální, nebo automatizované vy�išt�ní. Manuální korektury lze provád�t u mén� rozsáhlých databází s �ádov� stovkami a� tisíci záznam�. Je t�eba si však uv�domit, �e manuální opravy budou provád�t op�t chybující lidé, v�tšinou navíc mén� kvalifikovaní brigádníci s nízkou hodinovou sazbou a vysokou chybovostí.

Pro automatizované �išt�ní se pou�ívá specializovaný nástroj datové kvality, jeho� cena není zanedbatelná. V praxi obvykle postupujeme tak, �e se provede jednorázové automatizované vy�išt�ní dat a licence pro pou�ití nástroje je pouze zap�j�ena za zlomek její celkové ceny.

Trvalá implementace takového nástroje je pak doporu�ena v prost�edí, kde dochází k �astým zm�nám velkého mno�ství dat, p�ípadn� k jejich migracím mezi systémy. Nástroj datové kvality v takovém p�ípad� zajiš�uje p�ípravu dat p�ed vstupem do systému na periodické bázi (obvykle nap�. pro datový sklad).

Budujeme konsolidovaný registr

Výše uvedené postupy platí v p�ípad�, kdy spravujeme samostatný systém a jeho vstupy a výstupy máme pln� pod kontrolou. Jak je tomu ale v p�ípad�, kdy chceme vybudovat centrální systém konsolidací dat z více jiných systém�?Takovým p�ípadem m��e být datový sklad, který agreguje data z r�zných primárních systém� a poskytuje analytické výstupy a informace formou report� koncovým u�ivatel�m – analytik�m a mana�er�m s rozhodovací pravomocí.

V poslední dob� se �asto setkáváme také s �ešením typu MDM (Master Data Management). Zde se jedná o vytvo�ení centrálního registru, který obsahuje konsolidovaná master data (jinak té� kmenová �i referen�ní) z r�zných systém�, a poskytuje je jejich konzument�m v reálném �ase. Jedná se o federativní systémy, které mohou vyu�ívat r�zné technologické platformy a zárove� mohou být i geograficky �len�né.

Nej�ast�ji se takto �eší centrální klientské databáze, které vznikají konsolidací klientských databází z jednotlivých produktových systém�. Celá organizace pak vyu�ívá informace o všech klientech bez ohledu na to, ve kterém systému byl ten který klient zaevidován. V poslední dob� se dobrým p�íkladem MDM �ešení ve státní správ� stává ucelený systém Základních registr�, jeho� sou�ástí budou Registr obyvatel, Registr osob a Registr územních jednotek a nemovitostí. Všechny instituce státní správy tak budou moci vyu�ívat jednu centrální evidenci všech subjekt�, ani� by musely �ešit, která instituce daný subjekt vytvo�ila �i povolila.
MDM �ešení v sob� skrývají jednu podstatnou p�eká�ku, která výrazn� znesnad�uje implementaci nápravných mechanism� pro zajišt�ní datové kvality. Data prezentovaná MDM �ešením vznikají v jiných systémech a tam jsou i jejich originály. Pokud je tedy zjišt�na n�jaká vada (nap�. nesprávná adresa klienta), musí být opravena v autorském systému a teprve následn� se propaguje do centrálního MDM �ešení. M��e to fungovat i opa�n� – vada se opraví v centrálním registru a následn� se propaguje do všech odebírajících systém� v�etn� toho autorského. Zále�í na konkrétní architektu�e celého �ešení, zda je mo�né editovat master data p�ímo v centrálním registru �i nikoli. Tento koncept však zavádí i jednu pozitivní zm�nu – pro vytvo�ení MDM �ešení musí být nadefinovány jednotné standardy. V praxi to tedy znamená, �e ka�dá logická entita (nap�. klient, ve státní správ� da�ový poplatník nebo jiný subjekt) je popsána jednotným zp�sobem, který musí akceptovat všechny systémy zapojené do MDM. B�hem implementace takového �ešení jsou vzájemn� slad�ny definice a standardy jednotlivých atribut� a p�i b�ném provozu pak nem��e docházet k tomu, aby byla nap�. adresa zapisována r�zným zp�sobem. Je pot�eba si však uv�domit, �e implementace MDM �ešení je velmi komplexní a náro�ná zále�itost, která s sebou p�inese mj. i pot�ebu �etných oprav dat v primárních systémech. V rámci MDM jsou toti� data r�zných systém� navzájem konfrontována a to m��e p�sobit problémy, které se dosud v rámci organizace nevyskytly.

Jak zajistit kvalitu dat v registru?

V typické architektu�e MDM �ešení existují primární autorské systémy, co� jsou stávající systémy vytvá�ející data (nap�. o produktech, klientech nebo jiných agendách), a dále centrální registr (n�kdy ozna�ovaný jako MDI Hub).
Centrální registr data nevytvá�í a nem��e je ani m�nit, je však ideálním místem na provád�ní kontrol datové kvality. Zde je mo�né porovnat kvalitu dat všech autorských systém�, kontrolovat dodr�ování standard� a definic a vyhodnocovat �asové trendy zlepšování (�i zhoršování) kvality dat. Zjišt�né problémy v datech nebo p�ípadné rozpory mezi daty r�zných systém� pak mohou být reportovány p�ímo autorským systém�m, které zajistí nápravu. Náprava m��e spo�ívat nap�. v p�ijetí postup� uvedených d�íve v tomto �lánku. Specifickou doménou je op�t oblast státní správy, kdy není mo�né svévoln� opravit data v systému, ale je t�eba postupovat ve shod� s legislativním procesem, co� v krajním p�ípad� m��e vyvolat i soudní �ízení (nap�. zm�na zápisu v Obchodním rejst�íku).

Konec dobrý, všechno dobré

I p�es zjevnou slo�itost a organiza�ní náro�nost stále z�stává koncept MDM tím správným krokem pro v�tšinu velkých korporací a institucí státní správy. Spole�ným jmenovatelem je v�dy velké mno�ství r�zných systém�, které mají pot�ebu sdílet n�která data v reálném �ase. Tento �lánek pomohl nahlédnout do postup�, jak u�ivatel�m i v takto komplexním prost�edí zajistit kvalitní data, která jsou pro spolehlivé informace tím, �ím je s�l pro dobré jídlo.