Master data management

© 2011 Ing. Roman Fischer

Master data management (MDM)

Pracovní proces spočívající v dosažení konzistence, přesnosti, spočítatelnosti klíčových dat.
Cílový segment pro MDM: banky, pojišťovny, telco, řetězce, atd.

Master data

Klíčová data využívaná (sdílená) v mnoha obchodních procesech.
Hlavní data společnosti = majetek, klienti, produkty = Statická data
Z master dat se stávají číselníky pro ostatní systémy.

MDM benefity

Management kampaní
Rekonsiliace (srovnávání dat)
Vztah se zákazníkem
Zlepšování odběratelských řetězců

MDM použití

Telco spojení produktů se zákazníky
Banky identifikace všech zákazníků
Pojišťovny orientace na klienta, ze smlouvy se stává klient

Technické komponenty MDM

Data architecture - Struktura, skladba dat
Data integration - Kam data tečou
Metadata - Jaká data se vyskytují
Data quality - Jaká je kvalita dat

Oproti technickým komponentám je samotné MDM koncept řešení.

MDM je zdroj „jediné“ pravdy. Obsahuje data v konsolidovaném stavu (stejně jako DWH). Po implementaci MDM se Front-End jednotlivých systémů zaslepí, aby nedocházelo k zašpinění dat znovu.

Data governance

Data jsou majetek, je potřeba se o něj starat. Proto potřebujeme znalost – znalost je v lidech.
Data governance = strategie, politika, organizace, měření, architektura

MDM databáze

Skládá se z 3 vrstev:

1. Původní data – externí
2. Vyčištěná data
3. Konsolidovaná data

Způsoby ukládání do MDM databáze:

1. ODS (operational data store)
2. Registry
3. Transakční způsob (slave copy)

MDM – Data quality:

Data jsou kvalitní, jestliže naplňují očekávání uživatelů. Kvalitu dat tedy možno chápat jako míru naplnění očekávání uživatelů těchto dat.

MDM – Cleansing:

Porozumění datům. Definice business požadavků pravidel.

Realizace MDM

Vychází z korporátní strategie
Identifikace MDM vlastníka, určení odpovědnosti.
Identifikace stakeholdera a uživatele.

Postup realizace MDM:

Vize – klíčové požadavky – implementace.
Eliminace chyb při zadávání: Data Quality Firewall.

Dopad datové kvality

Customer centricity - Detailní znalost zákazníky
Marketing - Segmentace zákazníků, produktů, …
Kampaně - Efektivní komunikace
Risk management - Eliminace riskantních úvěrů, hypoték
Sales - Znalost zákazníka, jeho potřeb
Produkt management - Konsolidovaná data o produktech

Důvody nekvalitních dat

Lidský faktor: překlepy, zápisy do jiných polí, „lidová tvořivost“ (těh. Petra Nováková)
Mnoho dat v různých agendách
Různé věcné oblasti
Různé technologie a aplikace – migrovaná data
Různí uživatelé v různém čase

Typické problémy s kvalitou dat

Přepsání, přeslechnutí
Nestrukturovaný zápis
Diakritika, cizojazyčná jména
Interpretace null hodnot (1.1.1900)
Implicitní hodnoty
Duplicity

Tři základní součásti řešení Data Quality

1. Metodika
2. Softwarový nástroj – analýzy, čištění, unifikace
3. Know-how, best practices

Metriky čistoty dat

Metriky objektivní

• Porovnání s definicí (číselníkem)
• Dokumentace stavu dat

Metriky subjektivní

• Počet provedených úprav, oprav
• Záleží na použitém nástroji
• Dokumentace změny dat

Měření kvality dat

1. Správnost
2. Úplnost
3. Konzistence
4. Unikátnost
5. Standardizovanost
6. Platnost

Data profiling

Identifikace, kvantifikace, klasifikace a analýzy chyb v datech.
Poznání (změření) stavu kvality dat

Data quality reporting

Nalezení a odstranění příčin nekvalitních dat
Zjištění, zda se opravy vyplatí – manažerský přístup

Data quality audit

Jaké jsou dopady nekvality dat
Řešení příčin nekvality dat
Zkoumání okolí dat
Zkoumání procesů pracujících s daty
Podklad pro rozhodování, co dál

Metriky kvality dat

Přehlednost
Srozumitelnost
Univerzálnost

Unifikace dat

Seskupení záznamů do skupin, které patří ke konkrétnímu subjektu
Výběr nejlepšího záznamu (master)
Přidělení jednoznačného identifikátoru

Deduplikace

Deduplikovaná databáze obsahuje právě jeden záznam pro každého jednotlivého jedince (representant).
Representant nemusí (může) být master,.
Zpravidla jde o nový záznam.
Záleží na metodě:
- Best of best (BoB)
- Závazně z číselníku

Identifikace - Přesné určení záznamu
Hierarchická unifikace – více různých kritérií, sloučení záznamů podle hierarchického třídění

Householding

Skupina lidí (klientů), kteří mají něco společného.

• Domácnost
• Rodina
• Domov důchodců
• Vlastníci majetku
• Obchodní partneři
• Zaměstnanci

Business účely householdingu

Risikový přístup – eliminace rizik (úvěry)
Marketingový přístup – kampaně

Vlastnosti householdingu, pohled risika

Každý klient tvoří jádro 1 HH
Klient může být ve více HH
Počet HH = počet unifikovaných klientů

Vlastnosti householdingu, pohled marketingu

Každý klient je v 1 HH
Počet klientů <= počet unifikovaných klientů (marketing postihuje HH jako celek)