Data Governance & Data Operations — szabályokból működési rendszer

Kontextus

Egy hosszú idő alatt kialakult vállalati adatkörnyezetben az adatfolyamok több technológiai generáción és szervezeti határon haladnak keresztül. Kötegelt feldolgozások, integrációk, adatbázisok, adattárházak és riportok működnek egymás mellett, gyakran eltérő fejlesztési és üzemeltetési rend szerint.

A technikai folyamatok önmagukban működhetnek, miközben a teljes adatút mégsem látható. Egy fogalom több helyen mást jelenthet, az adatminőségi problémák felelőse nem mindig egyértelmű, az incidensek megoldása pedig jelentős mértékben személyes tapasztalatra épülhet.

Ebben a környezetben a Data Governance és a Data Operations nem két külön kezdeményezés. Az egyik meghatározza, mit jelent az adat és ki felel érte, a másik biztosítja, hogy a hozzá tartozó folyamatok kiszámíthatóan működjenek.

A governance akkor válik valós képességgé, amikor a napi működésben is látható, ki miért és milyen állapotban felel.

Az architekturális kérdés

A központi kérdés az volt, hogyan lehet az elveket és felelősségeket úgy beépíteni az adatfolyamok működésébe, hogy azok ne külön dokumentációként, hanem végrehajtható és ellenőrizhető rendszerként jelenjenek meg.

Ehhez közös választ kellett adni arra, hogy:

• mi számít önálló adatfolyamnak és hol húzódnak a határai;
• mely üzleti fogalmakat és adatprodukciókat szolgálja;
• ki az üzleti tulajdonos, a szakmai adatfelelős és a technikai üzemeltető;
• milyen minőségi, frissességi és rendelkezésre állási elvárások tartoznak hozzá;
• hogyan követhető az adat eredete és a feldolgozások közötti útja;
• mi történik hiba, változás vagy új kiadás esetén;
• valamint hogyan válik a működés auditálhatóvá anélkül, hogy aránytalan adminisztrációt hozna létre.

Az eredménynek egyszerre kellett támogatnia a szakmai irányítást és a napi technikai üzemeltetést.

Megkötések

A működési modellt egy szabályozott, személyes és üzletileg érzékeny adatokat is kezelő környezethez kellett igazítani. A tervezést több körülmény alakította:

• folyamatosan működő, üzletileg kritikus adatfeldolgozások;
• örökölt és elosztott technológiák együttélése;
• több csapat és külső-belső szereplő közötti felelősségmegosztás;
• eltérő dokumentáltságú és érettségű adatfolyamok;
• szigorú hozzáférési, változáskezelési és auditkövetelmények;
• a meglévő üzemeltetés fenntartása az átalakulás alatt;
• valamint az, hogy a bevezetés ne egyetlen nagy átszervezéstől függjön.

A governance nem növelhette indokolatlanul a működési terhet. Csak olyan információ és kontroll kerülhetett a modellbe, amelynek világos használati és felelősségi szerepe van.

Megközelítés

Az adatfolyam lett a közös működési egység

Az első lépés egy egységes adatfolyam-definíció kialakítása volt. Egy adatfolyam nem pusztán egy technikai job vagy interfész, hanem a forrástól a publikált adatprodukcióig tartó, felelősségekkel és elvárásokkal rendelkező folyamat.

Minden fontos adatfolyamhoz ugyanaz a minimális leírás kapcsolódott: üzleti cél, források és kimenetek, tulajdonosok, függőségek, feldolgozási rend, minőségi szabályok, szolgáltatási elvárások, hibakezelés és visszaállítás.

Ezzel a technikai működés, a metaadat és a felelősség ugyanarra az objektumra kezdett hivatkozni.

A felelősség szerepkör, nem személynév

Az üzleti tulajdonos, a data steward, a technikai felelős és az üzemeltető feladatai világosan elkülönültek. A szerepekhez döntési jogok, feladatok és eszkalációs pontok kapcsolódtak.

Így a működés nem egyes személyek hallgatólagos tudására épült. Szervezeti vagy személyi változás esetén a felelősségi modell továbbra is értelmezhető maradt.

A governance és az üzemeltetés közös visszacsatolást kapott

Az adatminőségi szabályok, a frissességi elvárások és a lineage nem csak a katalógusban jelentek meg. Kapcsolódtak a futások megfigyeléséhez, az incidenskezeléshez, a változásokhoz és a kiadásokhoz.

Egy hiba így nem kizárólag technikai riasztás volt. Láthatóvá vált, mely üzleti adatokat érinti, kihez kell eszkalálni, milyen downstream felhasználásokat befolyásol, és milyen feltételekkel tekinthető helyreállítottnak.

A működési modell

A kialakított rendszer négy egymásra épülő rétegben kapcsolta össze az irányítást és az üzemeltetést:

1. 01Üzleti fogalmak, tulajdonosok és elvárások
2. 02Metaadatok, lineage és minőségi szabályok
3. 03Orchestration, megfigyelhetőség és runbookok
4. 04Incidens-, változás- és kiadáskezelés

Az üzleti réteg meghatározta az adat jelentését, értékét és felelőseit. A metaadat-réteg leírta, hol található, honnan származik és milyen szabályok vonatkoznak rá. Az operációs réteg végrehajtotta és megfigyelte a folyamatokat, míg a szolgáltatásmenedzsment a hibák, változások és kiadások kontrollált kezelését biztosította.

A rétegek között közös azonosítók és állapotok teremtettek kapcsolatot. Így egy üzleti adatfogalomtól el lehetett jutni az azt előállító folyamatig, annak aktuális állapotáig és a hozzá kapcsolódó incidensig vagy változásig.

Kulcsdöntések

A governance nem egy eszköz bevezetése

Az adatkatalógus, a minőségellenőrzés és a megfigyelhetőség fontos technikai képességek, de önmagukban nem határozzák meg a felelősséget és a döntési rendet. Előbb a működési modell készült el, és csak utána lehetett a megfelelő eszközöket a szerepekhez és folyamatokhoz illeszteni.

A metaadat a munka melléktermékeként keletkezik

A kizárólag kézi dokumentáció gyorsan eltávolodik a valós működéstől. Ahol lehetséges, a technikai metaadatok, futási állapotok és lineage-információk automatikusan keletkeznek. A kézi karbantartás az üzleti jelentésre, felelősségre és indoklásra koncentrál.

Az üzleti és technikai adatminőség külön, mégis összekapcsolva működik

Az, hogy egy fájl megérkezett vagy egy folyamat sikeresen lefutott, még nem jelenti, hogy az adat üzletileg használható. A technikai ellenőrzések és az üzleti szabályok külön felelősséget kaptak, de közös állapotban és eszkalációban találkoztak.

A bevezetést a kockázat sorrendje vezeti

Nem minden adatfolyam igényel egyszerre azonos mélységű kontrollt. Az első körbe az üzletileg kritikus, auditérzékeny vagy gyakran hibázó folyamatok kerültek. Az ezekből kialakított minták fokozatosan terjeszthetők ki a teljes környezetre.

Eredmény

A kialakított működési modell közös nyelvet teremtett az üzleti adatfelelősök, a fejlesztők, az üzemeltetők és a szolgáltatásmenedzsment között.

• Az adatfolyamokhoz egyértelmű cél, tulajdonos és technikai felelősség kapcsolódott.
• A metaadat, a lineage és a minőségi elvárások a napi működés részévé váltak.
• Egy incidens üzleti hatása a technikai feldolgozási úttal együtt vált követhetővé.
• A runbookok, eszkalációk és visszaállítási lépések csökkentették a személyfüggő működést.
• A változások és kiadások ellenőrizhető kapcsolatot kaptak az érintett adatfolyamokhoz.
• A fokozatos bevezetés lehetővé tette, hogy a meglévő működés fenntartása mellett növekedjen a governance-érettség.

Az eredmény nem egy külön governance-réteg lett a működés fölött. A governance maga vált a működés egyik tulajdonságává.

Tanulságok

A Data Governance tartós értékét nem a létrehozott szabályzatok vagy a katalógusban szereplő objektumok száma mutatja meg. Az számít, hogy egy adatprobléma esetén gyorsan kiderül-e, mit érint, ki dönt róla, hogyan javítható, és mikor tekinthető újra megbízhatónak.

Ha a fogalmak, felelősségek, minőségi szabályok és operációs folyamatok ugyanazt az adatutat írják le, akkor az irányítás nem lassítja a működést. Éppen ellenkezőleg: érthetőbbé, kiszámíthatóbbá és fenntarthatóbbá teszi.