Každá firma má dáta. Len máloktorá na nich však zakladá rozhodnutia.

Podniky dnes zhromažďujú viac dát než kedykoľvek predtým. Napriek tomu sa mnohé kľúčové rozhodnutia stále prijímajú na základe neúplných reportov, oneskorených informácií alebo čísel, ktorých správnosť nikto nedokáže s istotou potvrdiť. Problémom rozhodne nie je prístup k dátam, ale dôvera v ne. V čase automatizácie a umelej inteligencie sa však schopnosť včas rozpoznať chybu v dátach stáva samozrejmosťou a základom kvalitného rozhodovania. Našťastie existujú nástroje, ktoré vám dokážu pomôcť riadiť spoločnosť na základe dát jednoducho a intuitívne.

Dáta sú všade, istota ale chýba

Moderné spoločnosti investovali v uplynulých rokoch značné prostriedky do dátových skladov, cloudových platforiem, analytických nástrojov a business intelligence riešení. Manažéri majú k dispozícii interaktívne dashboardy, analytici pracujú s rozsiahlymi dátovými modelmi a čoraz viac rozhodovacích procesov podporujú algoritmy umelej inteligencie.

Na prvý pohľad sa zdá, že podniky nikdy nemali lepšie podmienky na rozhodovanie. „Spoločnosti majú obrovské množstvo dát, úspech však nespočíva v ich zhromažďovaní, ale v ich riadení a schopnosti získavať z nich poznatky,“ upozorňuje Prashanth Southekal, odborník na business analytics, profesor a riaditeľ Data for Business Performance Institute.

Realita je však komplikovanejšia. Každý report, predikčný model či automatizované odporúčanie je spoľahlivé iba do takej miery, do akej sú spoľahlivé dáta, z ktorých vychádza. Ak sa do systému nedostane časť transakcií, zmení sa štruktúra databázy, dôjde k oneskoreniu dátového toku alebo sa v kritickom stĺpci objaví neobvyklé množstvo chýbajúcich hodnôt, výsledok môže pôsobiť presvedčivo, a napriek tomu byť nesprávny.

Práve v tom spočíva jedno z najväčších rizík dátového rozhodovania. Nekvalitné dáta sa totiž nemusia prejaviť zlyhaním systému. Dashboard sa načíta, report sa odošle a model vytvorí predikciu. Chyba zostáva skrytá, kým neovplyvní obchodné rozhodnutie.

Otázka preto už neznie: Máme dostatok dát?

Dôležitejšie je pýtať sa: Vieme, či sú naše dáta úplné, aktuálne, konzistentné a dôveryhodné?

Keď technicky funkčný systém poskytuje nesprávny obraz reality

Tradičný monitoring dátovej infraštruktúry sa dlhodobo sústreďoval predovšetkým na technickú dostupnosť. Sleduje, či databáza funguje, či dátový pipeline nespadol alebo či bol proces úspešne dokončený.

To je nevyhnutné, no nie vždy postačujúce.

Dátový proces môže prebehnúť bez jedinej technickej chyby a napriek tomu vytvoriť nespoľahlivý výsledok. Denný import zákazníckych údajov môže byť označený ako úspešný, hoci obsahuje iba polovicu očakávaných záznamov. Aktualizácia predajných dát môže doraziť načas, ale s prázdnymi hodnotami v kľúčovom stĺpci. Zmena v zdrojovom systéme môže nenápadne upraviť dátový typ alebo názov atribútu a ovplyvniť všetky nadväzujúce analýzy.

Takéto incidenty sa často odhalia až v momente, keď si nezrovnalosť všimne analytik, používateľ reportu alebo, v horšom prípade, zákazník.

Práve preto sa do centra pozornosti dostáva data observability, teda schopnosť priebežne sledovať stav, správanie a spoľahlivosť dát naprieč ich životným cyklom. Nejde iba o kontrolu toho, či dátová infraštruktúra funguje. Cieľom je porozumieť tomu, či dáta v systéme stále zodpovedajú realite a či ich možno bezpečne použiť.

Od manuálnych pravidiel k inteligentnému monitoringu

Klasické systémy kontroly kvality dát sú často založené na vopred definovaných pravidlách. Organizácia napríklad určí, že určitý údaj nesmie byť prázdny, hodnota musí zostať v stanovenom rozsahu alebo denný počet záznamov nesmie klesnúť pod konkrétnu hranicu.

Takéto pravidlá majú svoje opodstatnenie. Sú presné, transparentné a nevyhnutné všade tam, kde treba kontrolovať jasne definované obchodné, technické alebo regulačné požiadavky.

Pri veľkých a dynamických dátových prostrediach však vzniká praktický problém: nie všetky odchýlky možno predvídať.

Správanie dát sa mení v závislosti od sezónnosti, rastu spoločnosti, vývoja trhu či správania zákazníkov. Hodnota, ktorá bola pred rokom neobvyklá, môže byť dnes úplne štandardná. Statický limit preto môže vytvárať množstvo zbytočných upozornení alebo, naopak, prehliadnuť problém, ktorý nezodpovedá žiadnemu vopred definovanému scenáru.

Nová generácia platforiem preto kombinuje explicitné validačné pravidlá so štatistickými metódami a strojovým učením. Namiesto kontroly každej hodnoty podľa pevného limitu sa systém učí, ako sa konkrétne dáta správajú za bežných okolností, a následne vyhľadáva významné odchýlky.

Jedným z európskych riešení postavených na tomto princípe je viedenská platforma digna. Jej prístup prepája automatickú detekciu anomálií, kontrolu dátových pravidiel, sledovanie zmien v dátových štruktúrach, monitoring včasnosti dát a dlhodobú analýzu trendov.

Na trhu však existujú aj ďalšie etablované riešenia. Platformy ako Monte Carlo, Bigeye či Databand (IBM) sa zameriavajú na cloud-native observability a integráciu s modernými dátovými stackmi. Great Expectations je populárny open-source nástroj orientovaný na definovanie a testovanie dátových pravidiel, zatiaľ čo Soda alebo Anomalo kombinujú pravidlá s automatickou detekciou anomálií. Každé z týchto riešení má svoje silné stránky od flexibility open-source prístupov až po robustné enterprise integrácie.

Cieľom týchto nástrojov nie je nahradiť dátových odborníkov ďalším dashboardom. Podstatou je upozorniť ich na nezrovnalosti skôr, než sa stanú súčasťou reportov, modelov alebo strategických rozhodnutí.

Päť otázok, ktoré rozhodujú o dôveryhodnosti dát

Kvalitu dát nemožno zúžiť na jednu metriku. Dôveryhodný dátový systém musí priebežne odpovedať na viacero otázok:

• Správajú sa dáta tak, ako očakávame? Náhle zmeny v objeme, distribúcii hodnôt alebo počte chýbajúcich údajov môžu signalizovať problém aj vtedy, keď technické procesy prebehli úspešne.
• Spĺňajú definované obchodné a technické pravidlá? Niektoré podmienky musia zostať jednoznačné, napríklad povolené rozsahy, referenčné hodnoty alebo pravidlá integrity.
• Dorazili v správnom čase? Oneskorené dáta môžu vytvoriť neaktuálny obraz situácie, hoci sú samy osebe správne.
• Nezmenila sa ich štruktúra? Pridanie, odstránenie či premenovanie stĺpca môže ovplyvniť desiatky nadväzujúcich procesov.
• Ako sa vyvíjajú v dlhšom časovom horizonte? Trendy, sezónnosť, volatilita alebo náhle zmeny správania môžu odhaliť súvislosti, ktoré jednotlivá kontrola nezachytí.

„Dáta samy osebe nevytvárajú inteligenciu. Musia byť zasadené do kontextu obchodného cieľa, aby priniesli hodnotný poznatok,“ vysvetľuje Asif Syed, viceprezident pre dátovú stratégiu v spoločnosti Hartford Steam Boiler. Práve prepojenie a spoločné vyhodnotenie všetkých týchto vrstiev vytvára širší obraz o stave dát. Organizácia už nesleduje iba jednotlivé chyby, ale získava kontext potrebný na posúdenie ich významu.

Dôležitá zmena: dáta nemusia opustiť vlastné prostredie

S rastúcim významom dát rastie aj citlivosť otázky, kde a ako sa spracúvajú. Pre spoločnosti z finančného sektora, zdravotníctva, verejnej správy či regulovaných odvetví nemusí byť presun dát do externej SaaS platformy prijateľný, a to bez ohľadu na kvalitu samotného riešenia.

Platforma digna preto využíva architektúru založenú na spracovaní priamo v databázovom prostredí zákazníka. Možno ju prevádzkovať v privátnom cloude alebo lokálne, pričom analyzované dáta zostávajú v infraštruktúre organizácie.

Tento model reaguje na širší európsky trend digitálnej suverenity. Organizácie nechcú iba využívať pokročilé analytické technológie. Potrebujú si zároveň zachovať kontrolu nad citlivými informáciami, spôsobom ich spracovania a prístupom k nim.

V tomto kontexte už ochrana dát nepredstavuje doplnkovú funkciu. Stáva sa súčasťou architektúry samotného produktu.

Menej upozornení môže znamenať lepší dohľad

Jedným z paradoxov monitorovacích systémov je, že väčší počet upozornení nemusí viesť k väčšej bezpečnosti.

Ak dátový tím denne dostáva desiatky alebo stovky hlásení, z ktorých väčšina nepredstavuje skutočný problém, postupne vzniká takzvaná alert fatigue. Upozornenia strácajú prioritu, ich kontrola sa stáva rutinnou a významné incidenty môžu zaniknúť medzi falošnými poplachmi.

Efektívna observabilita preto nespočíva v maximalizácii počtu kontrol. Dôležitejšia je schopnosť rozlíšiť bežnú variabilitu od odchýlky, ktorá si vyžaduje pozornosť.

Praktický príklad poskytuje rakúska spoločnosť ITSV, ktorá spracúva rozsiahle a citlivé dáta pre systém sociálneho zabezpečenia. Podľa publikovanej prípadovej štúdie sa po zavedení automatizovaného monitoringu výrazne rozšírilo pokrytie sledovaných prípadov, zatiaľ čo počet denných upozornení klesol. Výsledkom nebolo menej manuálnej kontroly, ale skôr presnejšie zameranie pozornosti na problémy s reálnym významom.

Podľa dostupných nezávislých porovnaní a testovaní riešení v oblasti data observability sa ukazuje, že jednotlivé platformy vynikajú v rôznych oblastiach. digna napríklad dosahuje veľmi dobré výsledky v prostrediach, kde je kľúčová ochrana dát, možnosť nasadenia on-premise a kombinácia automatickej detekcie anomálií s nízkym počtom falošných upozornení. Naopak, niektorí konkurenti môžu zase ponúkať širšie ekosystémy integrácií, silnejšie cloud-native funkcie alebo väčšiu flexibilitu open-source riešení.

Observabilita sa presúva z dashboardov priamo do vývoja

Dátové tímy dnes nepracujú iba v grafických rozhraniach. Mnohé procesy vznikajú v kóde, notebookoch, automatizovaných pipelineoch a orchestračných nástrojoch. Ak má byť kontrola kvality prirodzenou súčasťou moderného dátového prostredia, musí fungovať aj tam.

Vývoj platforiem preto smeruje k programovateľnosti. Novy  Python SDK platformy digna umožňuje dátovým inžinierom a vedcom pracovať s funkciami observability priamo prostredníctvom kódu a vytvárať tak projekty, konfigurovať monitorované objekty, spúšťať kontroly či získavať výsledky bez potreby manuálnej práce v používateľskom rozhraní.

Nejde iba o technické rozšírenie. Programovateľný prístup umožňuje začleniť kontrolu kvality dát priamo do vývojového cyklu, automatizovaných procesov a princípov infrastructure as code.

Observabilita sa tak postupne mení z nástroja používaného po vzniku problému na súčasť spôsobu, akým sa dátové systémy navrhujú a prevádzkujú.

Dôvera v dáta ako konkurenčná výhoda

Diskusia o kvalite dát býva často vnímaná ako technická téma. V skutočnosti však priamo ovplyvňuje fungovanie celého podniku.

Ak obchodné oddelenie spochybňuje čísla vo finančnom reporte, rozhodnutie sa odkladá. Ak analytici venujú veľkú časť pracovného času manuálnemu overovaniu údajov, klesá priestor na analýzu a inovácie. Ak model umelej inteligencie pracuje s neúplnými alebo skreslenými vstupmi, automatizuje nielen rozhodovanie, ale aj chyby.

Dôveryhodné dáta preto neprinášajú iba presnejšie reporty. Skracujú čas medzi informáciou a rozhodnutím.

Organizácie, ktoré dokážu priebežne sledovať kvalitu svojich dát, môžu rýchlejšie reagovať na zmeny, bezpečnejšie automatizovať procesy a efektívnejšie využívať analytiku aj umelú inteligenciu. Namiesto otázky, či sú čísla správne, sa môžu sústrediť na to, čo z nich vyplýva. A práve v tom môže spočívať skutočná konkurenčná výhoda dátovo orientovaných spoločností.

„Môžete mať všetky sofistikované nástroje sveta, no ak vaše dáta nie sú kvalitné, nikam sa nedostanete,“ upozorňuje Veda Bawo, riaditeľka pre data governance v spoločnosti Raymond James.

Dáta dnes vlastní takmer každý podnik. Technológie na ich ukladanie a analýzu sú dostupnejšie než kedykoľvek predtým. Rozdiel však nevytvára samotné množstvo informácií, ale schopnosť vedieť, ktorým dátam možno dôverovať a premeniť ich na rozhodnutia skôr, než túto príležitosť využije niekto iný.

Zdroje k citáciám:

MIT Sloan School of Management. 15 Quotes and Stats to Help Boost Your Data and Analytics Savvy. MIT Sloan, 9. marca 2021. Dostupné na: MIT Sloan School of Management

BROWN, Sara. Why External Data Should Be Part of Your Data Strategy. MIT Sloan School of Management, 18. februára 2021. Dostupné online: MIT Sloan School of Management