Obsah
- ETL vytváří pro Analytics úzká místa
- Zjednodušení ETL pomocí strojového učení a umělé inteligence
- Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života
Zdroj: Pop Nukoonrat / Dreamstime.com
Odnést:
Data jsou pro podnikání klíčová, ale aby byla užitečná, nesmějí se vyskytovat žádné chyby při shromažďování, zpracování a prezentaci těchto údajů. Umělá inteligence může sledovat procesy ETL, aby se ujistila, že jsou bez chyb.
ETL (extrakt, transformace a načítání) je jedním z nejdůležitějších procesů ve velké analýze dat - a zároveň může být jedním z jeho největších úzkých míst. (Více informací o velkých datech najdete v 5 užitečných kurzech velkých dat, které můžete absolvovat online.)
Důvod, proč je ETL tak důležitý, je ten, že většina údajů, které podnik shromažďuje, není ve své prvotní formě připravena na analytické řešení, které by bylo možné strávit. Aby analytické řešení vytvořilo přehledy, musí být nezpracovaná data extrahována z aplikace, kde se aktuálně nachází, převedena do formátu, který může analytický program číst, a poté načtena do samotného analytického programu.
Tento proces je analogický vaření. Vaše suroviny jsou vaše surová data. Než je lze analyzovat (ochutnat), musí být extrahovány (zakoupeny v obchodě), transformovány (vařeny) a poté naloženy (pokoveny). Obtížnost a náklady se mohou nepředvídatelně přizpůsobit - je snadné vyrobit si sýr Mac n 'pro sebe, ale mnohem těžší je vytvořit gurmánské menu pro 40 lidí na večerní párty. Netřeba dodávat, že chyba v kterémkoli okamžiku může vaše jídlo nestrávit.
ETL vytváří pro Analytics úzká místa
ETL je v některých ohledech základem analytického procesu, ale má také určité nevýhody. Zaprvé je to pomalé a výpočetně nákladné. To znamená, že firmy často upřednostňují pouze nejdůležitější údaje pro analýzu a zbytek jednoduše uloží. To přispívá k tomu, že až 99% všech obchodních údajů se pro analytické účely nevyužívá.
Navíc proces ETL není nikdy jistý. Chyby v procesu ETL mohou poškodit vaše data. Například krátká chyba v síti může zabránit extrahování dat. Pokud vaše zdrojová data obsahují více typů souborů, mohou se transformovat nesprávně. Odpadky, odpadky, jak se říká - chyby během procesu ETL se téměř jistě projeví v podobě nepřesné analýzy.
Poškozený proces ETL může mít špatné následky. I v nejlepším případě budete pravděpodobně muset znovu spustit ETL, což znamená zpoždění hodin - a mezitím jsou ti, kdo rozhodují, netrpěliví. V nejhorším případě si nevšimnete nepřesné analýzy, dokud nezačnete ztrácet peníze a zákazníky.
Zjednodušení ETL pomocí strojového učení a umělé inteligence
Můžete - a pravděpodobně ano - přiřadit někoho, kdo bude sledovat ETL, ale upřímně to není tak jednoduché. Špatná data mohou být důsledkem procesních chyb, ke kterým dochází tak rychle, že je nelze zaznamenat v reálném čase. Výsledky poškozeného procesu ETL často nevypadají jinak než správně načtená data. I když jsou chyby zřejmé, problém, který chybu vytvořil, nemusí být tak snadno dohledatelný. (Další informace o analýze dat naleznete v části Úloha úlohy: Data Analyst.)
Dobrou zprávou je, že stroje dokážou zachytit to, co lidé nemohou. Toto je jen několik způsobů, jak umělé umělé inteligence a strojové učení mohou zachytit chyby ETL, než se promění v nepřesnou analytiku.
Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života
Nemůžete zlepšit své programovací schopnosti, když se nikdo nestará o kvalitu softwaru.
1. Detekce a upozornění napříč metrikami ETL
I když jsou vaše data neustále se pohybujícím obrazem, proces ETL by měl stále produkovat konzistentní hodnoty stejnou rychlostí. Když se tyto věci změní, je to důvod k poplachu. Lidé mohou vidět velké výkyvy v datech a rozpoznávat chyby, ale strojové učení dokáže rychleji rozpoznávat jemnější chyby. Je možné, že systém strojového učení nabízí detekci anomálií v reálném čase a upozorňuje přímo oddělení IT, což jim umožňuje pozastavit proces a odstranit problém, aniž by museli vyhodit hodiny výpočetního úsilí.
2. Určete specifická úzká místa
I když jsou vaše výsledky přesné, mohou se objevit příliš pomalu, než aby byly užitečné. Gartner to říká 80% statistik odvozené z analýzy nikdy nebudou využity k vytvoření peněžní hodnoty, a to může být proto, že vedoucí podniku nevidí včasný náhled, aby ho využil. Strojové učení vám řekne, kde se váš systém zpomaluje, a poskytne vám odpovědi - rychlejší získání lepších dat.
3. Kvantifikujte dopad řízení změn
Systémy, které produkují vaše data a analytiku, nejsou statické - neustále dostávají záplaty a upgrady. Někdy to ovlivňuje způsob, jakým vytvářejí nebo interpretují data - což vede k nepřesným výsledkům. Strojové učení může označit výsledky, které se změnily, a sledovat je na konkrétním opraveném počítači nebo aplikaci.
4. Snižte provozní náklady
Vypálené analytické operace se rovnají ztraceným penězům. Čas, který trávíte přijít na to, jak vyřešit problém, ale také kdo je zodpovědný pro vyřešení problému je čas, který můžete utratit za stavební hodnotu. Strojové učení pomáhá dostat se k jádru věci tím, že upozorní pouze týmy, které mohou být odpovědné za reakci na konkrétní druhy incidentů, a zbytek IT oddělení může pokračovat v provádění základních pracovních funkcí. Strojové učení navíc pomůže eliminovat falešně pozitivní výsledky, snižuje celkový počet výstrah a zvyšuje granularitu informací, které mohou poskytnout. Únava upozornění je velmi reálná, takže tato změna bude mít měřitelný dopad na kvalitu života.
Pokud jde o vítězství v podnikání, je rozhodující analytika. Orientační studie společnosti Bain Capital ukazuje, že společnosti zaměstnávající analytiky mají více než dvakrát vyšší finanční nadhodnocení. ETL poskytuje základ pro úspěch v této oblasti, ale zpoždění a chyby mohou také zabránit úspěchu analytického programu. Strojové učení se proto stává neocenitelným nástrojem pro úspěch jakéhokoli analytického programu, který pomáhá zajistit čistá data a přesné výsledky.