Obsah
- Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života
- Až do podnikání
- Jak Kafka změní správu dat
Odnést:
Kafka udělá pro informační systémy to, co LinkedIn dělá pro podnikatele: bude je udržovat ve spojení v širokém spektru.
Tím, že vášnivě věříte v něco, co stále neexistuje, vytváříme to. Neexistující je to, co jsme si dostatečně nepožadovali.~ Franz Kafka
Nutnost zůstává matkou vynálezu. Jak mi jednou promyšlený poradce řekl: „Pokud se v organizaci něco stane, tak se to děje.“ Jeho názor byl dvojí: 1) někteří lidé vždy najdou způsob, jak věci udělat; a 2) vrcholový management, nebo dokonce střední management, si nemusí být vědom toho, jak se věci dělají v jejich vlastním podniku.
Pokud tuto metaforu rozšíříme na celý vesmír správy dat, můžeme vidět právě probíhající transformaci. Surový tlak velkých dat, kombinovaný s osou datových proudů, vytváří tolik tlaku, že se starší systémy rozpadají na okrajích, ne-li se úplně zhroutí. V tuto chvíli však stále pracuje bezpočet profesionálů, kteří o této skutečnosti do značné míry nevědí.
Podniky přenášené daty, založené na údajích, mají přední sedadlo a tuto změnu v mnoha ohledech řídí. Zvažte, jak mocenské domy jako Yahoo! A LinkedIn obrátily podnikový softwarový průmysl na stranu svými úžasnými dary na open-source: Hadoop, Cassandra a nyní Kafka, které byly všechny pastýřeny Nadací Apache, která je sama o sobě ústředním hráčem této metamorfózy .
Jaký je výsledek této změny? Dnes jsme svědky kategorické reklasifikace a restrukturalizace samotné správy dat. Tím nechci říci, že staré systémy budou nyní vytrhány a nahrazeny. Jakýkoli průmyslový veterán vám řekne, že k velkému rušení starých systémů dochází asi tak často, jak Chicago Cubs vyhrávají World Series. Jde o vzácnou událost, přinejmenším.
Co se skutečně děje, je to, že kolem starých systémů se buduje superstruktura. Vezměme si analogii mezistátních dálnic, které se často zvedají nad městy, jimž slouží, určené k dopravě lidí a nákladu do těchto populačních center a poskytují výstup každému a čemukoli v nich. Nenahrazují stávající silnice tak, jak je rozšiřují vysokorychlostními alternativami.
Přesně to dělá Apache Kafka: poskytuje vysokorychlostní trasy pro přenos dat mezi informačními systémy a mezi nimi. Chcete-li sledovat analogii dálnice, stále existuje mnoho společností používajících lineární fronty nebo starý standard ETL (extrakt-transformace-zatížení); ale tyto cesty mají nízké rychlostní limity a existuje mnoho výmolů; náklady na údržbu jsou navíc často přehnané; značení je špatné.
Kafka nabízí alternativní způsob doručování dat, který je rozhodně real-time, škálovatelný a odolný. To znamená, že Kafka není jen vozidlo pro přenos dat, ale také replikátor dat; a do jisté míry distribuovaná databázová technologie. Měli bychom být opatrní, abychom si tuto analogii užili příliš daleko, protože existují charakteristiky databází kompatibilních s ACID, které Kafka ještě nemá sport. Přesto je změna skutečná.
To je skvělá zpráva pro informační prostředí, protože data se nyní mohou volně pohybovat po zemi - a ve světě. To, co bylo kdysi bolestivým omezením, konkrétně zasažení dávkových oken pro procesy ETL, se nyní rozptýlí, protože mlha uvolňuje jasné nebe pod zářením horkého slunce. Když se přesunutí dat z jednoho systému do druhého stane hraničním plynulým, nastává éra nových příležitostí.
Žádné chyby, žádný stres - Váš průvodce krok za krokem k vytváření softwaru pro změnu života, aniž by došlo ke zničení vašeho života
Nemůžete zlepšit své programovací schopnosti, když se nikdo nestará o kvalitu softwaru.
Lidské bytosti budou pravděpodobně představovat největší tření na cestě k datům nové budoucnosti. Zvyk je železná košile. Nary CIO je příliš nadšený z provádění velkoobchodních změn v podnikových systémech. Řekl jeden důvtipný vedoucí pracovník role: „Připravte se na osamělost.“ Do roku od této poznámky byl konzultantem. Není to snadná cesta, která se snaží spravovat pozoruhodně nelehký svět podnikových dat.
Dobrou zprávou je, že Kafka poskytuje do budoucnosti rampu. Protože slouží jako vysoce výkonný, mnohostranný autobus, vytváří mosty mezi starými systémy a jejich výhledovými protějšky. Organizace, které tuto novou příležitost přijmou s otevřenou myslí a dostatečným rozpočtem, tak budou moci vstoupit do nového světa, aniž by zanechaly staré. To je vážně velká věc.
Až do podnikání
Zatímco Apache Kafka je technologie s otevřeným zdrojovým kódem, kterou si může kdokoli stáhnout a používat, lidé, kteří tento software vytvořili pro LinkedIn, vytvořili samostatnou entitu nazvanou Confluent, která se zaměřuje na zpřísnění nabídky pro podnikové použití. Stejně jako Cloudera, Hortonworks a MapR vybudovaly své podniky kolem open-source projektu Apache Hadoop, takže Confluent se snaží zpeněžit Kafku.
V nedávném rozhovoru InsideAnalysis vysvětlil Confluent CEO a spoluzakladatel Jay Kreps svůj původ na LinkedIn:
"Pokoušeli jsme se tam vyřešit několik různých problémů. Jeden byl, měli jsme všechny tyto různé datové systémy s různými druhy dat. Měli jsme databáze a měli jsme log soubory a měli jsme metriky o serverech a měli jsme uživatelé klikat na věci." Získat všechna ta data kolem - jak se zvětšila - bylo opravdu těžké. Síla dat byla pouze tam, pokud byste je mohli dostat do aplikací nebo ke zpracování nebo do systémů, které je potřebovaly. To byl velký problém.
„Dalším problémem, který jsme měli, bylo, že jsme přijali Hadoop, a to bylo něco, do čeho jsem se zapojil. Měli jsme tuto fantastickou platformu pro zpracování offline, kterou jsme mohli škálovat a mohli jsme vložit všechna naše data. čas. Neustále se generovalo údaje. Vždy se objevoval tento nesoulad, když jsme se snažili vlastně budovat klíčové části podnikání mimo naše data, mezi něčím, co běželo jednou denně, možná v noci, a generovalo výsledky do dalšího dne, a tento druh průběžných dat - krátkých interakčních časů - s nimiž jste se museli držet. Chtěli jsme být schopni udělat něco, co bylo na akademické půdě už nějakou dobu, ale ve skutečnosti to nebyla běžná věc, která by měla být schopna napojte se na a zpracovávejte datové toky, jak byly vygenerovány, spíše než když seděly. “
Studna. Přesně to se nyní Confluent snaží dělat s podnikovými daty všech tvarů a velikostí. Příležitost ve hře? Zelené pole. Upřímně řečeno, v celé historii podnikového softwaru lze tvrdit, že adresovatelný trh s touto technologií absolutně bere dort. Neexistuje jediná velká organizace nebo dokonce malá firma zabývající se daty, která z této technologie nemůže těžit.
To platí zejména kvůli neurologickému aspektu této technologie; nejde jen o zapojené mysli, ale o povahu toho, co Kafka dělá pro informační systémy. Protože Kafka lze použít k řízení pohybu dat v celé organizaci, lze na ni pohlížet nejen jako na dopravní policisty, ale spíše na mozky samotné operace. Byli v raných stádiích této vize, ale buďte si jisti, že jsou skutečné.
Jak Kafka změní správu dat
Abychom pochopili, jak Kafka změní povahu správy dat, přemýšlejte jen o tom, jak LinkedIn změnil síťování. Nalezení kolegů bylo mnohem snazší; zůstat v kontaktu s lidmi je nyní hračka. Kafka udělá pro informační systémy to, co dělá LinkedIn pro podnikatele: udržujte je v kontaktu v nejširším spektru této země.
Spinoff Confluent je symbolem něčeho, čemu bychom mohli říkat Nová inovace, hnutí řízené oddělením vývoje softwaru a mentalitou uzavřeného zdroje, vedené tvůrci open-source technologie, poháněné velkým množstvím rizikového kapitálu, zpeněžit ziskové společnosti, které usilují o revoluci v tom, jak organizace a lidé vytvářejí, shromažďují, analyzují a využívají data.
Chcete-li citovat Franze Kafku, „Od určitého bodu se již již nelze vrátit zpět. To je bod, kterého je třeba dosáhnout.“
Minuli jsme Rubikon. Teď už se nevrací.