Velká data, velké peníze. Vše v oblacích
Cloudové technologie jsou naprosto magické. Jsou neuvěřitelně mocné. Jsou všudypřítomné. A jsou téměř zdarma. Zejména na začátku, když s nimi experimentujete. Podíváme se ale na to, co se stane pokud si nedáte pozor.
Původně vyšlo v září 2017 na activate.cz.
Celé to začalo před více než rokem. V rámci Etnetera Group vznikla soutěž podporující hraní si s IoT udělátky.
Vzniklo spousta bazmeků a já jsem byl členem týmu, který vyrobil za pár dní toto báječné superčidlo:
Bylo v několika zasedačkách a sbíralo data o okolí. Snažilo se poznat, zda v místnosti někdo je, či zda je prázdná. Sebraná data pak byla porovnána s kalendářem rezervací. A v přehledné webové aplikaci jsme pak zveřejňovali padouchy, kteří si zablokují zasedačku a nechají ji tak prázdnou. Hračka realizovaná velmi narychlo, ale fungovalo to.
Jako datovou základnu jsme použili Google Cloud, se kterým máme v Activate dobré zkušenosti. Celkově data tekla takto.
Ano, je to kanón na vrabce, ale tak už to na podobných hackatonech chodí.
Jak asi vidíte, data ze sensorů končí v BigQuery, odkud si je bere R shiny aplikace a následně web aplikace. Každá z nich to vizualizovala trochu jinak. Celé to pak platila firemní karta Etnetera Activate, na kterou je Google Cloud projekt navázán. První faktura vypada takto:
Tedy 1 cent za uložení všech těch dat a 9 dolarů za opakované dotazy do Big Query. Tyto dotazy prováděly ony aplikace a také appscript, který pro ně předpočítával data. Ta ukládal do jiné big query tabulky. Každou minutu. Naprosto neoptimalizovaným dotazem, který neměl nikdy fungovat déle než do ukončení IoT soutěže.
Jenže soutěž skončila, my jsme dostali pěknou cenu a řekli jsme si, že to necháme běžet dál. Deset dolarů nic není, dotaz zoptimalizujeme a aplikace je celkem užitečná.
A tak uplynul rok, senzory stále každých pár sekund do BigQuery nasypaly další data, k zoptimalizování dotazu jsme se nedostali a faktura od Google vypadala takto:
Sakra. Zatímco cena za insert je stále směšná, cena za provádění neoptimalizovaného dotazu se nám zvyšovala o cca. 10 USD každý měsíc. A jak správně poznamenal kolega Karel: „117USD, to už jsou dva dobré rumy.“ Přitom onen dotaz lze bez problémů zoptimalizovat tak, že za jeho provádění bude cena pod 1 USD měsíčně.
Poučení je nasnadě. I když se jednalo — ve srovnání s projekty pro naše klienty — o malá data a malé peníze, nevyplácí se práci nedotáhnout. Ani zázračné cloudy nás nezachrání od vlastních chyb. Naopak — s radostí nám je naúčtují.
Původně vyšlo v září 2017 na activate.cz.
