Analýza interních dat firmy CleverAnalytics

Autorky: Markéta Vodičková a Květa Dobiášová

Mentoři: Adéla Krátká a Luboš Bednář

Cesta za projektem

V podstatě už od první lekce Digitální akademie, zní věta: ,,Najděte si dvojičku pro projekt“.

Zřejmě jsme nebyly samy, komu se honilo hlavou něco jako: ,,Jak dvojičku? Vždyť jsem sotva přišla, nikoho neznám. A jaký projekt? Vždyť ani nevím, co budu umět?!“ Takže první úkol vlastně zní jasně — seznámit se a dát hlavy dohromady, protože přece víc hlav víc ví.

Naše dvojička tedy vznikla po seznamovacím večeru a my se celkem jasně shodly, jak by měl náš projekt vypadat:

- Měl by se týkat našich zájmů (cestování, sport, …)

- Měl by být využitelný v praxi

A tak, i když jsme neměly konkrétní představu o tématu, daly jsme se do shánění dat. Markét se do toho pustila opravdu s vervou — nahodila spoustu háčků v oborech, které nás zajímaly nejvíc, a tak jsme doufaly, že se nějaká pořádná ryba brzy chytne. Bohužel záhy se ukázalo, že přemluvit firmu, aby dvěma holkám, co začínají s IT, dala svoje interní data, není zas tak jednoduché. Někde byl problém s GDPR, někomu se prostě jen nechtělo a někdo zase neměl potřebná data, která by se dala využít. Od prvního požadavku jsme tedy začaly upouštět a rozhodily ještě širší sítě.

Nejochotnější byla společnost CleverAnalytics, kde nám nejprve bylo nabídnuto využití jejich platformy, ale to stále neřešilo naše představy o projektu, tedy aby byl pro konkrétní firmu a měl konkrétní využití. S CleverAnalytics jsme si tedy ujasnili vzájemné představy a Bára Ambrůzová, která Digitální Akademii absolvovala při prvním běhu, nám navrhla zpracovat business analýzu jejich interních dat = Hurá, bylo vyhráno! Data budou :-).

CleverAnalytics

Něco málo o společnosti samotné: CleverAnalytics vyvíjí cloudovou platformu, která umožňuje vizualizovat a analyzovat data s využitím mapy. Data je možné kombinovat s demografickými údaji, umístěním POIs, dojezdovými vzdálenostmi atd. Data díky tomu získávají kontext potřebný k lepšímu porozumění například spádovým oblastem, k analýze bílých míst, potenciálu oblasti a celé řady dalších.

Meet Your Mentor

Brzy následovala akce Meet Your Mentor. Naši jasnou představu jsme prezentovaly u každého stolečku jako: ,,My chceme dělat reporty, vizualizovat data. Rády bychom používaly Power BI, SQL… Kódit až tak moc nechceme…“

A tak se našimi mentory stali Luboš a Adéla z Intelligent Technologies.

Projekt

A pak přišla schůzka s CleverAnalytics, kde jsme si měli specifikovat zadání projektu a jejich představy. A tady se to také začalo vyvíjet trochu jiným směrem…

Ale začněme od začátku. CleverAnalytics sbírá data o uživatelích jejich aplikace, např. jaký využívají při práci s platformou prohlížeč, plus detailnější data o “eventech“. To jsou konkrétní aktivity, které uživatelé v platformě provádí. Všechna tato data o eventech jsou sbírána v Intercomu, kde zůstávají uložena po dobu 90 dní. Našim cílem tedy byla kompletní analýza sbíraných dat tak, aby CleverAnalytics pomohla udělat si ucelený obrázek o chování jejich uživatelů.

Prvním krokem našeho projektu bylo nastudování si platformy CleverAnalytics, následně zjistit jakým způsobem se ukládají data do Intercomu a udělat si jasnou představu, jak spolupracují. Co znamená konkrétní event name, a zkrátka, jak to vše nejvhodněji zreportovat. Abychom se lépe orientovaly, od Clever Analytics jsme měly k dispozici seznam eventů, které je možné v aplikaci provádět.

Další krok byl pro nás nejtvrdší oříšek. Musely jsme vytvořit Python skript pro stažení dat přes API Intercomu, a to v době, kdy jsme z Pythonu po první lekci uměly pár základních příkazů. Takže jsme začaly pátrat, jak na to…

Názory všech byly jasné: ,,To by mělo být snadné, nastudujte si tu a támhletu dokumentaci a skript pak lehce napíšete.” No, jak pro koho :D. Ale my se nezalekly a vyrazily vstříc výzvě. Naším nejlepším kamarádem se na pár dní stal helpdesk Intercomu a po malých krůčcích se to doopravdy začalo rýsovat. Pomocí Postmana se nám podařilo vygenerovat kód pro stahování JSON souborů, ale to jsme ještě zdaleka neměly vyhráno.

Skutečná výhra přišla na Hackatonu s pomocí mentora Honzy Richtera, kterého jsme si musely vypůjčit od jiného týmu, a který nám pomohl s dotažením skriptu až do konce. Cca kolem 15. hodiny, v době, kdy jsme chtěly mít půlku reportů hotových, jsme teprve měly stažená data ve dvou csv souborech, a terpve jsme otvíraly Power BI.

Po Hackatonu jsme tedy měly skript, stažená a vyčištěná data z Intercomu. Než jsme se mohly ponořit do práce s daty, ukázalo se, že bude potřeba skript ještě dále upravit, aby fungoval tak, jak má.

Vznikl skript o 170 řádcích:

Když jsme měly konečně funkční skript, mohly jsme pustit do toho, co jsme toužily dělat už od začátku — reportovat, vizualizovat… Power BI se nám tedy stalo nejlepším přítelem.

Od CleverAnalytics jsme dostaly konkrétní zadání, co by chtěli z dat získat, ale i volnou ruku v tom, co z dat vytáhneme, a tak jsme se začaly zabývat následujícími otázkami:

- Kdy se uživatelé do aplikaci nejčastěji přihlašují

- Jak dlouho trvá návštěva

- Kolik uživatelů si prohlédne úvodního průvodce platformou do konce, a ve kterém kroku ho nejvíce opouštějí

- Z jakých zemí se uživatelé do aplikace přihlašují

- Jaké prohlížeče a operační systémy uživatelé používají

- Kolik uživatelů se přihlásilo oproti minulému měsíci

- Které funkcionality platformy jsou nejpoužívanější

- Rozlišeni chovaní uživatelů v demo vs zákaznických projektech

- Rozdělení funkcionality podle důležitosti

- Rozdělení uživatelů podle četnosti návštěv

- Jak uživatelé nového projektu s aplikací pracují?

+ doplnění filtrů, pro snadnější dohledání konkrétních údajů a mnoho dalšího.

Začal tedy brainstorming, kdy jsme společně v týmu řešily, jak vůbec reporty vytvořit. Nejprve jsme měly představu, že nám pomůže SQL, ale po krátké schůzce s našimi mentory, kteří nám vysvětlili, že Power BI je všemocné, a že ke všemu, co chceme z dat dostat nám pomůže právě tato technologie, jsme se s plnou vervou vrhly do všech tajů a krás Power BI. Adélka nám jako mávnutím kouzelného proutku ukázala mnoho tipů a vychytávek, od funkcí Group by, Merge, přes vytváření nových sloupců a metrik až po velmi užitečné DAX příkazy, které jsme plně využily k vytváření reportů. Abychom mohly na tyto otázky odpovídat, bylo třeba vytvořit kompletní datový model:

Během velmi intenzivní týdenní práce s analýzou dat a vytváření reportů, jsme se mohly pustit i do vytváření vizualizací a sestavení dashboardů.

Celou dobu jsme měly podporu ze strany CleverAnalytics a mohly tak konzultovat každý krok, aby byla spokojenost na obou stranách. Přece jenom, náš primární cíl byl, aby byl projekt využitelný v praxi. Tedy nejlépe, aby byl pro firmu opravdovým přínosem. Stejně tak nám celou dobu byla velkou oporou Adéla, která obratem odpovídala na naše zvídavé dotazy.

Dashboardy jsme připravily ve firemních barvách, protože se ale jedná o interní data, nemůžeme Vám prezentovat konkrétní výsledky, můžete se ale podívat na naše finální reporty a alespoň je ohodnotit po grafické stránce.

Jedná se o dva dashboardy — USERS a EVENTS. V Users je možné filtrovat podle měsíce, roku, nebo si nastavit libovolné období. Dále je filtr nastaven na výběr, zda se jedná o klienta, nebo zástupce CleverAnalytics.

V dashboardu Events je kromě již zmíněných filtrů také možnost filtrovat podle konkrétního projektu nebo uživatele.

Do CleverAnalytics jsme odevzdaly také krátký videonávod, jak s reportem pracovat.

Dashboardy

Co dál?

Po Hackathonu pro nás bylo velkou výzvou kromě analýzy dat vytvořit také nový Python skript pro automatické stahování dat do databáze tak, aby byl celý proces maximálně automatizovaný. Nicméně je nejprve potřeba vyřešit představy o tomto postupu i s CleverAnalytics, což už nám čas nedovolil.

Co nám projekt dal a vzal

Během projektu jsme si výborně procvičily dovednosti v Pythonu, co to znamená samostudium a hodiny googlení a bádání nad vyřešením problému. Dále jsme se naučily jak čistit data, vytvářet databáze a reporty, tak aby splňovaly pravidla přínosné analýzy včetně jejich vizualizace, aby byly lehce čitelné a jasné. Plnit zadané cíle a rozšířit je o vlastní podměty. Navázaly jsme zajímavou spolupráci s CleverAnalytics, poznaly ochotu a vstříctnost mentorů a našly nová kamarádství.

Jediné co nám projekt “vzal”, tak trochu té komfortní zóny, ze které jsme musely na chvilku vystoupit :-)

Naše velké díky patří našim mentorům Adéle Krátké a Lubošovi Bednářovi, vypůjčenému mentorovi Honzovi Richterovi za pomoc s Pythonem a zástupcům CleverAnalytics Báře Ambrůzové a Jirkovi Žaloudkovi, kteří nám byli neustále k dispozici a ochotně odpovídali na všechny naše dotazy.

Zdroje

https://www.cleveranalytics.com/

https://developers.intercom.com/intercom-api-reference/reference#user-model

https://github.com/intercom/python-intercom

https://docs.python.org/3/library/csv.html

http://docs.python-requests.org/en/master/user/quickstart/#json-response-content

https://www.getpostman.com/apps

https://powerbi.microsoft.com/en-us/

https://docs.microsoft.com/cs-cz/azure/sql-database/sql-database-get-started-portal-firewall