Jey Han
Jey Han
Jul 27, 2017 · 7 min read

빅데이터로 무엇을 봐야 되는거예요?

퇴근시간 다가와 잠시 땡땡거리다, 누군가의 질문에 대한 답을 달아봅니다. 빅데이터를 알기는 하겠는데 빅데이터로 도대체 무엇을 봐야 되는 걸까요?

어려운 질문이시네요.
그럼 먼저, 지금 나에게 데이타라는 것의 위치는 어디쯤 인가요? 데이터 때문에 가장 궁금 한 게 무엇일까요? 과연 데이터를 통해 문제의 원인을 알고 싶은 건가요 ? 원인을 알았다고 해서 해결의 처리에 도움은 될 것이라 기대하나요? 얻고 싶은게 마케팅을 위한 전략인가요? 신규 서비스를 위한 서비스 데이터 모델 정립인가요? ….
모두 다 스스로에게 물어봐도 어려운 물음표 뿐입니다.

이런 예를 들어볼까요~
여기, 수십년간 일기장을 작성 해온 사람이 있다고 가정 해봅시다, 일기의 목적이 그러듯, 지난 과거의 기록을 통해 도대체 내가 어떤 일상을 지내왔는지 되짚어 보고 앞으로 더나은 내가 되기 위한 반성과 발전을 위해 문장 으로 작성 되었을것 입니다.
그런데 어느날 문득, 도대체 내가 이걸 왜 쓴거지? 내가 가장 고민 했던게 무엇이지? 즐거웠던 추억은 다시 올수 있을까? 그때 그당시 아파하던 일들은 다 잘 추스려 졌나? 아직도 내가 고쳐보고자 했던 내 단점, 반성들은 잘 해결되었는가?
잘 안되었다면 앞으로 어떻게 해야될까? 등등 그냥 과거의 기록이 궁금해진다거나 현재의 내가 과거의 나보다 발전 되었나? 또는 좀더 나은 미래의 내가 되기 위해 무엇을 해야 할까? 하는 의문이 생긴다면 어떻게 하는게 좋을까요..

수년된 일기장을 꺼내 꼼꼼히 다시 읽어보고, 또 반성하고 ,추억을 되짚어 볼수는 있을겁니다.
그런데 지금의 내가 더 나은 내가 될 수 있을까요? 추억이 되살아나서 지금의 내가 더 행복해 질까요? 글쎄요..감성은 자극이 될듯합니다 만…
그렇게 다시 꺼내 일기를 읽은 기억은 얼마 안가 잊혀 버려지게 될듯 합니다.

그런데 이걸, 데이터 라는 입장에서 본다면 일기는 기억의 집합체 라고도 할수 있죠.. 일기속 기록된 일상중에서 장소,시간,사람, 음식, 행위, 좋았던 추억, 나빴던 기억, 거기에 그때 그때 찍은 사진까지 일기장에 끼워져 있다면 그 기록속 에서 나에게 가치가 있다고 판단 되는 속성 (성질이라고 표현해보죠)및 패턴을 꺼내 올 수 있을 겁니다.

이런 속성을 모아 정렬을 해보면 언제,어디서, 무엇을, 왜 했는지의 분류기준으로 시간의 순서든 아니면 장소의 순서든, 또는 사람의 순서든 정리를 하거나, 또는 행위만을 분류 기준으로 하여 잘한 점, 잘못한 점의 기준으로 분류 데이터화 할 수 있지 않을까요?

이렇게 비정형 (일기장에 도식화,정형화 되지 않은 문장의 형태로 기록된)의 기록을 간단한 엑셀이든 액세스든 구조화된 일차원적 또는 관계까지 맺어주는 이차원적 틀속(다차원 저장방식의 틀도 있죠, 다차원이 요즘 떠드는 NOSQL, 여기선 일단 이 언급은 제외)에 속성을 정의하고 이관 ,기록, 관계화를 엔딩하는 순간 데이터의 수집/저장은 완료 된다고 볼 수 있습니다.

그런데 가장 중요한 이렇게 정렬/분류(패턴화) 해놓고 나서, 문득 과연 이걸 왜 했지? 엉뚱한걸 모은건 아닌가?
수십년 묵은 일기장을 정형화된 틀의 정보로 만들어 그냥 보관하는게 목적 이었나?
정형화된 기록을 분류하여 나의 삶에 보다 나은 나의 모습으로 반영이 되게 할 려고 했었나?

이 구조화된 일기 데이터가 쓰레기가 되느냐? 아니면 가치 있는 데이터로 활용 될 것인지는 순전히 일기를 수집,저장,분석 하고자 한 사람의 몫이 되겠지요..
왜? 무엇때문에가 부족했으면 다시 고민하게 될겁니다.

그 다음의 내 행동이 내 추억을 엑셀로 정리,분류 해서 쌓아 놓았으니 가끔 꺼내서 들여다보고 추억을 곱씹으며 소주나 홀짝이는 용도로 활용할지, 내 인생 회고록을 작성하기 위한 Back 데이터로 활용하여 멋진 드라마나 영화같은 또다른 창작물을 위해 누군가에게 제공할 것인지…

더 나아가 잘한 점과 잘못한 점을 점수로 환산,관계 패턴화 시키고, 차트 시각화 하여 내 인생의 KPI 를 만들어 내 자식들이 인생의 문제해결에 도움이 될 지표로 삼게 할 것인지, 순전히 목적에 따라 그 방향과 결과는 다르게 이루어 지리라 생각됩니다

즉, 데이터 수집을 통한 분석 자체만으로 현상 파악이 목적 이였는지. 분석을 통한 보다 나은 문제의 해결이나 전략이 목적 인지에 따라 엄청나게 의미가 달라질 것입니다.

비즈니스와 관련 된다면 더욱 심각해 지리라 생각됩니다. 과거의 업무 행위에 대한 수많은 데이터가 산재 해 있고, 공공 데이터의 제공을 통해 어떤 부분에서는 수많은 데이터의 활용 접근이 가능해진 상황에서 지금의 데이터의 위치 ,문제 라는 아젠다를 고민하지 않고 데이터를 수집,분석 하고자 한다면, 그런 데이터는 그냥 쓰레기가 될 확률이 높습니다.

쓰레기가 들어오면 쓰레기가 될 뿐이다 라는 유명한 명제가 회자되는 이유도 그 때문이죠…(마케팅 전략을 위한 것인지.신규서비스를 위한 것인지?)

데이터의 의미,숨겨져 있는 그 속성을 발견하고자 하며 집합으로 모았을때 어떤 가치가 있을지 고민하고 또한 관계를 지어주고 결과를 예상, 기획을 하지 않는다면 그냥 쓰레기가 될 수 밖에 없는 데이터를 모으고 있는것 이고 결국은 그에 따른 뻘짓(?)만 한 결과가 되리라 봅니다.

이러한 왜? 와 무엇?의 고민이 선결 되지 않고서는 데이터로 문제를 해결하고자 하거나 데이터로 문제를 반드시 해결해야만 입장 이어도 목적 없는 쓰레기들만 모아 놓고 또다시 고민 하게 되리라 봅니다.
정말 내 문제의 위치에 데이터가 필요한가? 일기를 수집,저장,분석해야만 내 문제를 해결할 수 있는가? 그 많은 양의 데이터가 정말 필요한가? 하는 이러한 의문에 필요 한건 통계나 IT, BigData,머시러닝, 딥러닝 기술 보다는 목적과 문제의 본질을 파악하고자 하는 능력과 집요함 일것 입니다.

목적이 분명 할때 알고자 하는 속성(성질)과 패턴을 알아 내실 수 있을 것이고 그러한 데이터가 결국 가치 있는 데이터가 될것 이기 때문이죠..

다음은 데이터를 다뤄본 적이 있는가?
데이터를 구조화 해본 경험이 있거나 데이터가 어떤 형태로 저장되는지. 또 어떤 형태의 데이터를 불러올수 있는지. 더 쉽게 기초적으로 말해보자면 엑셀이나 액세스등을 통해 함수나 펑션등을 통해 정렬화 해보고 차트든 그래프화 도식화 해본 경험이 있는가?
더 나아가면 저 옛날의 C-ISAM File 부터 SQL 같은것을 다뤄 본적이 있는지?

데이터를 구조적으로 다뤄본 사람들을 우리는 엔지니어 라고 부릅니다. DB엔지니어, 웹 개발자, 시스템 개발자, 그 명칭이야 무엇이 됐든 결국 프로그래밍, 소프트웨어의 영역에서 일을 하는 사람들일 겁니다.
물론 요즘 일부 현업에서는 SQL 를 직접 교육시켜 현업 스스로 쿼리를 작성 ,원하는 형태의 데이터를 추출할 수 있도록 DW를 구성,지원을 하기도 합니다만, 데이터를 다뤄 본 사람은 ?,다뤄 보지 않았다면 어떻게 할수 있을까? 를 적어 보렸더니 벌써 시간이 이렇게…

데이터의 목적에 관해 주절이다 보니 이 부분 어떻게? 는 다음에 기회 되면 다시 언급하기로 하겠습니다..두서 없이 떠들다 보니 ,오늘은 여기까지..

머 어쨋건, 데이터는 BigData 라고 불리기 이전, 그 옛날 에도 존재 했고, 마치 영화 메트릭스의 한장면 처럼 우리의 라이프 자체가 수집,저장되어 축적 되어온 빅데이터인데 두려워 할 필요가 있겠습니까?

빅데이터나 딥러닝으로도 추론하거나 알 수 없는 인생이 두렵다고 하면 두려울 뿐이겠지요….

미래는 누구도 알수 없으니 그냥 이바닥에 오신걸 환영만 할뿐입니다….^^

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade