Binning은 대표적인 변수가공(Feature Engineering) 기법 중의 하나로 숫자형 변수를 범주형 변수로 변형하는 작업이다.
Q. Signal과 Noise 분리하기
현업 관점에서 데이터 분석이란 목표변수(Y) 값의 차이를 설명하는 일이고 차이는 본질적인 차이와 우발적인 차이의 합으로 구성된다.
전국의 개별 대리점들이 나타내는 순이익률의 차이는 대리점에 내재된 본질적 성과(기량) 차이의 반영일 수도 있고 단순히 운이 좋아 장사가 잘(안)된 것의 반영일 수도 있다.
아르헨티나 소설가 보르헤스는 [불한당의 세계사]에 수록된 “과학적 정확성에 관하여"라는 글에서 다음과 같이 썼다.
“지도제작조합은 제국의 크기만한 지도를…
과거에 비해 기업들이 클라우드 서비스 도입에 열린 자세를 보이고 있다. 하지만 해당 조직의 Data Governance 구조나 Risk Tolerance 수준에 따라 내부의 민감정보를 클라우드에 올리는 것은 여전히 적지않은 현실적인 제약이 따른다.
데이터 난독화(Obfuscation/Perturbation) 서비스
데이터의 분포를 살펴보는 가장 대표적인 방법은 히스토그램과 박스플롯입니다.
Histogram은 차트를 구성하는 개별 막대의 구간(Bin Size; 너비)을 설정할 때 숫자(예, 나이)를 범주(예, 20~25세, 25~30세 등)로 전환하는 과정에서 필연적으로 정보의 추상화/손실이 발생하게 됩니다. (예, 20살이 100명, 21살~24살은 0명인 경우, 20~25 구간의 빈도는 퉁쳐서 100으로 표시됨)
데이터 분석에 Tidy DataSet(분석하기 좋게 잘 정리된 테이블 형식의 데이터)이라는 개념이 있다. HeartCount에서도 캠페인을 등록할 때 아래와 같이 Tidy하게 정리되어 있는 엑셀(xlsx, csv, tsv) 파일을 올려야 한다.
