EDA, 데이터 설명서에서 시작하기

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)는 본격적인 모델링에 들어가기에 앞서, 반드시 선행되어야 하는 과정입니다. 그렇다면 EDA는 어디에서부터 시작해야 할까요? 데이터의 분포나 변수간…

최선의 모델을 찾아서 (부제: bias와 variance 문제 이해하기)

Linear Regression(Ridge, Lasso, Elastic-Net)

어떤 문제를 풀기 위해서 두 가지 관점으로 접근할 수 있다. 빈도주의자 관점과 베이지안 관점이다. 철학적으로 접근해 보면 빈도주의자는 진리가 있다고 보는 것이고, 베이지안은 진리는 없으며 여러 번의 경험을 통해 진리에 가까운 근사치를 구할 수 있다고 보는 것이다. 이 두 가지 관점으로 우리가 풀고자 하는 문제를 회귀 알고리즘으로 표현하면 다음과 같이 나타낼 수 있다.

최대 우도 추정 ( Maximum Likelihood Estimation , MLE )

통계에서 최대 우도 추정 ( Maximum Likelihood Estimation , MLE )은 관측치가 주어진 통계모델의 매개 변수 ( θ )를 추정하는 방법이다 . MLE 는 관측치가 주어질 때 우도 함수 ( Likelihood Function ) 를 최대화하는 θ 값을 찾으려고 시도한다 .

조금 더 자세히 이야기 해보자. 관측치(Observation), X=(x1, x2, x3, …, xn)가 있다. 그리고 이 데이터는 θ로…

Airbnb에서는 어떻게 이상치를 탐지하는가?

우리가 보는 수많은 data 속에는 대다수가 O를 가르킬때, 나혼자 X 라고 외치는 data가 있습니다. 나홀로 X를 외치는 데이터가 이상한 data인지를 파악하는 방법을 Anomaly Detection…

AI 스타일리스트 Stitch Fix의 회원 전환 예측 모델링

Summary : “Time Dependent Classification” by Lingrui Gan

Innovating Faster on Personalization Algorithms at Netflix Using Interleaving 에 관한 정리

Regression Model

Introduction

Machine Learning이란, 주어진 data에서 의미있는 패턴을 찾고, 이 패턴을 이용해서 미래의 data를 예측하거나 불확실한 상황 속에서…

[Airbnb] Listing Embeddings in Search Ranking

Airbnb의 Data science 관련 글 중 “Listing Embeddings in Search Ranking”을 재정리하여 올렸습니다.