DO IT CHU

E-commerce in Your Inbox : Product Recommendations at Scale 해당 논문은 사용자의 구매내역(email receipt)을 활용하여 Yahoo 사용자에게 개인화된 광고 메일을 발송하려고 한다. 각 email receipt는 특정 시점에 발생하는 구매내역이며 각 구매내역에는 여러개의 상품이 포함되어 있다. 각 item의 embedding vector를 잘 representation하여 사용자에게 개인화된 추천 상품을 노출시키고자 하는 것이 해당 논문의 목적이다. 이 논문에서는 구매 sequence를 활용하여 item embedding vector를 얻는다. Meta-Prod2vec을 공부하며 추가적인 개념으로 읽은 논문이라 prod2vec에 관한 내용만 적어보았다..

Potential Outcome Framework (Rubin's Causal Model) 이전 글 : 2023.02.05 - [Recommender System/Causal Inference] - Causal Inference 인과추론 design based approach의 핵심 앞서 작성한 글에서 Design-Based Approach은 treatment를 정의하고 두 가능한 결과를 대조시킴으로써 효과를 추정할 수 있다고 말했다. 따라서 연구 대상에 행해질 수 있는 구체적인 처치(treatment)를 정의할 수 없다면 그것의 인과적인 효과나 측정을 정의할 수 없다. 인과추론을 위해서 중요한 것은 빅데이터나 복잡한 통계 모형이 아니고 데이터를 모으기 전에 연구자가 얼마나 적절한 연구 디자인을 고안했는..

인과 추론(Causal Inference)이란? 기계학습 관점에서 우리는 "고객이 상품을 구매할 것인가?"를 궁금해왔다. 따라서 구매라는 결과 변수와 연관성이 있는 다양한 특성 변수를 활용하여 고객의 구매 여부를 예측해왔다. 하지만 이러한 예측 모델에서 얻은 결과로 고객의 '구매 의도'를 파악하긴 어렵다. 고객이 구매하기까지 관측된 현상으로 구매 여부를 예측한 것이기 때문에 예측에 활용된 특성 변수들이 고객이 상품을 구매하게 되는 원인이라고 볼 순 없다. 즉, 구매 원인이 아닌 구매하기 전에 나타나는 현상을 활용한 것이다. 따라서 우리는 구매 원인을 알 수 없기 때문에 고객의 구매율을 높이기 위해 어떠한 조치를 취해야 하는지 알 수 없다. 인과추론에서는 "고객이 왜 구매하는가?"를 궁금해한다. 따라서 고..

앞선 "추천시스템이란?" 포스팅에서 각 알고리즘에 간략하게 설명을 적어보았다. Contents-based Recommender System (컨텐츠 기반 추천 시스템) - 사용자가 과거에 좋아했던 아이템을 파악하고, 해당 아이템과 비슷한 아이템을 추천해준다. - 간단하게 예를 들어 사용자가 과거에 스파이더맨과 아이언맨을 즐겨보았다면 타이타닉보다는 캡틴 아메리카를 추천해 줄 것이다. 즉, 위와 같은 예시는 스파이더맨, 아이언맨이 타이타닉보다 캡틴 아메리카와 더 유사하다는 결론에서 나온 결과이며 아이템끼리의 유사도를 구하는 것이 컨텐츠 기반 추천시스템의 목적이라고 볼 수 있다. 이러한 컨텐츠기반 추천시스템의 목적을 다시 한번 상기시키고 좀 더 상세하게 알아보도록 하자. 컨텐츠기반 추천 시스템이란? 정보검색(..

추천시스템은 개발자뿐만 아니라 실제로 많은 사용자들이 잘 알고있는 영역이다. 우리가 쇼핑을 할때나 유튜브를 볼때 등 이미 실생활에서 많은 추천 시스템을 경험하고 있다. 유튜브에서 내가 먹방 콘텐츠의 영상을 여러개 보았다면 이후에 내 피드에는 먹방과 관련된 영상이 뜨게 된며 패딩이 사고 싶어서 쇼핑앱에서 패딩을 검색해 보았다면 이후 더 다양한 패딩 제품이 나를 구매로 이끌기도 한다. 요즘같은 시대에 인터넷에는 너무나 많은 정보가 있다. 많은 정보는 사람들에게 유익하지만 그만큼 내가 원하는 특정한 정보만을 찾기 힘들게 만들기도 한다. 따라서 추천 시스템은 사용자가 정보를 수집하고 찾는 시간을 줄여주는 것이 목적이다. Pull Information과 Push Information 검색서비스(Pull Infor..

Regularization 정규화 선형 회귀에서 우리는 Error를 줄이기 위해 SSE(Sum of Square Error)를 minimize 했다. $minimize SSE = \Sigma_{i=1}^{n}(y_i - \hat{y_i})^2 = \Sigma_{i=1}^{n}(y_i - w_0 -w_1x_i)^2$ 이러한 최적화 방법으로 우리는 주어진 데이터를 가장 잘 fitting 할 수 있는 모델을 학습하게 된다. 이후 새로 들어온 데이터가 우리가 가정한 추세선과는 멀리 떨어져 있다면 새로운 데이터에 대해 error가 매우 커질 것이다. 이런 문제는 우리가 만든 모델이 새로운 데이터를 잘 예측하지 못하는 variance Error(Large Coefficient)라고 할 수 있다. 즉, 주어진 데이터..

기존의 단일 모델은 늘 bias-variance trade off의 문제를 벗어나지 못했다. 모델의 정확도를 올리고자 복잡한 모델을 만들면 과대적합의 우려가 생기고 이를 해결하려 모델을 단순하게 만들면 결국은 또 과소적합의 문제가 생기는 해결하기 어려운 문제점에 봉착한다. 이 말을 *bias와 *variance의 관점에서 다시 말하자면 모델을 과대적합하면 variance가 커지고 bias가 작아지며 모델을 과소적합하면 variance가 작아지고 bias가 커진다. (이게 왜 문제가 되는지는 bias-variance를 주제로 포스팅을 해보려고 한다.) 우리는 이러한 트레이드오프 문제에서 모델이 가장 좋은 정확도를 가질 수 있는 분산과 편향을 찾고 싶어 한다. 따라서 이러한 문제점을 해결하고자 앙상블 방법이..

해당 포스트는 로지스틱 함수를 구하는 방법을 적어보려고 한다. 로지스틱 회귀분석에 대한 방법이 적혀있는 글은 아니다. 단지 기존의 회귀 식이 어떻게 로지스틱 회귀식으로 변형이 되는지 수식과 함께 천천히 풀어보려고 한다. Sigmoid Function 특징 Bounded : 0과 1 사이의 유한한 구간을 가짐 Differentiable : 미분 가능 Real Function : 실제 함수 Defined for all real inputs : 모든 Input에 정의 With positive derivative : 단조 증가 시그모이드 함수는 S자형 곡선을 갖는 수학 함수이며 로지스틱, 탄젠트 함수 등을 포함한다. 모든 점에서 음이 아닌 미분 값을 가지며 단 하나의 변곡점을 포함한다. 로지스틱 함수는 위와 같..

해당 글은 [Edwith : 인공지능 및 기계학습 개론]의 문일철 교수님 강의를 참고한 내용입니다. CHAPTER 1. Motivations and Basics - 1.3 MAP 이전글 : 2022.03.14 - [Machine Learning/Statistics] - Maximum Likelihood Estimation(MLE)를 간단한 예시를 활용해 이해하기 : 수식 정리 Maximum Likelihood Estimation(MLE)를 간단한 예시를 활용해 이해하기 : 수식 정리 해당 글은 [Edwith : 인공지능 및 기계학습 개론] 문일철 교수님의 강의를 정리한 내용입니다. CHAPTER 1. Motivations and Basics - 1.2 MLE Thumbtack Question 압정을 던져..

해당 글은 [Edwith : 인공지능 및 기계학습 개론] 문일철 교수님의 강의를 정리한 내용입니다. CHAPTER 1. Motivations and Basics - 1.2 MLE Thumbtack Question 압정을 던져서 앞, 뒤 확률을 구할 때 구조적으로 50%, 50% 확률이라고 말하긴 어렵다. (동전은 앞뒷면이 똑같이 평평해 각 50%의 확률을 갖는다고 말할 수 있지만 압정의 모양을 생각해보면 쉽게 이해가 갈 것이다) 따라서 압정의 앞, 뒷면의 확률을 구하기 위해 여러 번 던져보자. 압정을 5번 던졌고 그중 3번이 앞면, 2번이 뒷면이 나왔다. 이때 우리는 앞면이 나올 확률이 3/5, 뒷면이 나올 확률이 2/5라고 말할 수 있을까? 압정 던지기 실험 시행 횟수 : 5번 앞면이 나온 횟수 : 3..