DO IT CHU

[Prod2vec] E-commerce in Your Inbox : Product Recommendations at Scale

eatchu — Fri, 24 Mar 2023 14:22:06 +0900

E-commerce in Your Inbox : Product Recommendations at Scale

해당 논문은 사용자의 구매내역(email receipt)을 활용하여 Yahoo 사용자에게 개인화된 광고 메일을 발송하려고 한다.

각 email receipt는 특정 시점에 발생하는 구매내역이며 각 구매내역에는 여러개의 상품이 포함되어 있다.

각 item의 embedding vector를 잘 representation하여 사용자에게 개인화된 추천 상품을 노출시키고자 하는 것이 해당 논문의 목적이다.

이 논문에서는 구매 sequence를 활용하여 item embedding vector를 얻는다.

Meta-Prod2vec을 공부하며 추가적인 개념으로 읽은 논문이라 prod2vec에 관한 내용만 적어보았다.

NOTATION

각 방법론을 설명하기에 앞서 용어 정리를 간단히 하고 넘어가보자.

$s = \text{email receipt set purchased by user n}$
$e_m = \text{receipt m of the email receipt set purchased by user n}$
$p_{mT_m} = \text{item Tm-th purchase among items purchased at the m receipt among the email receipt set purchased by user n}$

$$s= (e_1, ..., e_M) \in S$$

$$e_m = (p_{m1},...,p_{mT_m})$$

→ 각 item에 대한 D차원의 embedding vector를 표현하는 것이 목적

다시 정리하자면 각 유저가 구매했던 email receipt set($=s$)이 존재하며 각 set에는 시간대별로 구매한 개별 email receipt($=e_i$)이 존재할 것이다. 또한 각 email receipt에는 여러 상품 구매내역이 존재할 것이며 m번째 email receipt내에서 구매한 $T_m$번째 상품을 $p_{m_Tm}$이라고 정의한다.

prod2vec

논문에서 제안하는 prod2vec 알고리즘은 각 유저가 구매한 상품 sequence를 기반으로 상품의 embedding vector를 학습한다.

skip-gram 알고리즘을 활용해 상품 구매 sequence를 학습
target item의 주변 item을 통하여 embedding vector를 구함

$v_p$ : input vector
$v'_p$ : output vector

$$ \mathcal{L} = \Sigma_{s\in S}\Sigma_{p_i\in s}\Sigma_{-c\leq j\leq c} \, logP(p_{i+j}|p_i)$$

$$P(p_{i+j}|p_i) = {exp(v_{p_i}^Tv'_{p{i+j}}) \over \Sigma_{p=1}^P exp(v_{p_i}^Tv'_{p})} $$

skip-gram 알고리즘을 알고 있다면 쉽게 파악알 수 있는 어렵지 않은 수식이므로 skip-gram에 대한 이해가 필요하다.

참조 링크를 바탕으로 그린 skip-gram 구조에 대한 글도 확인해보면 좋을 것 같다.

이러한 skip gram 구조에서 단어를 상품으로 대체하면 된다. 수식에서의 c($-c \leq j \leq c$)는 skip gram에서 정의하는 window size를 나타내며 $logP(p_{i+j}|p_i)$에서의 $p_{i+j}$는 $p_i$를 제외한 $p_i$의 주변 상품을 말한다.

prod2vec의 문제점은 하나의 email receipt에 여러개의 상품이 동시에 구매되었다는 것을 고려하지 않는다는 점이다.

bagged-prod2vec

앞선 prod2vec의 문제점을 개선하기 위해 제안된 방법으로 기존의 prod2vec처럼 주변의 item을 탐색하는 것이 아니라, 주변의 email receipt를 탐색한다.

수식은 아래와 같다.

$$ \mathcal{L} = \Sigma_{s\in S}\Sigma_{e_m \in s}\Sigma_{-n\leq j\leq n}\Sigma_{k=1,...,T_m} \, logP(e_{m+j}|p_{mk}) $$

prod2vec의 두번째 term($\Sigma_{p_i\in s}$)에서는 set에 포함되는 모든 unique한 item의 sequence에 대해 살펴보았지만 bagged-prod2vec에서의 두번째 term($\Sigma_{e_m\in s}$)은 set에 포함되는 email receipt의 sequence를 살펴보고 있다.

따라서 $e_m$에 포함되는 상품이 중심이 되며 주변 email receipt(m-n ~ m+n)에 대한 계산을 수행한다.

$e_m$ 상품들을 학습할때에는 중심 상품(input)만 변하게 되며 target은 동일하다.

또한 $e_m$에 포함되는 상품들은 서로를 고려하지 않는다.(예측 대상이 아님)

$$ P(e_{m+j}|p_{mk}) = P(p_{m+j,1}|p_{mk}) \times ... \times P(p_{m+j, T_m}|p_{mk}) $$

$e_m$ receipt에서 k번째 item $p_{mk}$이 구매되었을때, $e_{m+j}$ receipt의 확률은 $e_{m+j}$에 포함되는 모든 상품의 확률을 곱하는 것과 같다.

Product-to-product predictive models

prod2vec-topK

앞서 제안된 방법으로 item의 embedding vector를 얻었다면 cosine 유사도를 통해 top k의 유사 item을 추천해줄 수 있다.

prod2vec-cluster

추천의 다양성을 위해 유사한 상품끼리 cluster로 묶고 이전에 구매된 item의 cluster와 가장 관련성 있는 cluster에서 item을 추천한다. 앞선 top-k의 방법에서 보다 다양한 유형의 상품을 추천하고 싶을때 활용하거나 top-k의 방식과 결합하여 적용해볼 수 있다.

각 상품의 embedding vector를 가지고 clustering을 수행하여 유사한 상품의 군집을 생성(논문에서는 k-means 적용)
군집별 유사도를 구한다.
- 군집별 유사도는 $c_i$ 군집 내에서 상품을 구매한 후 $c_j$에서 다음 상품을 구매할 확룔($\hat{\theta_{ij}}$)이며 아래와 같이 구할 수 있다.
  - $\hat{\theta_{ij}} = {\text{of times } c_i \text{ purchase was followed by } c_j \over \text{count of } c_i \text{ purchases}}$
  - 분모는 $c_i$ 군집내에 속한 모든 상품이 구매된 수를 count한 값이며,
    분자는 $c_i$ 군집내에 속한 상품을 구매한 후 $c_j$ 군집내에 속한 상품을 구매한 수를 count한 값이다.
- example
  - k=5라고 가정할때, 각 군집을 $[c_1, c_2, c_3, c_4, c_5]$라고 한다.
  - $c_1$은 ($\hat{\theta_{12}}, \hat{\theta_{13}}, \hat{\theta_{14}}, \hat{\theta_{15}}$) 를 얻을 수 있다.
  - 같은 방식으로 $[c_1, c_2, c_3, c_4, c_5]$ 모든 군집에 대한 확률값을 얻을 수 있다.
각 군집별 가장 유사한 군집을 얻는다. (top 1)
추천 상품을 유사 군집 내의 상품들과 유사도 계산을 수행하여 상품을 추천해준다.
- example
  - 상품 p가 군집 $c_1$에 속해있고, $c_1$과 가장 높은 $\hat{\theta}$를 가진 군집은 $c_3$이라고 한다.
  - 상품 p는 $c_3$ 군집 내의 상품들과 cosine 유사도를 통해 top K 상품을 추천해줄 수 있다.

참조 코드

https://github.com/mquad/sars_tutorial/blob/master/04_Prod2Vec.ipynb

GitHub - mquad/sars_tutorial: Repository for the tutorial on Sequence-Aware Recommender Systems held at TheWebConf 2019 and ACM

Repository for the tutorial on Sequence-Aware Recommender Systems held at TheWebConf 2019 and ACM RecSys 2018 - GitHub - mquad/sars_tutorial: Repository for the tutorial on Sequence-Aware Recommend...

github.com

https://github.com/mquad/sars_tutorial/blob/master/recommenders/Prod2VecRecommender.py

GitHub - mquad/sars_tutorial: Repository for the tutorial on Sequence-Aware Recommender Systems held at TheWebConf 2019 and ACM

github.com

Potential Outcomes Framework

eatchu — Sat, 18 Feb 2023 19:30:50 +0900

Potential Outcome Framework (Rubin's Causal Model)

이전 글 : 2023.02.05 - [Recommender System/Causal Inference] - Causal Inference 인과추론

design based approach의 핵심

앞서 작성한 글에서 Design-Based Approach은 treatment를 정의하고 두 가능한 결과를 대조시킴으로써 효과를 추정할 수 있다고 말했다.
따라서 연구 대상에 행해질 수 있는 구체적인 처치(treatment)를 정의할 수 없다면 그것의 인과적인 효과나 측정을 정의할 수 없다.
인과추론을 위해서 중요한 것은 빅데이터나 복잡한 통계 모형이 아니고 데이터를 모으기 전에 연구자가 얼마나 적절한 연구 디자인을 고안했는지의 여부이다.

Counterfactual and Selection Bias

아래와 같은 문제를 보고자 한다.
"추천 알고리즘 A를 적용하면 사용자의 구매율이 늘어날까?"

실제로 특정 영역에 개인화된 추천 시스템을 도입했고 전체 사용자의 구매율이 늘어났다고 할 때, 우리는 추천 시스템이 사용자의 구매 유도에 영향을 미쳤다고 단정 지을 수 있을까?

마침 사용자가 추천된 상품을 구매하려고 했을 수도 있고 해당 시기에 어떤 이벤트의 발생으로 구매율이 증가했을 수도 있다.
그 외에도 우리가 알지 못하는 여러 외생 변수가 개입하는 환경에서 추천 시스템이 구매율을 유도했다고 보기는 어렵다.

따라서 효과를 추정하는 방법은 아래와 같다.

Causal effect of the treatment =
(1. Actual outcome for treated if treated) - (2. Potential outcome for treated if not treated)

추천 영역이 모든 사용자에게 노출되었다고 가정할때, 우리는 모든 사용자들을 "treatment group(처치 그룹)"으로 보며 노출된 추천 영역은 "treatment(처치)"라고 본다.
동일 시점에 1. treatment group이 treatment를 받았을때의 실제 결과와 2. treatment group이 treatment를 받지 않았을때의 잠재적인 결과의 차이를 비교해본다면 우리는 단지 이 처치에 대한 효과를 추정해볼 수 있다. 이 두 그룹이 가지는 차이는 단지 처치유무 밖에 없기 때문이다.

하지만 현실적으로 동일 그룹에 두 가지의 결괏값을 기대할 순 없다.
따라서 우리는 treatment group에 treatment를 실행하지 않은 결괏값을 실제로 관측할 수 없으며 이것을 Counterfactual(2. potential outcome for treated if not treated)이라고 한다.

Counterfactuals(반사실) : 만약 알고리즘이 적용되지 않았다면 어떤 결과가 일어났을까?

앞서 말한 것처럼 현실적으로 우리는 counterfactual을 구할 수 없기 때문에 이상적인 방법은 아주 유사한 두 집단(treatment / control group)을 얻어 각각 다른 처치를 적용해 보는 것이다.
하지만 두 집단이 아주 동일한 집단일 순 없기 때문에 필연적으로 selection bias가 발생한다.

selection bias(선택편향) : Counterfactual과 Control Group의 특성 차이.

Observed effect of the treatment (실험으로 얻어진 결과)

= (Outcome for treatment group) - (Outcome for control group)

= (Outcome for treatment group) [- counterfactual + counterfactual] - (Outcome for control group)

= (Outcome for treatment group) - counterfactual # Causal Effect
+ counterfactual - (Outcome for control group) # Selection Bias

$\text{Causal Effect = (Actual outcome for treated if treated) - (Potential outcome for treated if not treated)} \\ \text{Observe = (Actual outcome for treated if treated) - (Actual outcome for untreated if not treated)}$

따라서 우리는 이 선택 편향을 최대한 줄이는 방향으로 문제를 해결하고자 하며 이는 교란 변수를 통제하는 것과 같다.

유저의 지속시간을 confounder로 가정해보았다

Selection Bias example

반려동물을 키우는 사람(treatment)과 반려동물을 키우지 않는 사람(control)의 우울증 정도의 차이를 비교하는건 유의하지 않다.
일단 반려동물을 키운다는 것은 개인의 자발적인 선택이며 애초에 반려동물을 키우는 조건에서 우리가 보고자 하는 결과 변수(우울증)가 영향을 미치고 있을지도 모른다.

따라서 selection bias를 제거하여 그 외의 특성 변수들이 동일한 두 그룹간의 결과 변수를 비교해야 한다.

아래 자료에서 왼쪽 그림은 반려동물을 키우는 사람 중 우울한 사람이 83%로 반려동물을 키우지 않는 사람들보다 더 높은 우울증 비율을 보이고 있다. 이 그림에서 우리가 반려동물을 키우면 우울증이 생긴다고 판단하는 것은 옳지 않다.

오른쪽 그림처럼 두 그룹에 영향을 미치는 교란변수 X를 분리하여 결과를 비교해보았을때, 각 조건에서 반려동물을 키우는 것이 우울증의 비율을 낮추는 것에 효과가 있다고 볼 수 잇다.

[Youtube] 인과추론의 데이터과학

Estimating Effects on Potential Outcomes

i라는 개인이 받을 수 있는 처치 (Treatment) 유무를 $T_i$라고 하고 개인에 대한 결과를 $Y_i$라고 한다.

$T_i = \begin{cases} 1, \qquad \text{if treated} \\ 0, \qquad \text{if not treated} \end{cases}$

$Y_i = \begin{cases} Y_{1i}, \qquad \text{if} \ T_1 = 1 \\ Y_{0i}, \qquad \text{if} \ T_0 = 0 \end{cases}$

개인에 대한 treatment에 대한 효과는 다음과 같이 얻을 수 있다.

이러한 개인의 효과는 ITE(Individual Treatment Effect)라고 정의한다.

개인의 효과를 모두 구해 평균을 구하면 모든 사용자에 대한 효과를 추정할 수 있다.

$\text{ITE} = Y_{1i} - Y_{0i}$

$\text{Causal Effect} = E[Y_{1i} - Y_{0i}]$

하지만 아래의 그림에서 알 수 있듯이 개인에 대한 관측 결과는 $Y_{1i}$나 $Y_{0i}$ 둘 중 하나만 얻을 수 있기때문에 ITE를 구하는 것은 불가능하다.

이를 식으로 표현하면 다음과 같다.

$Y^{obs} = Y_{1i}T_i + Y_{0i}(1-T_i)$

[Youtube] 인과추론의 데이터과학

따라서 개인에 대한 효과를 추정하여 평균을 내는 것이 아니라 Treatment Group과 Control Group의 평균을 구하여 각 그룹의 평균에 따른 차이를 구하는 방법을 사용한다.

이러한 그룹의 평균을 구하여 얻은 효과를 ATE(Average Treatment Effect)라고 정의한다.

$\text{ATE} = E[Y_{1i}|T_i=1] - E[Y_{0i}|T_i=0]$

참조 링크

[Youtube] 인과추론의 데이터과학

Causal Inference 인과추론

eatchu — Sun, 5 Feb 2023 15:08:36 +0900

인과 추론(Causal Inference)이란?

기계학습 관점에서 우리는 "고객이 상품을 구매할 것인가?"를 궁금해왔다.
따라서 구매라는 결과 변수와 연관성이 있는 다양한 특성 변수를 활용하여 고객의 구매 여부를 예측해왔다.

하지만 이러한 예측 모델에서 얻은 결과로 고객의 '구매 의도'를 파악하긴 어렵다.
고객이 구매하기까지 관측된 현상으로 구매 여부를 예측한 것이기 때문에 예측에 활용된 특성 변수들이 고객이 상품을 구매하게 되는 원인이라고 볼 순 없다.
즉, 구매 원인이 아닌 구매하기 전에 나타나는 현상을 활용한 것이다.

따라서 우리는 구매 원인을 알 수 없기 때문에 고객의 구매율을 높이기 위해 어떠한 조치를 취해야 하는지 알 수 없다.
인과추론에서는 "고객이 왜 구매하는가?"를 궁금해한다. 따라서 고객이 구매를 하는데 영향을 주는 원인을 찾고자 한다.
예를 들어 추천 모델 A(구매 원인)가 고객의 구매에 영향을 주는지(결과)를 알고 싶을때 우리는 인과추론을 활용하여 효과를 추정해볼 수 있다.

인과추론과 예측방법론의 차이

Prediction		Causal Inference
model fitting approach	데이터에서 보여지는 패턴을 가장 잘 fitting하도록 모델을 학습시킴	Design-based approach	인과추론에 방해가 되는 요인(선택 편향)을 제거하는 접근
information filtering approach	관련성이 높은 association만 추려 유의한 관계만을 찾아냄	Structure-based approach	인과 구조를 명시적으로 나타내고 인과 구조를 기반하여 인과관계를 추론

예측과 인과추론의 차이

인과추론을 바라보는 여러 관점

empiricism : 경험주의 (by David Hume)

우리가 갖는 어떤 인상이나 관념이 또다른 관념을 예상 가능하도록 떠올릴 수 있다면 그것을 인과관계로 볼 수 있다.
어떤 실제의 원인이 직접적인 결과를 야기하는 법칙이라기 보다는 그런 원인이 있을때 항상 어떤 결과가 있었다는 반복적인 경험과 인상을 통해서 머릿속에서 형성되는 관념적인 연결고리에 불과하다.
예를들어 먹구름이 끼었을때 비가 온다는 것을 아는 이유는 이전에 먹구름이 낄때마다 비가왔기 때문에 경험적으로 우리의 머릿속에 떠오르기 때문이다. 마찬가지로 다리가 쑤시면 비가 온다는 것을 아는것도 마찬가지이다.

positivism : 실증주의 (by Immanuel Kant)

지식은 관념에서 나오는 것이 아니고 과학적인 방법을 통해 실험하고 검증될 수 있는 것이다.
우리의 자연과 사회가 어떤 구조를 가지고 구성이 되었고 검증이 가능한 어떤 법칙에 의해서 우리의 사회와 자연이 돌아간다.

인과추론의 접근법

인과추론의 접근법은 크게 1)potential outcome framework와 2)structural causal model 두가지로 볼 수 있다.

	Potential Outcome Framework (Design-Based Approach)	Structural Causal Model (Structure-Based Approach)
특징	- 연구에 행해질 구체적인 treatment를 정의할 수 있어야 한다. - 두 가능한 결과를 대조시킴으로써 효과를 추정할 수 있다.	- 인과 구조의 직접적인 관계를 확인하여 효과를 추정할 수 있다. - 원인-결과 관계에 발생 가능한 변수들의 관계를 도식화하여 노드들 사이의 경로에 대한 조건부 확률을 가지고 추정이 가능하다.
장점	- 적절한 연구 디자인만 설정한다면 깊은 이해 없이도 인과적인 효과를 추정할 수 있다. ex) 아스피린이 어떤 인과구조를 바탕으로 두통 완화에 효과가 있는지 명확하게 알지 못하더라도 treatment / control 그룹간의 아스피린 투약 유무의 효과 차이를 통해서 아스피린이라는 약의 인과적인 효과를 정량화 할 수 있음	- 인과 구조에 대한 직접적인 관계를 보여주고 직접적으로 추정함으로써 어떤 원인이 결과에 영향을 미치는지 path를 확인할 수 있다.
단점	- 구체적으로 어떠한 메커니즘에 의해 이러한 인과 관계가 나타내는지를 직접적으로 알기 어렵다.	- 추정 결과는 인과 구조에 의존하기 때문에 인과 구조를 잘못 선정하게 되는 경우 완전히 다른 결과를 얻게 된다. 따라서 인과 구조를 잘 선정하고 검증하는 것이 중요하다.

Causal Hierarchy

상위의 방법론일수록 인과추론의 신뢰성이 높으며 적용하기 쉽다.
하지만 현실에서 해당 방법들을 적용하지 못하는 여러 요인이 존재하므로 이를 해결하기 위해 다양한 방법론이 제시되어 있다.

아래 그림에서 가장 첫번째의 Meta-Analysis는 반복적으로 관찰되는 인과관계를 결합하여 보다 명확하게 인과추론을 수행할 수 있는 가장 높은 신뢰수준을 가진 방법론이라고 볼 수 있다. 하지만 현실에서는 높은 신뢰수준을 가진 방법론을 적용하기 어려운 경우가 많고 우리는 적용가능한 다른 방법론을 찾아야한다.

다음글 : 2023.02.18 - [Recommender System/Causal Inference] - Potential Outcomes Framework

참조 링크

Youtube 인과추론의 데이터과학
Danbi 실전 이탈 예측 모델링을 위한 세 가지 고려 사항 #2

컨텐츠기반 추천시스템(Content-Based Recommender System)

eatchu — Sun, 20 Nov 2022 01:16:59 +0900

앞선 "추천시스템이란?" 포스팅에서 각 알고리즘에 간략하게 설명을 적어보았다.

Contents-based Recommender System (컨텐츠 기반 추천 시스템)
- 사용자가 과거에 좋아했던 아이템을 파악하고, 해당 아이템과 비슷한 아이템을 추천해준다.
- 간단하게 예를 들어 사용자가 과거에 스파이더맨과 아이언맨을 즐겨보았다면 타이타닉보다는 캡틴 아메리카를 추천해 줄 것이다.

즉, 위와 같은 예시는 스파이더맨, 아이언맨이 타이타닉보다 캡틴 아메리카와 더 유사하다는 결론에서 나온 결과이며 아이템끼리의 유사도를 구하는 것이 컨텐츠 기반 추천시스템의 목적이라고 볼 수 있다.
이러한 컨텐츠기반 추천시스템의 목적을 다시 한번 상기시키고 좀 더 상세하게 알아보도록 하자.

컨텐츠기반 추천 시스템이란?

정보검색(Information retrieval)과 기계학습(Machine learning)의 중간 지점이라고 볼 수 있다.
- 아이템을 찾는 과정에서 과거 정보(정보 검색)를 활용해서 유저의 성향을 예측(머신러닝)하는 문제

유저 A가 높은 평점을 주거나 큰 관심을 갖는 아이템 X(이미 경험한 것)와 유사한 아이템 Y(아직 경험하지 않은 것)를 추천하는 것이다.
결국 컨텐츠 기반의 핵심은 유저가 과거에 접했던 아이템들과 유저가 아직 접하지 않은 아이템들 사이의 유사성을 파악을 하는 것이 중요하다.
아이템 간의 유사성을 어떻게 파악하고 유사성을 파악하기 위해 아이템간의 사용될 피쳐를 파악하는 것이 핵심이다.

개인적인 생각으로 유사도를 잘 구하는 것도 중요하지만 연산과정에서 나온 유사도가 유의미한 결과를 도출할 수 있도록 각 특성을 연산이 가능하도록 잘 수치화(벡터화)하는 과정이 중요한 것으로 보인다.

특정 영화감독을 선호하여 그 영화감독이 만든 영화만 보든 사람들이 있다. 우리는 그런 유저들에게 동일한 또는 비슷한 영화감독의 영화를 추천해줄 것이다.
어떤 제품을 구매할 때 후기에 민감한 사람이라면 각 제품의 리뷰를 전처리하여 적절한 제품을 추천해줄 수도 있을 것이다.
이러한 서비스 수행을 위해 중요한 것은 추천해주고자 하는 1) 아이템의 다양한 특성을 고려(Item Representation) 하고 2) 사용자가 어떤 아이템을 선호(User Profiling) 하는지를 알아내야 한다.

1) Item Representation

영화를 추천할 때 장르, 영화감독, 출연배우, 상영시간, 평균 평점, 국가, 흥행 정도 등 다양한 특성들이 있을 것이다. 가지고 있는 모든 특성을 활용할 수도 있겠지만 이러한 특성이 너무 많다면 데이터의 차원이 너무 커져 오히려 사용자에게 적절한 영화를 추천해주지 못할 것이다.
과적합을 피하고 generalization 한 모델을 만들기 위해서는 적절한 특성을 선택하는 것이 중요하다.
적절한 특성을 선택했다면 이것을 모델이 이해할 수 있는 구조로 변환해야 하는데 다양한 수치형 벡터로 변환할 수 있다.
- 리뷰 같은 경우는 어떤 문장으로 이루어진 text features이므로 text preprocessing(TF-IDF 등)을 통해 모델에 적합한 데이터를 얻을 수 있다.
- 장르 같은 명목형 변수 같은 경우는 원-핫 벡터 형태로 변환하여 모델에 적합한 데이터를 얻을 수 있다.
- 평점 같은 수치형(순서형) 데이터는 아이템의 특성으로 활용하기 위해 어떠한 통계 값(avg, median 등)으로 변환하여 사용하는데, 이때 User의 특성(원래 평점을 높게 주는 유저 혹은 원래 평점을 낮게 주는 유저)을 반영해 가중치를 부여하여 모델에 적합한 데이터를 얻을 수 있다.

2) User Profile

유저에 대한 특성은 eplicit data를 활용해볼 수 있다. eplicit data란 사용자로부터 직접적으로 얻어진 데이터이며 사용자의 설문조사, 자발적인 키워드 입력, 작성한 리뷰 또는 평점을 말한다.
이 외에도 검색 로그, 아이템 선택 후 구매 또는 취소 등의 implicit data를 활용해 다양한 사용자의 로그 지표를 활용해 볼 수도 있다.
User Profile은 분류(Classification)와 같다.
- 주어진 user profile 정보를 바탕으로 새로운 아이템이 유저가 선호하는 아이템 중 어떤 것에 속할지를 선택하는 것이다.
- 즉, 기존에 유저가 평가한 5개의 아이템($i_1, i_2,..., i_5$) 이 있다고 가정할 때, 새로운 아이템이 어디에 속할 것인지를 찾는 것이다.

다시 말해 컨텐츠 기반 추천 시스템은 Item Representation을 바탕으로 User Profiling 작업을 수행하고 얻어진 User Profile 결과를 바탕으로 새로운 Item이 들어왔을 때 어떤 User에게 추천해줄지를 찾는 것이다.

컨텐츠기반 추천시스템 구조

아래 그림은 컨텐츠 기반의 추천 시스템이 어떤 구조로 이루어져 있는지를 보여준다.
DB에서 꺼낸 raw data로부터 분석-추천리스트 생성까지의 프로세스이며 좋은 품질의 시스템을 위해 아래와 같은 과정을 지속적으로 반복해야 한다.

컨텐츠 분석(Contents Analyzer)
- 얻어진 데이터로부터 특성을 추출하고, 백터 화하는 과정이다.
- 다시 말하면 비정형 데이터로부터 우리에게 필요한 데이터를 추출(feature extraction)하고 추출된 데이터를 모델이 이해할 수 있는 구조로 변경(vector representiation)하는 것이다.

유저 프로필 파악(Profile Learner)
- 유저가 선호하는 아이템과 취향을 파악하고 알고리즘을 통해서 유저의 데이터를 일반화한다.

유사 아이템 선택(Filtering Component)
- 유저가 선호하는 아이템과 가장 유사한 아이템을 선택하는 과정이다.
- 분석된 아이템의 특성과 남은 아이템과의 유사성을 계산하여 최종 추천 리스트를 생성한다.

1-3 과정 반복
- 최종적으로 아이템을 추천해줬을 때, 유저가 추천된 아이템 중 선택하고 선택하지 않은 데이터를 얻는다.
- 얻어진 데이터를 다시 추가하여 추천 시스템을 계속 업데이트한다.

컨텐츠 기반 추천 시스템의 장단점

각 추천 알고리즘의 특징과 장단점을 이해해야 과제를 수행할 때 어떤 종류의 방법론을 적용해야 하는지 판단할 수 있다.

Advantage

다른 유저의 데이터가 필요하지 않다. → 각 유저가 구매한 아이템의 데이터가 중요.
- 협업 필터링 같은 경우엔 비슷한 유저를 찾아 비슷한 유저가 구매한 아이템을 추천해주지만 컨텐츠 기반은 유저가 구매한 아이템을 기반으로 추천해주기 때문에 다른 유저를 고려하지 않아도 된다.

추천할 수 있는 아이템의 범위가 넓다. → unique, new, unpopular 아이템 모두 가능. (cold start 커버 가능)
- 단순히 그 아이템의 기본 특성만을 가지고 컨텐츠 기반 시스템을 수행한다면 신제품이나 유저들의 구매이력이 없는 아이템이더라도 아이템의 기본 특성(아이템의 카테고리, 가격 등)은 존재하기 때문에 비교적 cold start 문제에 빠지는 경향이 덜하다.
- 하지만 컨텐츠 기반에서 아이템의 특성을 구할 때 유저에서 도출된 특성을 포함한다면 역시 cold start 문제에 직면할 가능성이 높다.

추천하는 이유를 제시할 수 있다. → 특정 feature가 추천의 이유가 됐다고 설명 가능.
- 즉, 유저가 좋아하는 5개 아이템의 특성을 분석하여 그 feature를 다른 아이템을 추천하는 이유로 설명을 할 수 있다.
- ex) 유저가 스파이더맨, 토르, 아이언맨을 즐겨보았다. 해당 장르와 감독, 영화사 등등의 어떠한 공통점을 찾아 feature로 선정하고 장르와 감독, 영화사 등 겹치는 캡틴 아메리카를 추천하게 되는 이유로 제시가 가능하다.

Disadvantage

적절한 feature를 찾기가 어렵다.
- 영화 시청 시간, 배우, 시놉시스, 나라, 장르, 감동 등 굉장히 많은 영화의 특성 중 어떠한 feature 조합이 적절한지 찾는 것이 어렵다.

새로운 유저를 위한 추천이 어렵다. → 과거 데이터가 없는 유저에 대해 제품을 추천하는 것이 쉽지 않음.
- 새로운 아이템 추천에는 효과적이라 하더라도, 새로운 사용자에게 제안하는 추천은 효과적이지 않다.
- 각 유저가 이미 구매한 아이템(또는 자주 클릭했거나 선호하는 아이템)이 존재하지 않는다면 제품을 추천하는 것이 쉽지 않다.

선호하는 특성을 가진 항목을 반복 추천(overspecialization)한다.
- 장점 2번과 상반되는 개념이지만 맥락은 조금 다르다. 한 유저가 액션 장르 영화만 100개를 보았다고 추천 pool에 있는 영화가 모두 로맨스 장르라면 추천이 어려울 수 있다.(feture를 장르 하나로만 선정했다는 가정하에)
- 유저의 성향을 파악하게 되면 해당 성향을 위주로만 추천을 하게 되기 때문에 해당 측면으로는 추천 아이템의 범위가 좁다고도 볼 수 있다.

[click] 부가 설명 및 참고 자료

cold start

Cold Start란 추천 시스템이 새롭게 들어온 유저(고객)이나 특정 컨셉(매니악한)을 가진 유저(고객)에 대한 정보가 충분하지 않아 적절한 상품을 추천해주지 못하는 문제를 말한다.
데이터가 부족한 상품에 대한 추천이 어렵기 때문에 기본적인 성능을 보장하는 협업 필터링 모델 구축이 쉽지 않다.

이 포스팅은 패스트캠퍼스 딥러닝을 활용한 추천시스템 구현 강의를 듣고 작성한 내용입니다.

추천시스템이란?

eatchu — Sun, 9 Oct 2022 15:56:25 +0900

추천시스템은 개발자뿐만 아니라 실제로 많은 사용자들이 잘 알고있는 영역이다.

우리가 쇼핑을 할때나 유튜브를 볼때 등 이미 실생활에서 많은 추천 시스템을 경험하고 있다.

유튜브에서 내가 먹방 콘텐츠의 영상을 여러개 보았다면 이후에 내 피드에는 먹방과 관련된 영상이 뜨게 된며

패딩이 사고 싶어서 쇼핑앱에서 패딩을 검색해 보았다면 이후 더 다양한 패딩 제품이 나를 구매로 이끌기도 한다.

요즘같은 시대에 인터넷에는 너무나 많은 정보가 있다.

많은 정보는 사람들에게 유익하지만 그만큼 내가 원하는 특정한 정보만을 찾기 힘들게 만들기도 한다.

따라서 추천 시스템은 사용자가 정보를 수집하고 찾는 시간을 줄여주는 것이 목적이다.

Pull Information과 Push Information

검색서비스(Pull Information)
기존에 우리가 서칭을 할때 사용하는 검색 서비스는 우리가 무엇을 찾고자 하는지를 명확히 알고 있을때 활용할 수 있다.
내가 특정 지역의 맛집을 찾고 싶었다면 인터넷에 "oo지역 맛집"이라는 검색어를 적어 얻고자 하는 정보를 얻을 수 있다.
즉, 사용자가 스스로 찾고자 하는 정보를 알고 있으며 사용자의 요청 이후 결과가 발생한다.

추천서비스(Push Information)
하지만 추천서비스의 특성은 약간 다르다.
사용자가 스스로 원하는 바를 정확히 알지 못하는 경우에 사용자가 원할 법한 정보를 미리 찾아 보여주는 것이 추천서비스이다.
이는 사용자가 어떤 정보를 요구하기도 전에 발생하며 사용자의 과거 이력이나 사용자와 비슷한 다른 사용자의 정보를 활용해서 해당 서비스를 수행하도록 한다.

기업에서는 왜 추천시스템을 사용하는가?

더 많은 아이템을 판매할 수 있다.
- 사용자가 원하는 제품을 추천함으로써 사용자의 구매를 이끌어 기업에게 이익을 가져다 준다.

더 다양한 아이템을 판매할 수 있다.
- 1번과 같은 맥락으로 보이지만 많은 제품을 판매하는 것과 다양한 제품을 판매하는 것은 다르다.
- 사용자가 원했지만 정보가 너무 많아 미쳐 보지 못했을 상품을 추천해줌으로써 구매를 이끌어낼 수 있다.

소비자 만족도가 증가
- 사용자가 원하는 정보를 쉽게 얻으면서 해당 플랫폼의 만족도가 증가하게 된다.

충성도 높은 고객 증가
- 사용자의 만족도가 증가하면서 해당 플랫폼에 머무르는 시간이 증가하게 된다.

고객이 원하는 것이 무엇인지 알 수 있다.
- 기업이 각 고객의 니즈를 파악하게 되고 더 많은 데이터가 쌓을수록 추천알고리즘의 성능 향상하는 선순환이 이루어진다.

BERT Architecture (Transformer Encoder)

eatchu — Wed, 25 May 2022 11:35:54 +0900

BERT

BERT는 2018년 구글이 공개한 사전 훈련 모델이다.

Transformer의 encoder 구조를 사용해 구현되었으며 약 33억 개의 텍스트 데이터로 사전 훈련되었다.

이전의 Embedding 방식에서는 다의어나 동음이의어를 구분하지 못하는 문제점이 있었고 이러한 문제의 해결책으로 BERT가 출현하게 되었다.

그럼 어떠한 방식으로 BERT가 문장의 문맥을 이해하고 단어를 표현할 수 있는지 알아보자.

INPUT

Wordpiece Tokenizer

BERT에서는 subword tokenizer로 wordpiece tokenizer를 사용했다.

이는 자주 등장하는 단어 집합은 그대로 사용하고, 자주 등장하지 않는 단어의 경우, 더 작은 단위인 서브 워드로 분리하여 단어 집합에 추가한다.

실제로 세상의 모든 단어들에 index를 부여하여 학습할 수 없기 때문에 모델이 단어를 처리할 수 있는 범위를 구하는 것이다.

즉, 경우의 수를 줄여 토큰을 재사용하고 OOV 처리에 용이하다는 장점이 있다.

BERT에서는 이러한 방식으로 33억 개의 단어를 약 3만 개의 vocabulary에 담았다.

Positional Embedding

단어의 위치 정보를 얻기 위해 각 단어의 임베딩 벡터에 위치 정보들을 더하여 모델의 입력으로 사용하는 임베딩 값이다.

transformer의 내부 구조를 살펴보면 알겠지만 BERT는 문장 내 모든 토큰을 참조하는 구조로 단어 입력을 순차적으로 받지 않기 때문에 단어의 위치 정보를 따로 주어야 한다.

따라서 positional embedding을 진행하면 동일한 단어라도 문장 내의 위치에 따라 다른 값을 가질 수 있다.

Segment Embedding

두 개의 문장을 입력으로 받을때 문장을 구분하기 위한 임베딩 값으로 사용된다.

위 그림에서처럼 입력으로 두 개의 문장이 들어갔을때 각 문장에 0, 1값을 주어 두개의 문장을 구분할 수 있게 해주는 벡터이다.

따라서 wordpiece가 수행된 토큰들의 단어 임베딩 값과 위치 임베딩, 세그먼트 임베딩 값이 합산되어 BERT의 입력으로 들어가게 된다.

input_embedding = word_embedding + positional_embedding + segment_embedding

Encoder

이제 입력 데이터를 살펴봤으니 BERT의 내부구조에 대해서 알아볼 차례다.

앞서 말했듯이 BERT는 transformer encoder 구조를 사용해 구현되었다.

위의 그림을 보면 입력 데이터가 들어오면 n개의 encoder(BERT Layer #n)가 쌓여있고 순차적으로 학습이 진행된다.

이해를 좀 더 쉽게 하기 위해 Encoder 구조는 BERT-Base 기준으로 설명을 하려고 한다.

BERT-Base
L = 12 : encoder 12개
D = 768 : 768차원의 embedding vector
A = 12 : 12개의 self-attention

BERT-Base는 위와 같이 설정되어있다.

그럼 지금 Encoder는 12개가 쌓여있으며 한 Encoder의 내부구조는 위 그림에서 오른쪽에 그려진 구조를 참고하면 된다.

Encoder층은 순서대로

1. Multi-head Self-Attention

2. Add & Norm

3. FFNN

4. Add & Norm

으로 이루어진다.

1. Multi-head Self-Attention

그림에서처럼 입력 데이터가 들어오면 Multi-head Self-Attention 층을 지나게 된다.

Multi-head attention 층은 여러 개의 self-Attention이 병렬적으로 학습되어있는 구조로 이를 이해하기 위해서는 self-attention이 어떻게 동작하는지 알아야 한다.

self-attention 구조

self-attention의 학습과정을 도식화한 그림이다.

설명을 순서대로 진행하기 위해 파트별로 박스와 번호를 설정해놨다.

먼저 input matrix를 보자. 그림에서의 matrix은 문장 하나가 input으로 들어갔을 경우를 행렬로 그린 것이다.

N은 우리가 설정한 최대 단어 길이이며 BERT-Base에서는 최대 단어 길이를 512로 설정하였기 때문에 N은 512로 볼 수 있다.

d_model은 embedding 차원을 나타내며 BERT-Base기준으로 768차원이라고 볼 수 있다.

따라서 현재 512x768차원의 행렬이 입력으로 들어간다.

여기서 우리는 d_model x d_k 차원의 3개의 가중치 행렬과 각각 연산을 진행한다.

이때 d_k는 D(embedding vector=768) / A(number of self-attention=12)로 설정이 되며 BERT-Base 기준으로 768/12=64차원이 된다.

이렇게 설정하는 이유는 우리가 학습이 끝난 각각의 self-attention의 output을 concat 하게 되는데 이때 차원이 기존의 embedding차원으로 나와야 하기 때문이다.

즉, 우리는 12개의 self-attention을 수행하고 각 self-attention에서 64차원의 행렬이 output으로 나오게 되면 이를 이어 붙여 12 * 64 = 768차원의 최종적인 multi-head self-attention의 output을 구할 수 있게 된다.

각 가중치 행렬을 연산하게 되면 우리는 d_model x d_k 차원의 Q(query), K(key), V(value) matrix를 얻게 되며

이 각각의 matrix는 값은 다 다르지만 본질적으로 input의 정보를 내포하고 있는 matrix이다.

이제 attention score를 구하는데 transformer에서 attention score method는 scaled dot method를 사용하였다.

scaled dot method = $Q * K^T / \sqrt{d_k}$

method를 따라서 Q matrix와 K의 역행렬 matrix 연산을 수행한다.

이 연산은 각 token들이 문장 내의 모든 token과 연산을 하는 과정이다.

따라서 우리가 얻어낸 N x N matrix은 각 토큰이 문장내의 모든 토큰을 참고한 값을 가지고 있는 행렬이라고 볼 수 있다.

얻어진 N x N matrix에 scaling을 진행한 후 softmax를 씌운다.

softmax를 적용한 N x N matrix는 각 feature vector의 합이 1인 어떠한 확률 값을 가지게 된다.

이 확률 값의 의미는 각 토큰이 참고한 토큰들과의 유사도를 의미한다.

softmax를 수행한 NxN 유사도 행렬을 V matirx와 연산해준다.

그럼 self-attention의 최종 output으로 N x d_k의 matrix을 얻게 되며 이 matrix는 문장 내에 어떤 단어들이 유사한지를 알 수 있게 해 준다.

즉, self-attention을 통해 "그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 피곤하였기 때문이다."라는 문장에서 '그것'이 '동물'과 연관성이 크다는 것을 기계가 학습하는 것이다.

multi-head self-attention 구조

위의 self-attention 과정을 12개 병렬적으로 진행하여 각 self-attention에서 나온 N x d_k matrix(=attention head)를 모두 이어 붙이면 최종적으로 N x d_model matrix가 나오고 이 matrix는 multi-head self-attention의 최종 output이 된다.

2. Add & Norm

Residual Connection

multi-head self-attention층을 통과하면 Add & Norm층을 통과한다.

Add는 Residual Connection을 뜻한다.

multi-head self-attention을 통과한 output과 multi-head self-attention을 통과하기 전의 input 행렬은 동일한 차원을 가지고 있다.

이 두 행렬을 다시 더해주는 것이 Residual Connection이다.

Residual Connection은 computer vision의 ResNet이란 모델에서 나온 방법으로 multi-head self-attention을 통과한 output이 기존의 input 정보를 많이 손실하여 기존 input 정보를 최대한 보존하고자 하는 것이 목적이다.

Layer Normalization

다음 Norm은 Layer Nomalization을 뜻한다.

Layer Normalization은 각 feature vector를 정규화한다. (Batch Normalization에서는 각 feature를 정규화)

정규화 방식은 두 가지이다.

1) $\mu=0, \sigma^2=1$

우리가 잘 알고 있는 정규화 방식이다. vector의 평균과 분산을 구해 정규화를 수행한다.

$\hat{x_i} = \dfrac{x_i - \mu}{\sqrt{\sigma^2}}$

정규화를 수행하는 이유는 초기 입력이 정규분포더라도 hidden layer를 지나면서 분포가 점점 정규화를 벗어나 Gradient Vanishing 문제를 야기할 수 있기 때문에 이를 방지하고자 정규화를 수행한다.

2) $\gamma, \beta$

1) 번 방식으로 정규화를 수행한 후 $\gamma$와 $\beta$를 사용한다.

$Norm(x_i) = \gamma\hat{x_i} + \beta$

$\gamma=1, \beta=0$의 초기화 값을 가지며 모두 학습 가능한 변수이다.

1) 번 방식으로 계속해서 정규화를 수행하면 데이터가 비선형 성질을 잃게 되어 이를 방지하고자 2) 번 방식을 수행한다.

3. Position-wise FFNN(Feed Forward Neural Network)

두 번째 층인 Add&Norm을 통과하면 FFNN층을 통과하게 된다.

그림으로 표현하긴 했지만 더 쉽게 설명하자면 Dense Layer를 두 개 쌓은 것이다.

최종 Layer는 input과 output차원이 동일하도록 d_model 수만큼의 unit을 설정한다.

4. Add & Norm

2.Add & Norm과 같은 과정이므로 생략

이러한 아키텍처를 가진 BERT가 어떠한 방식으로 모델을 학습시켰는지도 해당 포스터에 같이 적으려고 했는데..

귀찮다.........

MLM 내용 5줄 적고 일주일째 미루고 있어서 일단 아키텍처 부분만 업로드하는 걸로...

[Paper] Detection and Segmentation of Manufacturing Defects with Convolutional Neural Networks and Transfer Learning

eatchu — Fri, 6 May 2022 12:30:41 +0900

[Paper]
Detection and Segmentation of Manufacturing Defects
with Convolutional Neural Networks and Transfer Learning

사실 이미지 관련, 특히 object detection은 내가 해오던 분야가 아니라 지식이 많이 부족한편이다.

최근에 회사에서 object detection에 관한 과제가 생겼고.. 또 하필 세미나를 내가 맡아서 여기저기 찔러보는 공부 중

스마트팩토리를 메인으로 제조 기반의 Detection을 수행하게 되어 casting detection을 수행하는 해당 논문을 읽어보았다.

글을 뭐 어떻게 써야할진 잘 모르겠지만 내가 읽으면서 정리한 내용을 위주로 적어보려고 한다.

Introduction

일반적인 주조 결함에는 air holes, foreign particle inclusions, shrinkage cavities, cracks, wrinkles, casting fins 등이 있다. 이러한 결함들이 감지되지 않으면 기계의 고장으로 이루어진다. 이러한 결함을 조기에 감지하면 제조 공정 초기에 결함이 있는 제품을 식별할 수 있어 시간과 비용을 절약할 수 있다.

Defect detection process는 objecct detection과 instance segmentation으로 구성된다.

Object Detection	To place a tight-fitting bounding box around each defect in the image 이미지 속 결함 부분에 알맞은 bounding box를 배치하는 것. 말 그대로 사물을 감지하여 표시를 해주는 것.
Image Segmentation	One of pixel classification. To classify each image pixel as a defect or not 픽셀 분류 중 하나이며, object detection에서 감지된 bounding box가 anomaly 인지 아닌지를 분류하는 것
Instance Segmentation	Each segmentated pixel must be assigned to a particular casting defect 분할된 픽셀이 우리가 찾고자하는 특정 anomaly에 알맞게 할당되어야 하는것

Related Works

선행연구

Background Substraction : 기존의 전처리 작업. 그러나 이미지의 위치와 이미지 노이즈에 매우 민감.
MODAN(modified median)-Filter : 조정된 중앙값 필터로 결함으로 보이는 부분의 구조적 윤곽을 구별함.
Wavelet : 주파수 기반의 기술. 결함은 고주파수 영역의 이미지로 식별되며 이것을 이용함.
결론 : 이러한 기술들은 이미지의 local과 global 정보를 결합하지 못하여 결함 이미지의 구멍이나 모서리 같은 부분을 잘 식별하지 못함.

최근기술

Faster Region-Based CNN (Faster R-CNN) : 정확도 우선
Single Shot Multibos Detector (SSD) : 속도 우선
Mask R-CNN (Extended Faster R-CNN) : detection과 segmentation을 동시 수행

Convolutional Neural Networks

1. Residual Network (ResNet)

1001 layer 사용
Skip Connection
Residual Mapping : Weight layer를 통과한 f(x)와 weight layer를 통과하지 않은 x의 합
Overfitting, Vanishing Gradient 문제 해결
Residual Block이 쌓이면 Residual network가 됨

2. VGG Net (VGG16)

목적은 5x5 필터 한번 사용보다 3x3 필터를 두번 사용하는 것이 낫다는 개념을 사용. 더 적은 커널 필터로 레이어를 여러 번 두었을때 가중치의 수가 적어져 기울기 소실문제를 해결할 수 있고 비선형 문제를 좀 더 잘 해결할 수 있음
모든 필터가 kernel = 3x3, stride = 1로 이루어짐
모든 활성화 함수로 ReLU를 사용

Defect Detection System

1. Mask R-CNN 구조의 4가지 모듈

Feature Extraction : input image의 high-level 특징을 추출함
Region Proposal Network(RPN) : 특징화된 이미지에서 Regions of Interest(RoIs)를 제안하는 CNN
각 RoIs에서 객체를 분류하는 CNN
Image Segmentation

2. Regions Proposal Network (RPN)

모든 크기의 feature map을 input으로 받아 사각형의 객체 집합을 출력함
각 영역에는 객체가 포함될 likelihood score를 제안
Input으로 ResNet 레이어의 feature map의 n x n window size를 가짐
Output은 Bounding box의 좌표와 현재 슬라이딩 위치에 있는 객체의 가능성을 설명하는 벡터를 가짐

Anchor Boxes	다양한 크기의 bounding box를 생성하기 위해 각 feature map의 grid에 scale x ratio 만큼의 박스 수의 bounding box를 생성함 - 현재 논문에서는 3 scale 5 ratio를 사용하여 15 anchor box 생성
Architecture	RPN에서 feature map은 box regression(4d)과 object classification(2d)으로 분리가 되며 각각 bounding box의 좌표와 class score를 산출 각 grid에서 class score에 따라 상위 n개의 anchor box가 선택됨
Training	선택된 anchor box와 ground truth box(라벨링된 객체가 존재하는 실제값)를 input으로 받아 IoU값을 구하여 0.7이상은 1(객체존재), 0.3이하는 0(객체존재x)값을 줌
Transfer Learning	전이학습은 한 경에서 학습된 정보를 이용하여 다른 환경에서 일반화하는 학습 기법으로 이 학습으로 제한된 도메인 작업에 적용

Implementation Details and Experimental Results

Fast R-CNN과 Mask R-CNN을 활용한 object detection network 구현.

Pre-trained된 CNN을 활용하여 GDXray dataset으로 평가를 진행.

이미지 사이즈는 256 x 256 ~ 768 x 572로 구성.

Training
1) Preprocessing data
- Adjust Image size : 768 x 768
- Randomly flipped horizontally and vertically
2) Transfer Learning
- Feature Extractor : ImageNet
- Defect detection : COCO (8개의 NVIDIA K80 GPU 사용)
3) Hyper Parameter
- mini batch : 2 images
- 100 sampled RoIs
- 1 : 3 positive to negatives
- IoU threshold : 0.5
- Training GDXray with 80 epochs + 80 epochs

Fast R-CNN 이론 노트 정리

eatchu — Thu, 5 May 2022 16:21:15 +0900

Fast R-CNN을 간단하게 구현해야할 과제가 있어 급하게 공부해본 이론

이미지처리 지식이 CNN 기본알고리즘에서 끝나버린지 오래라 요번에 알아보면서 참 새로운 방법론들이 많이 나왔구나 했다.

물론 이 알고리즘도 구작이겠지만 ...

참고 블로그가 해당 논문을 너무 잘 설명해줘서 다른 사이트를 참고할 필요가 없었다.

참고 논문 : Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

참고 블로그 : Faster R-CNN 논문(Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks) 리뷰

Object Detection

Anchor Box

RPN / loss

Training process

Mac에서 가상환경 설치하고 window 사용하기

eatchu — Sun, 1 May 2022 00:25:14 +0900

Mac에서 가상환경 설치하고 window 사용하기

Mac 사용 시 윈도우를 사용할 수 있는 방법을 소개해보려고 한다.

출근할땐 윈도우를 사용하고 재택할때 맥북을 쓰는데 ppt, word, excel 작업할 일이 많아서 꽤 불편했다.

지금까지는 웹으로 접속해서 office를 사용했는데 하다보니 성질머리가 드러워지는 것 같아서 가상환경 설치하고 윈도우를 사용하는 방법으로 바꿨다...

먼저 윈도우 사용하는 방법은 아래와 같이 있다.

[Mac에서 윈도우를 사용하는 방법]

Bootcamp Parallels Vmware Virtualbox

비용 유료 유료 유료 무료

장점 하드웨어 성능을 온전히 사용할 수 있음 맥과윈도우를 동시에 병행사용가능

단점 맥이나 윈도우 둘중에 하나로만

부팅하기에 OS간 전환이 느림

M1 맥북에선 사용할 수 없음
맥위에서 가상화기술을사용하기 때문에 하드웨어
성능을 전부 사용하진 못하며 약간 느릴 수 있음

비용적인 측면에서 Virtualbox를 추천하기 때문에 Virtualbox를 설치하는 방법을 사용했다.

여기서 상세하게 내용을 적진 않고 내가 참고한 링크를 순서대로 걸려고 한다.

1. Mac에서 Virtualbox 설치하기

- 클릭하나하나 정말 상세하게 알려준다.

https://welcome1208.tistory.com/3

맥 OS X에 VirtualBox 설치하기

안녕하세요 류똥구입니다. 저는 14년도에 구매한 맥미니를 아직까지도 메인 컴퓨터로 사용하고 있습니다. 집에서 컴퓨터를 켤 일이 많이 없긴 하지만 5년동안 잘 쓰고 있습니다. 그냥 인터넷

welcome1208.tistory.com

2. 윈도우 다운로드하여 Virtualbox에 설치하기

- 사실 이 블로그가 완전판이다. 잘따라가면 못할 것이 없음

https://welcome1208.tistory.com/5

MacOS에서 VirtualBox로 Windows10 VM 만들기

안녕하세요 류똥구입니다. 지난번에 맥에 VirtualBox를 설치를 했었는데요. 이번에는 VirtualBox로 Windows10을 설치하는 방법에 대해서 포스팅하겠습니다. 부지런히 포스팅을 해야는데, 스크린샷만 열

welcome1208.tistory.com

[Windows 10 ISO 파일 MS공홈에서 다운받기]

- 주소 : https://www.microsoft.com/ko-kr/software-download/windows10#34de222e-6944-44aa-8f45-8e96988880a4

위 블로그들 내용을 요약하면 아래와 같다.

[Windows 10 사용 요약]

1. Mac에서 Virtualbox 설치

2. Windows 10 ISO 다운로드

3. Virtualbox에서 VM 생성 후 가상 하드웨어 세팅
- 하드디스크 용량, 메모리, CPU 등 할당
4. Windows 10 ISO 파일을 가상CD롬에 넣고 VM 부팅 및 Windows 설치
5. Windows 설치 후 Virtualbox 확장팩 설치
6. Windwos 라이선스 활성화 및 사용

아울러 Windows 10은 설치 시 인터넷을 활성화 하지않으면 오프라인 사용자로 로그인 할 수 있고
(MS계정생성 없이 오프라인 사용자 로그인 방법 - https://www.samsungsvc.co.kr/solution/25201)

임시 라이선스 활성화는 아래와 같이 하면 된다.

[Windowns 10 임시 라이선스 활성화]
- 방법 : https://dora-guide.com/windows-activate/

- 주의 : 주기적으로 만료되므로 재 실행 필요

추가로 간단한 단축키들을 적어보았다.

[기본 맥 os 단축키]

- 취소하기 : command + Z

- 복사하기 : command + C

- 붙여넣기 : command + V

- 잘라내기 : command + X

- 모두 선택 : command + A

- 모두 선택 취소 : command + option + A

- 찾기 : command + F

- 새로 만들기 : command + N

- 저장하기 : command + S

- 다른 이름으로 저장하기 : command + shift + S

- 인쇄하기 : command + P

[스크린샷 단축키]

- 전체 화면 캡처 : command + shift + 3

- 창 캡처 : command + shift + 스페이스바

- 지정 화면 캡처 : command + shift + 4

[윈도우 맥 os 단축키]

- 새 탭 열기 : command + T

- 창 최소화하기 : command + M

- 윈도우 닫기 : command + W

- 윈도우 모두 닫기 : command + option + W

- 앱 강제 종료 : command + option + esc

[시스템 맥 os 단축키]

- 디스플레이 잠자기 모드 : command + control + (전원 / 미디어 추출)

- 시스템 잠자기 모드 : command + option + (전원 / 미디어 추출)

- 모든 앱 종료 후 시스템 종료 : command + option + control + (전원 / 미디어 추출)

- 모든 앱 종료 후 시스템 재시동 : command + control + 미디어 추출

- 강제 재시동 : command + control + 전원

Windows 10 VM을 생성하시면 꼭 업데이트하고

맨처음에 Snapshot을 찍어 보관하셔서 문제발생 시 원복하시면 좋을 것 같다.

[NLP] Word2Vec : Skip-gram, SGNS(Skip-gram with Negative Sampling)

eatchu — Wed, 20 Apr 2022 19:35:41 +0900

Word2Vec의 학습방식을 공부하고 남기는 노트 자료입니다.

상세한 설명은 [WikiDocs]딥 러닝을 이용한 자연어 처리 입문 에서 보면 좋을 것 같습니다.

먼저 CBOW(Continuous Bag of Words)의 구조는 넣지 않았습니다.

Skip-gram을 이해하면 쉽게 이해할 수 있는 구조입니다.

skip-gram

SGNS

학습방식을 사전에 충분히 숙지한 뒤 나중에 참고용으로 보면 좋을 것 같습니다.(는 내 얘기)

	Bootcamp	Parallels	Vmware	Virtualbox
비용	유료	유료	유료	무료
장점	하드웨어 성능을 온전히 사용할 수 있음	맥과윈도우를 동시에 병행사용가능
단점	맥이나 윈도우 둘중에 하나로만 부팅하기에 OS간 전환이 느림 M1 맥북에선 사용할 수 없음	맥위에서 가상화기술을사용하기 때문에 하드웨어 성능을 전부 사용하진 못하며 약간 느릴 수 있음

DO IT CHU

[Prod2vec] E-commerce in Your Inbox : Product Recommendations at Scale

E-commerce in Your Inbox : Product Recommendations at Scale

NOTATION

prod2vec

bagged-prod2vec

Product-to-product predictive models

prod2vec-topK

prod2vec-cluster

Potential Outcomes Framework

Potential Outcome Framework (Rubin's Causal Model)

Counterfactual and Selection Bias

Estimating Effects on Potential Outcomes

Causal Inference 인과추론

인과 추론(Causal Inference)이란?

인과추론과 예측방법론의 차이

인과추론을 바라보는 여러 관점

인과추론의 접근법

Causal Hierarchy

컨텐츠기반 추천시스템(Content-Based Recommender System)

컨텐츠기반 추천 시스템이란?

1) Item Representation

2) User Profile

컨텐츠기반 추천시스템 구조

컨텐츠 기반 추천 시스템의 장단점

Advantage

Disadvantage

cold start

추천시스템이란?

Pull Information과 Push Information

기업에서는 왜 추천시스템을 사용하는가?

추천시스템에서 중요한 것

추천 시스템이 풀고자 하는 문제

추천시스템 알고리즘 종류

추천시스템의 한계

BERT Architecture (Transformer Encoder)

BERT

INPUT

Wordpiece Tokenizer

Positional Embedding

Segment Embedding

Encoder

1. Multi-head Self-Attention

2. Add & Norm

Residual Connection

Layer Normalization

3. Position-wise FFNN(Feed Forward Neural Network)

4. Add & Norm

[Paper] Detection and Segmentation of Manufacturing Defects with Convolutional Neural Networks and Transfer Learning

Introduction

Related Works

Convolutional Neural Networks

Defect Detection System

Implementation Details and Experimental Results

Fast R-CNN 이론 노트 정리

Mac에서 가상환경 설치하고 window 사용하기

1. Mac에서 Virtualbox 설치하기

2. 윈도우 다운로드하여 Virtualbox에 설치하기

[NLP] Word2Vec : Skip-gram, SGNS(Skip-gram with Negative Sampling)