[주간학습 정리] Week4

 

통계에 대해 학습을 했는데
기본 개념 및 정의 부터 확실히 짚고 넘어가야 할 거 같아서
몇 개의 단어들에 대해서 위키와 구글링을 통해서 찾아서 작성하였다.

 

 

키워드 및 정의

1. Random Variable (확률 변수)
   1. 확률 실험의 결과로 가능한 값들을 가지며, 이러한 값들이 확률 분포에 따라 나타난다.
   2. 확률공간에서 다른 가측 공간으로 가는 가측함수이다. 시행의 결과에 따라 값이 결정되는 변수를 나타낸다.
2. Distribution (분포)
   1. 확률 변수의 모든 가능한 값들과 이 값들이 나타날 확률을 나타내는 함수 또는 법칙이다.
3. Probability Distribution(확률 분포)
   1. 확률변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다
4. Binomial Distribution (이항 분포)
   1. 두 가지 가능한 결과(성공과 실패)가 있는 독립적인 실험을 반복했을 때 성공 횟수를 모델링하는 확률 분포이다.
   2. 연속된 n번의 독립적 시행에서 각 시행이 확률 p를 가질 때의 이산 확률 분포이다.
5. Bernoulli Distribution (베르누이 분포)
   1. 한 번의 실험에서 두 가지 가능한 결과 중 하나가 나타나는 경우의 확률 분포로, 성공 확률이 p일 때 실패 확률은 1-p이다.
   2. 확률변수의 1회 시행결과가 1과 0의 2가지 이진값으로만 이루어진 분포를 의미한다.
   3. 시행 횟수 n이 1일때, 이항분포는 베르누이 분포이다.
6. Uniform Distribution (균등 분포)
   1. 모든 가능한 값이 동일한 확률로 나타나는 분포로, 연속형일 경우 일정 구간 내에서의 균등 확률을 의미한다.
7. 정규 분포(normal Distribution)
   1. = 가우스 분포(Gaussian Distribution)
   2. 평균과 표준편차로 정의되는 정규 분포로, 데이터가 평균을 중심으로 대칭적으로 분포한다.
   3. 수집된 자료의 분포를 근사하는데 자주 사용되며, 이것은 중심극한정리에 의하여 독립적인 확률변수들의 평균은 정규분포에 가까워지는 성질이 있기 때문이다.
8. Beta Probability Distribution (베타 확률 분포)
   1. 베타분포(beta distribution)은 [0, 1] 구간에서 정의되는 연속 확률 분포이고, 두 매개변수(α, β)에 따라 다양한 형태를 취할 수 있는 분포이다.
9. CLT (Central Limit Theorem, 중심극한정리)
   1. 많은 독립적인 확률 변수들의 합이 정규 분포에 수렴한다는 정리로, 샘플의 크기가 충분히 크면 정규 분포에 가까워진다.
   2. 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다.
10. Likelihood (우도)
    1. 주어진 데이터가 특정 모형 또는 파라미터 집합 하에서 관찰될 확률을 의미하며, 모델의 적합도를 평가하는 데 사용된다.
    2. 확률 분포의 모수가 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값이다.
    3. 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다.
11. Generative Models (생성 모델)
    1. 데이터의 생성 과정을 학습하여 새로운 데이터를 생성할 수 있는 모델로, 예를 들어 GANs와 VAEs가 있다.
    2. 주어진 데이터를 바탕으로 데이터의 분포를 학습하고, 이를 바탕으로 새로운 데이터를 생성하는 모델이다.
12. 그래피컬 모델 (Graphical Model)
    1. 변수들 간의 조건부 의존성을 그래프 구조로 표현하여 복잡한 의존 관계를 시각적으로 나타내는 모델이다.
    2. 변수들 간의 상호 의존 관계를 표현한 확률 모델이다.
    3. 변수간 의존관계를 설명하는 것을 목적으로 한다.
    4. 크게 3가지로 나뉜다.
       1. Directed Graphical Model
       2. Undirected Graphical Model
       3. Chordal(Directed Graphical Model과 Undirected Graphical Model 이 혼합된 것)
13. GMM (Gaussian Mixture Models, 가우시안 혼합 모델)
    1. 여러 개의 가우시안 분포의 혼합으로 데이터를 모델링하며, 각 가우시안의 가중치를 조절하여 데이터의 분포를 설명한다.
    2. 가우시안 분포가 여러 개 혼합된 클러스터링 알고리즘이다.
14. VAE (Variational AutoEncoders, 변분 오토인코더)
    1. 인코더와 디코더를 사용하여 데이터의 잠재 변수 분포를 학습하고, 새로운 데이터를 생성하는 생성 모델이다.
    2. AVE는 높은 차원의 데이터를 낮은 차원의 잠재 공간에 매핑하는 인코더와 이 잠재 공간에서 원래의 데이터 공간으로 매핑하는 디코더로 구성되어 있다.
    3. 학습과정에서 확률적인 방법을 사용한다.
    4. VAE는 데이터의 노이즈에 강건하며 다양한 종류의 데이터에 적용할 수 있다는 장점이 있다.
15. 변분추론 (Variational Inference)
    1. 복잡한 분포를 근사하기 위해 간단한 분포로 변환하여 확률 분포를 추정하는 방법론이다.
16. Convex Function (볼록 함수)
    1. 함수의 두 점을 연결하는 선분이 함수 그래프 위에 위치하는 함수로, 최적화 문제에서 중요한 역할을 한다.
    2. 예를 들어, x^2, e^x 등이 있다
17. Concave Function (오목 함수)
    1. 함수의 두 점을 연결하는 선분이 함수 그래프 아래에 위치하는 함수로, 극대화를 목표로 하는 문제에서 중요하다.
    2. 예를들어 logx 등이 있다
18. Jensen’s Inequality (젠센의 부등식)
    1. 볼록 함수에 대해 기댓값의 함수는 함수의 기댓값보다 크거나 같다.
    2. 함수 g(x)가 convex 함수일 때, 전체 입력값 X에 대한 함수의 기댓값은 입력값 X의 기댓값에 대한 함수값보다 항상 크거나 같다는 부등식이다.
       1. E(g(X)) ≥ g(E(X))
19. KLD (Kullback-Leibler Divergence, 쿨백-라이블러 발산)
    1. 두 확률 분포 간의 차이를 측정하는 비대칭적인 지표로, 정보 이론에서 널리 사용된다.
    2. 두 확률분포의 차이를 계산하는 데에 사용하는 함수로 어떤 이상적인 분포에 대해 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다.
    3. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다.
    4. Non-Negative 특성(두 distribution이 같으면 0, 다르면 양의 값을 가짐)을 가지고 있다.
    5. 계산 순서가 바뀌면 결과값이 변한다.