[주간학습 정리] Week 2

 

학습 중 생긴 이론적 이슈 및 해결방법에 대해 기록하자
추가적으로 중요한 개념에 대해 기록하자

 

금주의 키워드

• 머신러닝 라이프 사이클
• 선형대수 - 회귀, 분류
• 최소제곱법
• Closed form 솔루션
• forward, backpropagation
• RNN
• attention
• transformer

 

 

1. Colab에서 메모리 이슈

이슈: Colab 코드 실행 중 메모리가 계속 터지는 이슈로 인해서 어려움을 겪음

해결: 행렬 계산 부분에서 이슈가 발생했는데 확인 결과 데이터 shape을 변경하면서 실수로 인하여 계산상에 메모리 이슈가 발생한것으로 확인됨

# 이슈 발생 코드
X_train = np.array(train_data['PM10']).reshape(-1, train_data['PM10'])

# 수정후 코드
X_train = np.array(train_data['PM10']).reshape(-1, 1)

 

 

 

2. Normalization vs Standardization

공통점

• 모델 학습 전 데이터 스케일링하는 방법
• 스케일이 큰 feature의 영향이 커지는것을 방지함
• Local minima에 빠질 위험을 감소 시킴(이로 인하여 학습가 속도 향상됨)

 

Normalization

• 데이터를 특정 범위로 변환하여 범위를 일치시킴
• MinMaxScaler

 

Standardization

• 데이터를 평균 0, 표준편차 1로 변환하는 것
• StandardScaler

 

 

3. Transformer

추후 작성해서 업데이트 예정

 

Transformer 네트워크 구조