전체 글
-
[주간학습 정리] Week 6Naver AI Tech 2024. 9. 13. 18:04
3줄 요약프로젝트를 시작했다프로젝트에 도움되는 지식을 배웠다데이터가 어렵다 리눅스 커맨드 정리 리눅스는 1991년 리누스 토르발스가 개발한 오픈소스 운영체제로 높은 안정성과 보안성, 다양한 배포판 존재, 다중 사용자 및 다중 처리 가능이라는 장점을 가지고 있다. 명령어간단한 설명사용 예시ls디렉토리 내용을 나열ls -l (자세한 목록 표시)cd디렉토리 변경cd /home/user (특정 디렉토리로 이동)echo터미널에 텍스트 출력echo "Hi"pwd현재 작업 디렉토리 경로 출력pwdmkdir새 디렉토리 생성mkdir new_folderrm파일 또는 디렉토리 삭제rm file.txt (파일 삭제)cp파일 또는 디렉토리 복사cp file.txt /path/to/destinationmv파일 또는 디렉토리..
-
[주간학습 정리] Week 5Naver AI Tech 2024. 9. 6. 17:33
강의 내용 중 인상깊었던 'Data Attribution'에 대해서 몇가지 간단하게 내용 작성하였다 Data Attribution모델의 예측에 관하여 어떤 입력 데이터가 얼마나 기여했는지 분석하고 해석하는 과정인공지능의 설명 가능성(Explainable)과 관련있다 Influence function특정 데이터 포인트가 모델이나 추정치에 미치는 영향을 측정하는 도구데이터셋에서 하나의 샘플을 제거하거나 가중치를 변경했을때 모델 파라미터나 예측에 미치는 영향을 측정한다모델의 해석가능성을 높이고 영향력 있는 데이터 포인트를 식별하며 모델 디버깅에 활용된다- 이미지 출처: https://christophm.github.io/interpretable-ml-book/influential.html 추천 시스템에서 i..
-
도커와 쿠버네티스-1MLOps 2024. 9. 5. 15:56
이 글은 패스트캠퍼스의 '머신러닝 서비스 구축을 위한 실전 MLOps' 강의를 보고 작성한 내용이다. 도커와 쿠버네티스Containerization 기술 관련 도구 중 하나인 도커Container Orchestration 기술 관련 도구 중 하나인 쿠버네티스 Containerization: 컨테이너화 하는 기술Container: 격리된 공간에서 프로세스를 실행시킬 수 있는 기술 도커 설치 및 기본 명령어 Virtualbox & Ubuntu강의에서는 가상머신(VM)을 이용하여 Ubuntu 환경을 먼저 만든 후 그 위에 docker를 설치함https://www.virtualbox.org/wiki/Downloads강의에서는 6.1.26 버전을 설치함, 내컴퓨터에서는 7.0.20 설치함 ❗ VM 설치 실패현재 ..
-
[주간학습 정리] Week4Naver AI Tech 2024. 8. 30. 16:56
통계에 대해 학습을 했는데기본 개념 및 정의 부터 확실히 짚고 넘어가야 할 거 같아서몇 개의 단어들에 대해서 위키와 구글링을 통해서 찾아서 작성하였다. 키워드 및 정의Random Variable (확률 변수)확률 실험의 결과로 가능한 값들을 가지며, 이러한 값들이 확률 분포에 따라 나타난다.확률공간에서 다른 가측 공간으로 가는 가측함수이다. 시행의 결과에 따라 값이 결정되는 변수를 나타낸다.Distribution (분포)확률 변수의 모든 가능한 값들과 이 값들이 나타날 확률을 나타내는 함수 또는 법칙이다.Probability Distribution(확률 분포)확률변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다Binomial Distribution (이항 분포)두 가지 가능한 결과(성공과 실패)..
-
[주간학습 정리] Week 3Naver AI Tech 2024. 8. 23. 13:34
이번 주 학습 한 내용 중 인상 깊은 것과 과거에 사용 안 해본 것을 기록하자 1. 데이터 문해력을 기르자데이터 문해력이란 데이터를 읽고 이해하고 이를 바탕으로 분석결과를 전달하는 능력이다.데이터 문해력의 핵심 역량 중 하나는 문제를 잘 정의하고 질문을 잘 하는 것이다.좋은 문제해결 접근방법은 문제를 먼저 정의 한 후 그에 맞는 데이터를 수집하여 문제를 해결하는 것이다.즉, 문제정의와 데이터를 이해하고 분석하는 능력을 기르자![Reference: 데이터 리터러시란 | 정의와 역량, 필요성, 활용 방법과 성공 사례] 2. 다양한 데이터 시각화시각화 그래프(차트)는 매우 다양하다.안써본 도구나 방법 등에 대해 알아보자.이 외에도 다양한 그래프가 있으므로 다양한 시각화 자료를 보고 생각하자. Text vs ..
-
[주간학습 정리] Week 2Naver AI Tech 2024. 8. 16. 18:37
학습 중 생긴 이론적 이슈 및 해결방법에 대해 기록하자추가적으로 중요한 개념에 대해 기록하자 금주의 키워드머신러닝 라이프 사이클선형대수 - 회귀, 분류최소제곱법Closed form 솔루션forward, backpropagationRNNattentiontransformer 1. Colab에서 메모리 이슈이슈: Colab 코드 실행 중 메모리가 계속 터지는 이슈로 인해서 어려움을 겪음해결: 행렬 계산 부분에서 이슈가 발생했는데 확인 결과 데이터 shape을 변경하면서 실수로 인하여 계산상에 메모리 이슈가 발생한것으로 확인됨# 이슈 발생 코드X_train = np.array(train_data['PM10']).reshape(-1, train_data['PM10'])# 수정후 코드X_train = np.arr..
-
[주간학습 정리] Week 1Naver AI Tech 2024. 8. 9. 13:45
학습 중 생긴 이론적 이슈 및 해결방법에 대해 기록하자 1. nn.BCELoss() 파라미터 순서이슈: train loss가 비정상적으로 크고 학습하면서 감소가 되지 않는다.BCELoss(Binary Cross Entropy Loss)는 이진 분류 문제에서 예측값과 실측값의 차이를 측정하는데 사용된다예측값과 실측값 간의 교차 엔트로피를 계산하여 손실을 산출한다loss_function = nn.BCELoss() 일때loss_function(예측값, 실측값) 순서로 작성해야한다예측값과 실측값 순서가 잘못된 경우의 문제점손실값의 왜곡훈련 오류수식적인 이유 수식에서 p는 예측값(0~1 사이의 확률값), y는 실측값(0 또는 1)을 의미한다참고로 log의 경우, log(0) = -infinity 이고 log(1)..
-
[논문 리뷰] HarDNet-MSEGAI 2022. 8. 31. 16:18
medical image segmentation 분야에서 높은 정확도와 효율적인 inference time을 보여주고 있는 HarDNet 기반의 HarDNet-MSEG 논문을 일부 번역한 내용이다. 일부 수정 및 삭제되어 있으므로 전체적인 내용은 논문을 참고하길 바란다. https://arxiv.org/abs/2101.07172 HarDNet-MSEG: A Simple Encoder-Decoder Polyp Segmentation Neural Network that Achieves over 0.9 Mean Dice and 86 FPS We propose a new convolution neural network called HarDNet-MSEG for polyp segmentation. It achie..