[주간학습 정리] Week 13

 

3줄 요약
새로운 팀과 새로운 프로젝트를 시작했다
새로운걸 사용해보자
성공과 실패

 

새로운 팀과 새로운 프로젝트를 시작했다

프로젝트를 위한 여러 툴에 대해서 생각을 해보기 시작했다

2가지를 시도 했고, 하나는 성공한고 하나는 실패했다

 

성공: 깃허브-슬랙 연동

아래와 같은 기능을 사용하고 싶어서 깃허브와 슬랙 연동을 하였다

 

블로그(https://sepiros.tistory.com/37)를 보면서 연동을 시도했고 레포지토리(https://github.com/integrations/slack#configuration)를 보면서 Customize your notifications 를 추가 보완작업을 진행했다.

현재까지는 깃허브에서 생기는 변동사항에 대한 알림이 잘와서 매우 만족하면서 사용하고 있다.

 

실패: DVC + 구글 드라이브 사용(테스트)

DVC(Data Version Control)이란 머신러닝 프로젝트에서 모델과 데이터의 버전 관리를 위한 오픈 소스이다.

데이터 관리를 용이하게 하고자 하는 목적으로 사용을 하려고 시도했다.

하지만 결론 부터 말하자면 실패했고 추후 재시도할 계획이다

아래는 시작부터 실패 지점까지에 대한 간단한 내용이다.

 

설치 방법

사전에 git도 설치되어 있어야한다

pip install dvc

 

tracking할 폴더 생성 후 해당 폴더 내에서 아래 명령어 사용

git init

dvc init

 

다음과 같은 파일이 생성됨

 

데이터 추가

• 여기서는 train 폴더 추가

변경 내용 추가

dvc add [변경된 파일명]

 

dvc 파일 생성 확인

 

gitignore에 실제 데이터는 git에 저장되지 않도록 예외처리함

• git에는 개발자의 소스와 data의 메타데이터를 가지고 있는 dvc 파일만 저장

git add

 

Storing and Sharing

• Google Drive
  • Google Drive에 데이터를 저장할 폴더를 생성
  • URL에서 /drive/folders/ 뒷부분의 문자열을 복사

$ dvc remote add -d <storage name> gdrive://<string>

 

dvc remote add -d storage gdrive://1vzpBnAB3LYAPPYOuAy_r9rcbHf__YwDg

 

원격 저장소 연결

 

저장소의 변경 사항은 .dvc/config 에 적용되므로 git commit 명령을 통해 변경 사항을 최신화

git add .dvc/config

git commit -m "Add remote storage"

 

dvc push

 

구글 계정 인증 및 실패(차단된 앱 발생)

 

 

 

DVC 결론

왜 계정 인증이 않되는지 모르겠다. 추후 재시도를 할 계획이다.

 

참고

• https://kmaster.tistory.com/168
• https://velog.io/@jkseo50/DVC-%EA%B0%9C%EB%85%90-%EB%B0%8F-%ED%99%9C%EC%9A%A9-%EB%B0%A9%EB%B2%95