git lfs 문제

git허브에는 100mb를 넘어가는 단일파일은 올릴수가 없다.

대신해서 lfs라는 별도의 서버를 제공해주는에 용량 10gb, 월 대역폭 10gb를 무료로 사용가능하다.

하지만 이번에 100mb넘는 파일 뿐 아니라 모든 .uasset을 lfs에 저장해서 대역폭초과 문제가 생겼다.

또한 브랜치 별로 데이터를 따로 저장한다. 중복 데이터면 추가로 저장하지는 않지만, 조금이라도 변경사항이 생기면 새로 저장한다. 변경되지 않을 내용만 lfs에 저장할 필요가 있다.

해결방법

이론적으로는 lfs와 동일하다. 구글드라이브같은 클라우드 대용량파일을 저장하고 git에는 파일을 참조하는 포인터만 저장해서 추적하는 방식이다.

lfs보다 좋은 점은 대역폭에 제한이 없이 15gb의 용량을 무료로 사용가능하다. 푸쉬할때만 신경쓰면 풀은 자유롭게 가능하다.

dvc 사용법

Data Version Control (DVC) 적용하기 · Issue #33 · wisdomify/wisdomify

dvc add 로 추가한 파일은 더이상 git에 트래킹 안되게 gitignore에 파일이 추가된다.

git add {코드파일}
dvc add {큰 볼륨의 데이터 파일} // → 이 작업을 시행하면 gitignore가 업데이트된다.
git add {추가한 파일의 path.dvc} // dvc add 함에 따라 생성되는 파일이다.
git commit -m "{커밋 메시지}"
git push
dvc push

dvc pull로 데이터 가져오기, dvc checkout으로 특정 커밋으로 체크아웃 모두 가능하다. 주의: checkout의 경우, 반드시 git checkout {체크아웃할 위치} 한 뒤에 dvc checkout을 해야한다. 그래야 해당 깃 커밋 위치에 맞게 데이터가 체크아웃된다.

dvc status로 현재 트래킹 상태 확인 가능하다.