회사에서 Windows 로컬프로그램(.exe)을 클라우드에 올리기 위해 도커를 쓰게 됐다. 그리고 졸업작품 삽질을 진행했을 때도, (GAN 모델을 NVIDIA Jetson Nano Board에서 구동시키기) 도커를 사용했다. 도커가 뭘까? 왜 쓰는걸까? ## 도커를 쓰는 이유 도커는 environment disparity라는 문제를 해결한다. = 환경 격차 문제를 해결한다. 기존에는 프로그램이 내 컴퓨터(Windows)에서는 잘 되는데, 실제 프로덕션 서버(Linux)에 올리니까 환경이 적절히 구성되어 있지 않으니 잘 안돌아간다. 즉, 도커는 B 머신(Linux)에서도 개발을 진행했던 A 머신(Windows)와 동일한 환경을 구현할 수 있다. ## 도커 동작 방식 자, 그러면 도커를 사용해보자. 1. 내..

https://www.lainyzine.com/ko/article/how-to-set-git-repository-username-and-email/ Git 최초 설정: 사용자 이름과 이메일 설정하는 방법 Git 저장소에 커밋할 때 이름과 이메일이 기록되며, 이 이메일은 GitHub 사용자와 연결할 때도 사용됩니다. 이 글에서는 커밋에 기록되는 사용자 이름과 이메일을 설정하는 방법을 소개합니다. www.lainyzine.com 용량이 딸려서 fatal: the remote end hung up unexpectedly 가 뜸 100GB * 1024 * 1024 한 값을 git config에 수정해줌. https://bongbongreview.tistory.com/94 Git 사용간 fatal: the rem..

LSTM( Long Short Term Memory ) - RNN 모델 - Vanilla RNN의 기울기 소실 문제를 해결하고자 등장. - 장기 의존성과 단기 의존성을 모두 기억할 수 있다는 뜻이다. Long Short - 새로 계산된 hidden state를 출력값으로도 사용한다. - Ct = Cell State ( 기울기 소실 장치를 해결하기 위한. 장기적으로 기억할 정보를 저장한다. 예를 들어 앞 단어와 맨 뒤에 오는 단어가 연관이 있다, 그 다음 문장과는 연관이 없다 등등) - Wf, Wi, Wc,Wo = Gate (3종류의 게이트를 4개의 FC Layer Wf, Wi, Wc, Wo가 구성한다.) 1. 망각게이트 Wf : 기존 cell state에서 어떤 정보를 잊을지 결정 concatenate ..

순차 데이터 : - 순서가 있는 데이터. 이 단어 다음에 뭐가 올지 예상(ex 날씨 예보, DNA 염기서열, 샘플링된 소리신호) - 데이터 내 각 개체 간의 순서가 중요하다. - 딥러닝에서 많이 쓰이는 순차 데이터로는 시계열데이터가 있다. 1. 시계열 데이터(Time Series Data) - 시간순으로 나열된 데이터 - 일정한 시간 간격을 가지고 얻어낸 데이터 - ex 날씨 데이터 주가 데이터 등 2. 자연어 데이터(Natural language) - 사람들이 쓰는 말, 단어가 등장하는 순서(주어 목적어 동사) 가 중요 딥러닝을 활용해서 이런 순차 데이터들을 어떤 일들이 가능할까? 1. 경향성 파악 - 주로 시계열 데이터에 적용(ex 주가예측, 기온예측) 2. 음악 장르 분석 - 오디오 파일도 시계열 ..

parameter + optimizer status라는 메타데이터까지 저장해야 한다. forward 학습도 하면서 각 레이어의 output들도 메모리에 가지고 있어야 한다. -> 요새는 메모리가 많이 필요하다. 이건 메모리 space에 대한 얘기 필요한 총 계산량 : V100 GPU를 100대를 가지고 계산했을 때 1년이 걸릴 정도로 큰 모델이다. 이렇게 큰 모델일 경우에는 32bit 계산을 하는 게 아닌 16+32bit를 섞어서 계산하는 mixed precision 방식을 사용한다. 그래서 half precision인 16bit로 대부분 연산을 진행하게 된다. (FP16) 그렇게 16bit로 줄이게 되면 1년 -> 1개월로 줄일 수 있다.(여기서 V100을 A100으로 바뀐 그래프로 보여준다. A100..

azure 환경에서의 jupyter 사용 환경 구축이 완료되어 안내합니다. azure VM 에서 jupyter noetbook 사용법은 아래와 같습니다. ( VS code사용을 전제하에 진행합니다.) 1. VS code Extensions 에서 Remote - SSH 를 설치합니다. 2. VS code 에서 f1을 누르고 Remote-SSH: Connect to host를 입력한뒤 공유 받은 VM접속 아이디와 패스워드를 입력합니다. 3. 상단 터미널 또는 단축키 ctrl + shift + ` 을 통해 터미널 창을 열어줍니다. 4. 해당 터미널 창에서 jupyter notebook 명령어를 통해 실행합니다. 5. 구동후 jupyter notebook 6.4.8 is running at: 다음에 있는 loc..