저번 시간 복습 AI : thinking acting+humanly rationally 머신러닝 : data로부터 future task에 대한 performance를 향상시키는 것 딥러닝 : hierarchical representation learning(계층적 표현을 학습) 머신러닝의 approximation-generalization 문제점 - capacity가 크면 Etrain은 줄어드는데 Etest~=Etrain이 안되고, capacity가 작으면 Etrain이 안 작아진다.(underfitting overfitting 인가?) 오늘 배울 것 - Supervised Learning - Linear Model - Decision Tree - Ensemble: Bagging, Boosting - 실..

1. 데이터의 전처리를 어떻게 하였는지? 2. 모델을 구성을 어떻게 했는지? 3. 평가 지표는 어떤 것을 사용했는지? 추가점수 (논문에서 사용한 기법을 재구현 + 데이터분석 - feature 들 간의 관계 분석, 데이터 feature들의 분포, metric들에 대한 insight(RMSE, MAE, MSE 중 뭐가 좋을지) 1. 데이터의 전처리를 어떻게 하였는지? (데이터분석 - feature 들 간의 관계 분석, 데이터 feature들의 분포 파악) # Names MachineID_name = ["Section-0"] # unit id (FD002의 1번기계, 2번기계, 3번기계..) RUL_name = ["Section-1"] # Cycle 횟수 OS_name = ["Section-{}".format..

가장 큰 머신러닝 - privacy , on-deivce에서 유저 데이터를 많이 다루는.. 해당 디바이스에서만 사용하고 다른 데로 전송하지 않아 안전.. latency - 유저 interactive app , 자율주행차, 100ms 등으로 머신러닝 추론시 시간이 많이 걸리면 critical하다. 카메라에서 얼굴 detection 등에서도 33ms 안에 처리를 해야하기 때문에 edge device에서도 머신러닝을 해야한다. offline - 여행갔을때 번역.. 머신러닝이 offline으로 될 수도 있게? -> on device로 머신러닝을 진행할 수 있게 하는 연구를 진행하자. Edge TPU TrueVoice - 화상 회의 시스템, 백그라운드 노이즈를 머신러닝이 알아서 suppress = reductio..

미분 수학 Gradient 함수 다중플롯 subplots 다중플롯 한줄에 수학식 작성 subplots

https://gaussian37.github.io/dl-concept-quantization/ 딥러닝의 Quantization (양자화)와 Quantization Aware Training gaussian37's blog gaussian37.github.io https://arxiv.org/pdf/1712.05877.pdf Quantization : 실수(Float)를 정수(Int)로 변환하는 과정. 보통 FP32를 INT8(8비트 정수) INT 16 등으로 변환한다. - 딥러닝에서 Quantization을 사용할 때는 NN의 weight나 acitivation function의 값이 어느 정도 범위 안에 있다고 가정하고 모델을 경량화하게 된다. - 예를 들어 실수 -1 부터 3 까지의 범위에 있는 데..

https://blog.est.ai/2020/03/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%95%95%EC%B6%95-%EB%B0%A9%EB%B2%95%EB%A1%A0%EA%B3%BC-bert-%EC%95%95%EC%B6%95/ 딥러닝 모델 압축 방법론과 BERT 압축 딥러닝(Deep Learning)은 뛰어난 성능과 높은 모델의 확장성(Scalability)으로 인해 많은 주목을 받았고, 요즘 산업계에서도 활발하게 적용되고 있습니다. 하지만 모델의 높은 확장성은 또 다른 문제를 blog.est.ai https://blogs.nvidia.co.kr/2020/02/20/bert/ End-to-End BERT: 만능 모델 BERT 학습부터 추론 - NVIDI..