2022. 4. 10. 19:07ㆍ카테고리 없음
전이학습을 하는 이유
- 일부 기업 외엔 막대한 데이터셋을 구축하기가 어려움
- 양질의 데이터, 신뢰할 수 있는 데이터가 필요(ex. MS COCO)
- 학습할 수 있는 Computing Power에는 한계가 있다. ( GPU의 성능 등 하드웨어적.. )
-> 그러므로 기존 학습된 모델을 이용할 수 있으면 도움이 된다.
전이학습의 유형 ( 이건 간단한 classfier 작업에 쓰이는 모델의 경우이다. 모델마다 다를 수 있다.)
첫 번째 단계 : 피쳐 추출기(Feature Extractor)와 분류기(classifier) 전부 사전학습된 모델과 동일한 것을 사용
-> 모델 파라미터(w,b)를 변형하지 않고 사용 = 문제가 거의 같을 때 사용
ex ImageNet 데이터로 학습된 모델을 개와 고양이를 분류하는 문제에 사용
두 번째 단계 : 피처 추출기를 그대로 사용하고(weight copy), 분류기만(classfier) 현재 자신이 갖고 있는 문제에 맞게 재학습
-> 문제가 비슷할 때 사용
ex ImageNet 데이터로 학습된 모델을 어벤져스 캐릭터 분류 문제에 사용
세 번째 단계 : 피처 추출기를 부분적으로 다시 학습시키고(output 쪽부터), 분류기도 현재 자신이 갖고 있는 문제에 맞게 재학습
-> 문제가 약간 다를 때 사용
ex ImageNet 데이터로 학습된 모델을 얼굴인식 문제에 사용(얼굴인식은 대부분 비슷비슷하게 생겨서 더 다름)
네 번째 단계 : 피처 추출기와 분류기 전체를 재학습 또는 미세 조정(fine tuning)
-> 문제가 많이 다를 때 사용
ex ImageNet 데이터로 학습된 모델을 의료영상 문제에 사용(사람,개,고양이,모기 이런 거 학습하던 데이터셋으로 의료영상 분석)
(fine tuning 미세조정과 transfer learning 전이학습의 차이점)
https://yellow-gangneng.tistory.com/77