딥러닝 라이브러리 종류 텐서플로우 1.x 텐서플로우 2.x 현재 텐서플로우 2.7 과적합 1 epoch = 전체 1회독 과적합 막기 위한 방법 fit함수 epoch, batch epoch : 한번전체1회독 batch : 한 줌 ( 가급적 큰 batch_size가 좋다) verbose 검증 데이터 validation_data shuffle - 학습데이터만 섞고, 검증데이터는 섞지 않음. 검증과정의 epoch, batch 데이터 불균형(고양이50장 개100장)을 위한 가중치 데이터 병렬 처리 콜백함수의 리스트 콜백함수 : 다른 코드에 의해 필요하면 실행되는 함수 실습1 fit함수 작성 import tensorflow as tf import numpy as np from tensorflow.keras impo..

LSTM, GRU 모두 RNN 모델 LSTM은 Vanilla RNN의 기울기 소실 문젤즐 해결 (Long Short Term Memory 장단기 메모리) LSTM 특징 Cell State 두번쨰 hidden state느낌 연관이 있는 단어 등 Gate 3종류의 게이트를 4개의 FC layer로 구성 Forget Gate 이전 hidden state와 현재 입력을 가지고 어떤 정보를 잊을지 결정 Input Gate 현재 입력받은 정보에서 어떤 것을 cell state에 저장할지 결정 망각 + input = 새로운 cell state Output Gate 다음 hidden state와 출력값 계싼 GRU Gated Recureent Unit LSTM이 가지는 게이트를 간소화하고, Cell State를 아예 ..

RNN (딥러닝) 시계열데이터 같은 순차데이터(What time is it )을 처리하기 위한 모델 순차데이터 순서를 가지고 나타나는 데이터(DNA 염기서열, 세계기온변화(시간순), 샘플링된 소리신호) 데이터 내 각 개체 간의 순서가 중요하다 1. 시계열 데이터(Time Series Data) 일정한 시간 간격을 가지고 얻어낸 데이터 2. 자연어 데이터(Natural Language) 인류가 말하는 언어를 의미 주로 문장 내에서 단어가 등장하는 순서에 주목 딥러닝으로 순차데이터를 처리하면 어떤 일을 할 수 있을까? 1. 경향성 파악(주가 예측, 지구온난화) 2. 음악 장르 분석 오디오 파일의 음파형태를 분석해서 오디오 파일의 장르를 분석 RNN(Recurrent Neural Network) 순차데이터에서..

퍼셉트론 : Fully Connected Layer 따라서 일반 딥러닝이 아닌 이미지 처리에 특화된 딥러닝 모델이 등장 Convolution 연산 커널=필터 인데 우리는 의미상 커널이라고 표현해본다 2차원 이미지 데이터를 행렬로 표시하고, 커널(필터)도 2차원 행렬로 표현해서 연산. 이미지데이터를 변형 없이 그대로 사용할 수 있다. Convolution 연산과정 이미지에 커널을 겹침. 겹치는 요소를 곱해서 결과에 넣는다. 커널은 이미지 영역 내에만 들어가야 한다.! 결과 3X3 은 겹쳐서 나올 수 있는 경우의 수에 따라 다름 컬러 이미지의 Convolution 연산 input채널의 갯수와 커널의 채널 갯수는 동일하게 해줘야 한다. (Filters always extend the full depth of ..

CNN은 대표적인 딥러닝 모델 -> 이미지(JPG,PNG) 분류에 특화되어있다. 픽셀 이미지의 기본 단위 : 픽셀 픽셀 하나당 색깔, 밝기 정보를 가진다. 각 픽셀은 3가지 색 값을 저장할 수 있으므로 RGB 채널이 있다. 그 RGB 채널은 8비트(01001110)의 수로 이뤄져있다. R:0~255 , G:0~255 , B:0~255 가능 총 8*3 = 24 비트, 2^24개의 색을 표현 가능하다 한가지 값만 가지면 흑백, 밝기만 저장함. 딥러닝을 활용한 이미지처리 기술 분야 1. 사물인식(Object Detection) 센터 스테이지 : 사람 영상에서 사람얼굴을 인식해 화면 가운데에게 오게 해주는 apple의 기술 2. 이미지 캡셔닝 ( Image Captioning) 사진을 보고 설명하는 기술? ->..

1. 학습 속도 문제 ( 최적화 알고리즘 ) - 전체 학습 데이터셋을 사용해 손실함수를 계산하기 떄문에 계산량이 너무 많아짐 -> 부분데이터만 활용해서 손실함수를 계산하자(SGD) 그러나 SGD도 한계가 있긴 하다. 그래서 최적화 알고리즘이 GD -> SGD, momentum, adagrad, RMSProp, adam 등 여러 알고리즘들이 등장했다. momentum : 과거에 이동했던 방식을 기억하면서 그 방향으로 일정 정도를 추가적으로 이동하는 방식 adagrad : 많이 변화하지 않은 변수는 learning rate를 크게하고, 많이 변화한 변수들은 leargnin rate를 작게 하는 것 RMSProp : 기억을 하긴 하는데 과거의 기울기는 잊고 최근 기울기 정보를 크게 반영 adam : 가장 최근..