세밍 로그

https://deep-learning-study.tistory.com/567, arxiv.org/pdf/2104.00298.pdf를 참고했습니다. EfficientNetV2 2019년에 나온 EfficientNetV1의 후속작으로, EfficientNetV2, Smaller Models and Faster Training EfficentNetV2(이하 ENV2)는 빠른 학습에 집중한 모델 자연어 처리 분야에서 GPT-3은 엄청 큰 데이터셋으로 학습 시켜 뛰어난 성능을 보임, 하지만 GPT-3은 수천개의 TPU로 학습시켜 retain과 개선이 어려움 training efficiency는 최근 큰 관심을 받고 있음 NFNet(2021), BotNet(2021), ResNet-Rs(2021)등 모두 trai..

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet 참고했습니다. EfficientNet 모델 정보 EfficientNets는 최첨단 정확성을 달성하면서도 이전 모델에 비해 규모가 작고 빠른 이미지 분류 모델 제품 AutoML과 복합 스케일링을 기반으로 EfficientNets를 개발함 특히 AutoML MNAS Mobile Framework를 사용하여 EfficientNet-B0라는 이름의 모바일 크기 기준 네트워크를 개발한 후 복합 스케일링 방법을 사용하여 이 기준선을 스케일업하여 EfficientNet-B1에서 B7까지 얻는다 플롭스(FLOPS, FLoating point Operations Per Second)는 컴..

https://ai.googleblog.com/2018/08/mnasnet-towards-automating-design-of.html 를 참고했습니다. CNN은 이미지 처리에 주로 사용하는 모델이라 모바일 기기에서 사용 가능성이 유망한데, CNN이 조금 무거워서(?, 아직 확실하진 않지만 문서에는 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다. 이 이유도 곧 찾아낼 예정입니다.)그렂니 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다. MobileNet, MobileNetV2와 같은 모바일 모델도 있지만 더 최적화된 모델을 만드는 것은 여전히 힘들다고 합니다. MnasNet 강화학습을 이용한 모바일 모델설계에 자동화된 신경 아키텍쳐 검색 접근법입니다. 모바일 속도 제약때문에 검색 알고리즘의 ..

출처 : 1년 안에 AI 빅데이터 전문가가 되는 법(서대호) DNN(Deep Neural Network) 입력층과 출력층 사이에 여러 개의 은닉층들로 이루어진 신경망, 복잡한 비선형 관계를 모델링 할 수 있음 RNN(Recurrent Neural Network) 은닉층과 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결, 이런 특성은 RNN이 순서 또는 시간이라는 측면을 고려할 수 있게 해줌 LSTM(Long Short Term Memory) 기존 RNN의 문제점은 입력된 데이터와 참고해야할 데이터의 위치 차이가 커질 때 문맥을 연결하기 힘들다는 것, 참고해야할 데이터의 시간 차가 커지면서 입력데이터에 영향을 거의 미치지 못한다는 것. LSTM은 Cell state를 통해서 어떤 정보를 취사할지 정하기..