AutoML MNAS Mobile Framework가 뭐지?

https://ai.googleblog.com/2018/08/mnasnet-towards-automating-design-of.html 를 참고했습니다.

CNN은 이미지 처리에 주로 사용하는 모델이라 모바일 기기에서 사용 가능성이 유망한데, CNN이 조금 무거워서(?, 아직 확실하진 않지만 문서에는 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다. 이 이유도 곧 찾아낼 예정입니다.)그렂니 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다.
MobileNet, MobileNetV2와 같은 모바일 모델도 있지만 더 최적화된 모델을 만드는 것은 여전히 힘들다고 합니다.

MnasNet

• 강화학습을 이용한 모바일 모델설계에 자동화된 신경 아키텍쳐 검색 접근법입니다.
• 모바일 속도 제약때문에 검색 알고리즘의 주요 보상기능에 속도 정보를 명시적으로 통합해 검색이 정확도와 속도 사이에 좋은 정출을 달성하는 모델을 식별할 수 있도록 합니다.
• 위의 과정으로 MobileNetV2보다 1.5배, NASNet보다 2.4배 빠른 속도로 작동하는 모델을 찾으면서 동일한 ImageNet 1위 정확도에 도달할 수 있다고 합니다.

모델의 속도

• 기존의 방식 : 속도가 다른 프록시(예 : FLOPS)를 통해 모델 속도 측정 (아키텍처 검색 접근 방식)
• 본 연구에 사용된 방식 : 특정 플랫폼에서 모델을 실행함으로써 모델 속도 측정
  • 여러 유형의 모바일 기기가 자체 소프트웨어와 하드웨어 특성을 가지고 있어서 정확성과 속도 사이의 최상의 절충을 위해 서로 다른 아키텍처를 요구할 수 있다는 점을 감안해 실제 상황에서 달성 가능한 것을 직접 측정하기 위함

접근방식

• 주요 요소
  1. 학습 및 샘플링 모델 아키텍처를 위한 RNN기반 컨트롤러
  2. 정확성을 얻기 위해 모델을 제작하고 훈련하는 트레이너
  3. 텐서플로 Lite를 사용해 실제 휴대전화에서 모델 속도를 측정하기 위한 추론엔진
• 과정
  
  • 높은 정확도와 빠른 속도를 모두 달성하고자 다목적 최적화 문제를 공식화, 맞춤형 보상기능을 갖춘 강화학습 알고리즘을 사용해 파레토 최적 솔루션 찾음
    

    

    
    
  • 검색 유연성과 검색 공간 크기 사이의 적절한 균형을 맞추기 위한 계층적 검색공간
    • CNN을 일련의 블록으로 인자화한다음 계층적 검색공간을 사용하여 각 블록에 대한 계층구조를 결정
    • 이러한 방식은 서로 다른 층들이 서로 다른 운영과 연결을 사용할 수 있게 함
    • 한편, 각 블록의 모든 층이 동일한 구조를 공유하도록 강제, 평평한 층당 검색 공간과 비교해 규모 순서로 검색 공간 크기를 줄임
      

      

      
      

      결과

      ImageNet 분류 및 COCO 객체 탐지에 대한 접근 방식의 효과를 테스트 했을 때, Mobile의 속도의 제약 하에 높은 정확도를 달성했다고 함