세밍 로그

https://deep-learning-study.tistory.com/567, arxiv.org/pdf/2104.00298.pdf를 참고했습니다. EfficientNetV2 2019년에 나온 EfficientNetV1의 후속작으로, EfficientNetV2, Smaller Models and Faster Training EfficentNetV2(이하 ENV2)는 빠른 학습에 집중한 모델 자연어 처리 분야에서 GPT-3은 엄청 큰 데이터셋으로 학습 시켜 뛰어난 성능을 보임, 하지만 GPT-3은 수천개의 TPU로 학습시켜 retain과 개선이 어려움 training efficiency는 최근 큰 관심을 받고 있음 NFNet(2021), BotNet(2021), ResNet-Rs(2021)등 모두 trai..

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet 참고했습니다. EfficientNet 모델 정보 EfficientNets는 최첨단 정확성을 달성하면서도 이전 모델에 비해 규모가 작고 빠른 이미지 분류 모델 제품 AutoML과 복합 스케일링을 기반으로 EfficientNets를 개발함 특히 AutoML MNAS Mobile Framework를 사용하여 EfficientNet-B0라는 이름의 모바일 크기 기준 네트워크를 개발한 후 복합 스케일링 방법을 사용하여 이 기준선을 스케일업하여 EfficientNet-B1에서 B7까지 얻는다 플롭스(FLOPS, FLoating point Operations Per Second)는 컴..

https://ai.googleblog.com/2018/08/mnasnet-towards-automating-design-of.html 를 참고했습니다. CNN은 이미지 처리에 주로 사용하는 모델이라 모바일 기기에서 사용 가능성이 유망한데, CNN이 조금 무거워서(?, 아직 확실하진 않지만 문서에는 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다. 이 이유도 곧 찾아낼 예정입니다.)그렂니 모바일 기기용 CNN을 설계하는 것이 어렵다고 합니다. MobileNet, MobileNetV2와 같은 모바일 모델도 있지만 더 최적화된 모델을 만드는 것은 여전히 힘들다고 합니다. MnasNet 강화학습을 이용한 모바일 모델설계에 자동화된 신경 아키텍쳐 검색 접근법입니다. 모바일 속도 제약때문에 검색 알고리즘의 ..

2부. 경영의 변화 5장 왜 변화가 필요한가 뒤에 숨겨진 과정들 일본의 안경업체 JINS는 인공지능을 활용해 고객에게 어울리는 안경을 추천하는 JINS BRAIN이라는 서비스를 제공하고 있다.(3000명의 JINS 직원들이 만든 training data를 기반으로 고객이 자신의 얼굴 사진을 업로드 하면 어울리는 안경을 추천해줌) 이때 경영진들은 이면의 과정과 조직관리를 살펴봐야 한다( 얼마나 많은 이해관계가 충돌했을까, 얼마나 맣은 조직과 사람들이 관여했을까, 장애물을 넘기 위해 CEO가 강력히 추진했을까? 아님 권한을 위임받은 임원이 추진했을가. 이런일을 추진하기 위한 조직 구성은 어떻게 했을까?, 이런 아이디어가 잘 실체화된 기업의 문화는 어떨까, 원래부터 변화 관리를 잘 하는 기업이었을까? 아니면 ..

머신러닝은 3가지 접근법으로 연구가 진행되어 옴 신경모형 패러다임 : 퍼셉트론에서 출발해서 지금은 딥러닝으로 이어져 오고 있음 심볼 개념의 학습 패러다임 : 숫자나 통계 이론 대신 논리학이나 그래프 구조를 사용해 1970년대 중반~2080년대 후반까지 인공지능의 핵심적인 접근법 현대지식의 집약접 패러다임 : 백지상태에서 학습을 시작하는 신경모형을 지양하고 이미 학습된 지식은 재활용해야한다는 이론에서 출발 머신러닝 정의 카네기멜론 대학교의 톰 미첼 교수는 러닝(학습)을 " 컴퓨터 프로그램이 특정한 태스크 T를 수행할 때 성능 P만큼 개선되는 경험 E를 보이면 그 컴퓨터 프로그램은 태스크 T와 성능 P에 대해 경험 E를 학습했다고 할수 있다 " 고 정의함 실무적인 관점에서는 학습 = 표현 +평가 + 최적화 ..

1부. 도구의 이해 1장. 인공지능이란 무엇인가 명확안 정의가 없는 인공지능 인공지능은 여러사람들이 여러 정의로 다르게 인식하는 데에는 확실한 정의가 없을 뿐더러 인공지능이 발전하면서 그 모습 자체가 계속 변하고 있다는 이유도 있다. 또, 이런 변화의 속도가 일반 대중이 쉽게 따라가기 어려울 만큼 너무 빠르다는 이유도 있다. 어떻게 받아들여야 하는가 지금의 상황은 과거 산업혁명 초기와 비슷하다. 새로운 기술에 대한 오해, 두려움, 무지, 사용에 적합한 제반환경 부족, 활용분야와 활용사례가 풍부하지 않고, 일자리 감소에 대한 불안이 있는 상태 인공지능에 의해 인간이 직접 하는 것이 더 이상 효율적이지 않은 많은 직없이 사라지지만 기존에 존재하지 않았던 새로운 직업들이 많이 사라지면서 일자리의 총량은 더 커..

서문. 인공지능 in 비즈니스 인공지능 보다 더 중요한 것 보통은 인공지능 기술만 도입하면 기업의 여러 문제들이 해결되고 새로운 비즈니스 모델이 만들어지고 기업이 성장할 수 있을 것이라 기대함. 기술이 중요하다고 생각하는 것인데, 그보다는 전체 최적화, 조직간 조율, 목표 관리, 커뮤니케이션, 평가 그리고 이 모든 것을 아우르는 방향과 문화가 훨씬 더 중요 관점의 변화가 반드시 필요 인공지능과 데이터를 잘 활용하려면 그동안 당연하게 여겼던 방식과 생각을 바꿔야 함, 업무프로세스와 조직 구조를 변화 시켜야 함 인공지능의 진짜 의미 컴퓨터가 차원이 강력해져서 쓰임새가 많이 달라져 인공지능이라고 부름. 즉 강력한 컴퓨팅 기술을 바탕으로 한 새로운 데이터 활용법. 인공지능의 활은 데이터의 활용이라고 인식해야 함..

요약 사람들이 많이 '모수'를 '모집단'의 수 라고 착각한다. '모집단'은 전체 집단이라고 생각하는데, 모집단의 특성을 정확히 아는 것은 상당히 힘들다.(조사의 어려움, 일관성의 어려움 등) 그래서 통계 분석을 할 때 큰수의 법칙을 이용한다. 큰수의 법칙은 표본의 크기가 충분히 크면 그 때의 표본 평균은 모평균에 가까워진다는 것이다. 여기서 '모수'의 정의가 나오게 되는데 '모수'는 모집단의 수치적 요약값'이다. 모평균이나 모표준편차 같은 모집단에 대한 통계값이다. 표본 데이터에서 통계값을 구해 모집단의 통계값인 '모수'라고 말하며 이를 근거로 모집단의 형태를 추측한다. 하지만 모수는 모집단의 특정 고객군을 특정할 수는 없다는 사실을 알아야 한다. 느낀점 모수와 모집단, 표본에 대한 개념을 다시 한번 정..

요약 상관관계는 인과관계를 나타내지 않는다. 이 둘의 개념은 상당히 비슷하게 다가와 착각을 많이 한다. 인과관계 : 실질적으로 하나의 요인으로 인해 다른 요인의 수치가 변하는 식의 원인과 결과 관계가 명확한 것 상관관계 : 두 변수들이 얼마나 상호 의존적인지 의미. 이를 파악하는 방법은 한 변수가 증가하면 다른 변수가 따라 증가하거나, 감소하되 그 추이를 따르는 식 상관관계 정도를 숫자로 표시한 것이 상관계수며 여러 데이터를 분석 할 때 추이가 비슷한정도를 상관계수로 확인한다. 하지만 상관계수가 높게 나온다고 이를 특정 문제의 원인으로 꼽는 방식은 잘못됐다. 상관관계의 변수는 상호 의존적이라 그 계수가 우연이거나 유사한 상태로 변했을 수 있다. 즉 상관관계수는 높게 나오지만 영향을 주는 원인이 아예 아닐..

출처 : 1년 안에 AI 빅데이터 전문가가 되는 법(서대호) DNN(Deep Neural Network) 입력층과 출력층 사이에 여러 개의 은닉층들로 이루어진 신경망, 복잡한 비선형 관계를 모델링 할 수 있음 RNN(Recurrent Neural Network) 은닉층과 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결, 이런 특성은 RNN이 순서 또는 시간이라는 측면을 고려할 수 있게 해줌 LSTM(Long Short Term Memory) 기존 RNN의 문제점은 입력된 데이터와 참고해야할 데이터의 위치 차이가 커질 때 문맥을 연결하기 힘들다는 것, 참고해야할 데이터의 시간 차가 커지면서 입력데이터에 영향을 거의 미치지 못한다는 것. LSTM은 Cell state를 통해서 어떤 정보를 취사할지 정하기..