GCP에 대해서

Google ML Bootcamp에 참여 중입니다.

이수해야 하는 미션 중에 캐글 대회 참여가 있는데 팀을 결성하면 gcp 크레딧을 준다고 합니다.
gcp 어렴풋이 알고 있었지만 정확히 잘 몰라서 한번 알아보고자 합니다.

https://sjh836.tistory.com/167, https://jeinalog.tistory.com/8, https://lv99.tistory.com/4, https://wooono.tistory.com/207 의 글을 참고했습니다.

1. GCP란

구글 클라우드 플랫폼(Google Cloud Plathform)으로 구글의 데이터 센터 인프라를 기반으로 컴퓨팅, 스토리지, 네트워킹, 빅데이터, 머신러닝 등의 서비스를 제공하는 글로벌 클라우드

2. 크레딧

GCP 서비스를 사용하는 돈을 크레딧이라 말함

처음 가입하면 프리티어 등급으로 $300을 받을 수 있음

2.1 프리티어

• 회원가입을 하면 가입한 날짜 부터 1년동안 쓸 수 있는 $300을 줌
• 크레딧을 모두 소진하면 쓰고 있던 리소스가 중단된다.
• 프리티어의 한계
  • GCE를 8코어 이상 인스턴스를 만들 수 없다.
  • GPU를 추가할 수 없다.

3. 우리가 크레딧을 받아서 GCP를 사용한다면

딥러닝 프로젝트를 진행하다 보면 데이터와 학습량이 엄청 커저서 cpu의 한계를 느끼고 gpu를 알아보게 된다고 함.

무료로 gpu를 사용할 수 있는 kaggle 커널, 구글 colab 등이 있지만, 이 둘 모두 실행속도가 너무 느리고, 네트워크가 언제 끊길지 몰라 불안해 하며 작업한가고 함

이에 대한 해결책으로 위 두 선택지보다 더 편한 환경을 GCP가 제공해 준다고 함

3.1 VM 사용

3.1.1 목표

Local에서 쓰는 jupyter notebook처럼 편하면서 GPU까지 이용해서 빠른 학습을 시킬 수 있는 환경을 만드는 것

3.1.2 과정

1. VM 생성
   • 프로젝트 생성
   • 할당량 신청
   • 방화벽
   • VM 인스턴스 생성
   • Google Cloud SDK 설치 및 이용
2. 로컬에서 작업환경 만들기
   • VM 인스턴스 local 설정
   • 패키지 설치
   • jupyter notebook 사용

3.2 CMLE(Cloud ML Engine)

• 구글 클라우드에서 제공하는 머신러닝 엔진
• CMLE는 다양한 레벨의 텐서플로우 모델을 학습과 배포하는 서비스를 매니징함
• GMLE를 활용하는 방법
  1. Explore, visualize a dataset (Cloud Datalab)
  2. Create sampled dataset (BigQuery)
  3. Develop a TensorFlow Model
  4. Create Training and evaluation datasets (Data Pipeline, Cloud Dataflow)
  5. Execute Training (Cloud ML Engine, Cloud Storage)
  6. Deploy Prediction Service (Cloud ML Engine)
  7. Invoke ML predictions (Web Application, App Engine)

---

+) 추가 : 왜 머신러닝 시 CPU가 아니라 GPU를 사용할까

• 딥러닝 알고리즘은 많은 양의 단순 사칙연산(행렬곱셈 포함)을 수행
• GPU는 이러한 단순 사칙연산(행렬 곱셈 등)에 특화되어 있음
  • 단순 사칙연산은 병렬화 아주 쉬워, GPU를 통해 한꺼번에 여러 코어에서 계산이 가능
  • 하지만 GPU는 복잡한 연산은 거의 못하며, 복잡한 연산은 CPU가 유리
• 구조 상
  • CPU에는 제어장치(CU)가 있고 산술논리연산장치(ALU)가 하나 있다.
  • 반면에 GPU는 ALU가 여러개 있다.
  • 따라서 산술 논리 연산에서 GPU는 CPU보다 성능이 좋다,
  • CPU가 GPU에게 명령을 내려 연산을 수행하게 한다.