신경망 복습 - 계산 고속화

비트 정밀도

• 넘파이와 부동소수점 수는 기본적으로 64비트 데이터 타입 사용
• dtype을 출력해 확인 가능
• 신경망 추론과 학습은 32비트 부동소수점 수로도 문제없이(인식률을 거의 떨어뜨리는 일 없이) 수행 가능하다.
  • 메모리 관점에서는 32비트가 더 좋다.
• 신경망 추론으로 한정시, 16비트 부동소수점 수를 사용해도 인식률이 거의 떨어지지 않는다.
• 일반적으로 CPU와 GPU는 연산 자체를 32비트로 수행한다.

 

GPU(쿠파이)

• 딥러닝의 계산은 대량의 곱하기 연산으로 구성
  • 대부분 병렬로 계산 가능 
    • 이 점에서 CPU보다 GPU가 유리
  • 대부분 딥러닝 프레임워크가 CPU뿐 아니라 GPU도 지원하는 이유
• 쿠파이는 GPU를 이용해 병렬 계산 수행 라이브러리다.
  • 엔비디아 GPU에서만 동작한다.
  • CUDA라는 GPU 전용 범용 병렬 컴퓨팅 ·플랫폼을설치해야한다.

import cupy as cp
x = cp.arange(6).reshape(2, 3).astype('f')
print("x : ", x)
print("x.sum : ",x.sum(axis=1))

[그림1] 쿠파이 예제

• GPU를 사용해 계산 - numpy를 cupy로 대체 'GPU'용으로 변경

 

 

출처 : 밑바닥부터 시작하는 딥러닝2

https://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

밑바닥부터 시작하는 딥러닝 2