텐서 처리 장치

Tensor Processing Unit
이 기사는 구글이 개발한 칩에 관한 것입니다.스마트폰 시스템 온 칩에 대해서는 Google Tensor를 참조하십시오.인공지능을 위한 텐서 처리를 제공하는 기타 기기는 AI 액셀러레이터를 참고하십시오.
텐서 처리 장치
Tensor Processing Unit 3.0.jpg
텐서 처리 장치 3.0
디자이너구글
소개했다2016년 5월
유형뉴럴 네트워크
기계 학습

텐서프로세서유닛(TPU)은 구글이 자체 개발한 텐서플로우 [1]소프트웨어를 이용해 뉴럴 네트워크 머신러닝을 위해 개발한 AI 가속기 애플리케이션별 집적회로(ASIC)다.Google은 2015년에 내부적으로 TPU를 사용하기 시작했으며, 2018년에는 클라우드 인프라의 일부로서 그리고 판매용 칩의 작은 버전을 제공함으로써 TPU를 서드파티에서 사용할 수 있도록 했습니다.

개요

텐서 프로세싱 유닛은 2016년 5월 Google I/O에서 발표되었으며, 이 때 이 회사는 TPU가 이미 [2][3]1년 이상 데이터 센터에서 사용되었다고 밝혔습니다.이 칩은 신경 [4]네트워크와 같은 기계 학습 애플리케이션에 사용되는 상징적인 수학 라이브러리인 구글의 텐서플로우 프레임워크를 위해 특별히 설계되었다.그러나 2017년 현재 구글은 여전히 CPU와 GPU를 다른 유형의 기계 [2]학습에 사용하고 있다.다른 AI 가속기 디자인도 다른 업체에서 등장하고 있으며 임베디드 및 로봇 시장을 겨냥하고 있다.

구글의 TPU는 특허권입니다.일부 모델은 상업적으로 이용 가능하며, 2018년 2월 12일, 뉴욕 타임즈는 구글이 "클라우드 컴퓨팅 [5]서비스를 통해 다른 회사들이 그 칩에 접근할 수 있도록 허용할 것"이라고 보도했다.구글은 이 게임들이 바둑의 알파고 대 이세돌 [3]시리즈와 체스, 장기, 바둑의 게임 규칙만으로 프로그램을 제작하고 그 [6]게임들의 주요 프로그램들을 물리치는 알파제로 시스템에 사용되었다고 말했다.구글은 또한 구글 스트리트 뷰 텍스트 처리에 TPU를 사용했으며, 스트리트 뷰 데이터베이스에서 5일 이내에 모든 텍스트를 찾을 수 있었다.Google 포토에서는, 1개의 TPU가 하루에[citation needed] 1억 장 이상의 사진을 처리할 수 있습니다.또한 구글이 [7]검색 결과를 제공하기 위해 사용하는 RankBrain에서도 사용됩니다.

그래픽스 처리 장치에 비해, 래스터라이제이션/텍스처 [3]매핑을 위한 하드웨어 없이, 1줄당 입출력 연산이 많은 저정밀 연산(예를 들어 8비트 정도)[8]을 대량으로 실행할 수 있도록 설계되어 있습니다.Norman Jouppi에 [2]따르면 TPU ASIC는 히트싱크 어셈블리에 장착되어 데이터센터 랙 내의 하드 드라이브 슬롯에 장착할 수 있습니다.다른 유형의 프로세서가 다른 유형의 기계 학습 모델에 적합하고, TPU는 CNN에 적합하며, GPU는 일부 완전히 연결된 신경 네트워크에 이점이 있으며, CPU는 [9]RNN에 이점이 있을 수 있다.

Google은 Google Cloud[10] Platform의 일부로 Cloud TPU 서비스와 노트북 기반 서비스인 Kaggle 및 Collaboratory를 [11][12]통해 TPU에 대한 타사 액세스를 제공합니다.

제품[13]

TPUv1 TPUv2 TPUv3 TPUv4[14] 엣지 v1
도입일 2016 2017 2018 2021 2018
프로세스 노드 28 nm 16 nm 16 nm 7 nm
다이 사이즈(mm2) 331 625 미만 700 미만 400 미만
온칩 메모리(MiB) 28 32 32 144
클럭 속도(MHz) 700 700 940 1050
메모리(GB) 8 GB DDR3 16 GB HBM 32 GB HBM 8 GB
TDP(W) 75 280 450 175 2
TOPS(Tera Operations Per Second) 23 45 90 ? 4
톱/W 0.3 0.16 0.2 ? 2

제1세대 TPU

제1세대 TPU는 8비트 매트릭스 곱셈 엔진으로 PCIe 3.0 버스를 통해 호스트 프로세서의 CISC 명령에 의해 구동됩니다.28nm 공정에서 제조되며 다이 크기는 331mm2 이하입니다.클럭 속도는 700MHz, 열설계 전력은 28~40W입니다.28MiB의 온칩 메모리와4MiB의 32비트 어큐뮬레이터를 탑재하여 256×256의 수축기 배열을 8비트 멀티플라이어로 [15]구현했습니다.TPU 패키지 내에는 34GB/[16]s 대역폭을 제공하는 듀얼 채널 2133MHz DDR3 SDRAM이 8GiB 탑재되어 있습니다.명령은 호스트 간에 데이터를 전송하거나 호스트로부터 데이터를 전송하고 매트릭스 곱셈 또는 컨볼루션을 수행하고 활성화 기능을 적용합니다.[15]

제2세대 TPU

2세대 TPU는 2017년 [17]5월에 발표되었습니다.구글은 1세대 TPU 설계는 메모리 대역폭과 16GB의 고대역폭 메모리를 2세대 설계에서 사용하는 것으로 제한된다고 밝혔다. 대역폭은 600GB/s로,[16] 성능은 45테라플롭스로 증가했다.그런 다음 TPU를 180테라플롭스의 [17]성능을 가진 4칩 모듈로 배열합니다.그 후 이들 모듈 중 64개를 256개의 칩 포드로 조립하여 11.5페타플롭스의 [17]성능을 발휘합니다.특히, 1세대 TPU는 정수로 제한되었지만, 2세대 TPU는 부동 소수점에서도 계산할 수 있습니다.이것은 2세대 TPU를 기계 학습 모델의 훈련과 추론 모두에 유용하게 만든다.Google은 이러한 2세대 TPU를 TensorFlow [18]애플리케이션에서 사용할 수 있도록 Google Compute Engine에서 사용할 수 있을 것이라고 밝혔습니다.

제3세대 TPU

3세대 TPU는 2018년 [19]5월 8일에 발표되었습니다.구글은 프로세서 자체가 2세대 TPU보다 2배 더 강력하며 이전 [20][21]세대보다 4배 더 많은 칩을 탑재한 포드로 배치될 것이라고 발표했다.따라서 2세대 TPU 배치에 비해 포드당 성능(팟당 최대 1,024개의 칩 포함)이 8배 향상됩니다.

제4세대 TPU

2021년 5월 18일 Google CEO Sundar Pichai는 Google I/O 가상 컨퍼런스에서 기조연설에서 TPU v4 Tensor Processing Units에 대해 말했습니다.TPU v4는 TPU v3 칩보다 성능이 2배 이상 향상되었습니다.Pichai는 "단일 v4 포드는 4,096개의 v4 칩을 포함하고 있으며, 각 포드는 다른 네트워킹 [22]기술에 비해 칩당 10배의 상호 연결 대역폭을 가지고 있습니다."라고 말했습니다.

가장자리 TPU

2018년 7월, Google은 Edge TPU를 발표했습니다.엣지 TPU는 엣지 컴퓨팅용 머신 러닝(ML) 모델을 실행하도록 설계된 Google의 전용 ASIC 칩으로, Google 데이터 센터에서 호스팅되는 TPU(클라우드 TPU라고도[23] 함)에 비해 훨씬 작고 전력 소비량이 훨씬 적다는 것을 의미합니다.2019년 1월 구글은 Coral 브랜드 제품군을 가진 개발자들에게 Edge TPU를 제공하였다.에지 TPU는 2W의 [24]전력으로 초당 4조 번의 작동이 가능합니다.

제품에는 싱글 보드 컴퓨터(SBC), 시스템 온 모듈(SoM), USB 액세서리, 미니 PCI-e 카드 및 M.2 카드가 있습니다.SBC Coral Dev Board와 Coral SoM은 모두 Debian의 [25][26]파생 모델인 Mendel Linux OS를 실행하고 있습니다.USB, PCI-e 및 M.2 제품은 기존 컴퓨터 시스템의 애드온으로 기능하며 x86-64 및 ARM64 호스트(라즈베리 파이 포함)에서 Debian 기반 Linux 시스템을 지원합니다.

Edge TPU에서 모델을 실행하는 데 사용되는 기계 학습 런타임은 TensorFlow [27]Lite를 기반으로 합니다.에지 TPU는 전진-통과 작업만 가속할 수 있으므로, 주로 추론을 수행하는 데 유용합니다(엣지 TPU에서[28] 경량 전달 학습을 수행할 수 있음).Edge TPU는 또한 8비트 연산만 지원합니다. 즉, 네트워크가 Edge TPU와 호환되려면 TensorFlow 양자화 인식 교육 기술을 사용하여 교육하거나 2019년 말부터 교육 후 양자화를 사용할 수 있습니다.

2019년 11월 12일, Asus는 Edge TPU를 특징으로 하는 싱글 보드 컴퓨터(SBC) 쌍을 발표했다.IoT 및 엣지 AI용으로 설계된 Asus Tinker Edge T 및 Tinker Edge R 보드.SBC는 공식적으로 Android와 Debian 운영 [29][30]체제를 지원합니다.ASUS는 엣지 TPU를 [31]탑재한 Asus PN60T라는 미니 PC도 시연했습니다.

구글은 2020년 1월 2일 CES 2020에서 시연될 Coral Accelerator Module과 Coral Dev Board Mini를 발표했다.Coral Accelerator Module은 엣지 TPU, PCIe 및 USB 인터페이스를 갖춘 멀티칩 모듈입니다.Coral Dev Board Mini는 Coral 액셀러레이터 모듈과 미디어를 탑재한 소형 SBC입니다.Tek 8167s [32][33]SoC

픽셀 뉴럴 코어

2019년 10월 15일, 구글은 픽셀 뉴럴 [34]코어라고 불리는 에지 TPU를 포함하는 픽셀 4 스마트폰을 발표했다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ "Cloud Tensor Processing Units (TPUs)". Google Cloud. Retrieved 20 July 2020.
  2. ^ a b c "Google's Tensor Processing Unit explained: this is what the future of computing looks like". TechRadar. Retrieved 2017-01-19.
  3. ^ a b c Jouppi, Norm (May 18, 2016). "Google supercharges machine learning tasks with TPU custom chip". Google Cloud Platform Blog. Retrieved 2017-01-22.
  4. ^ "TensorFlow: 오픈 소스 머신 러닝" "다양한 지각 및 언어 이해 태스크에 사용되는 머신 러닝 소프트웨어입니다." - Jeffrey Dean, Youtube 클립 0:47 / 2:17 분
  5. ^ "Google Makes Its Special A.I. Chips Available to Others". The New York Times. Retrieved 2018-02-12.
  6. ^ McGourty, Colin (6 December 2017). "DeepMind's AlphaZero crushes chess". chess24.com.
  7. ^ "Google's Tensor Processing Unit could advance Moore's Law 7 years into the future". PCWorld. Retrieved 2017-01-19.
  8. ^ Armasu, Lucian (2016-05-19). "Google's Big Chip Unveil For Machine Learning: Tensor Processing Unit With 10x Better Efficiency (Updated)". Tom's Hardware. Retrieved 2016-06-26.
  9. ^ Wang, Yu Emma; Wei, Gu-Yeon; Brooks, David (2019-07-01). "Benchmarking TPU, GPU, and CPU Platforms for Deep Learning". arXiv:1907.10701 [cs.LG].
  10. ^ "Frequently Asked Questions Cloud TPU". Google Cloud. Retrieved 2021-01-14.
  11. ^ "Google Colaboratory". colab.research.google.com. Retrieved 2021-05-15.
  12. ^ "Use TPUs TensorFlow Core". TensorFlow. Retrieved 2021-05-15.
  13. ^ https://conferences.computer.org/iscapub/pdfs/ISCA2021-4ghucdBnCWYB7ES2Pe4YdT/333300a001/333300a001.pdf[베어 URL PDF]
  14. ^ TPU v4에 대한 자세한 정보가 곧 공개될 예정입니다. 2020-08-06이 검색되었습니다.
  15. ^ a b Jouppi, Norman P.; Young, Cliff; Patil, Nishant; Patterson, David; Agrawal, Gaurav; Bajwa, Raminder; Bates, Sarah; Bhatia, Suresh; Boden, Nan; Borchers, Al; Boyle, Rick; Cantin, Pierre-luc; Chao, Clifford; Clark, Chris; Coriell, Jeremy; Daley, Mike; Dau, Matt; Dean, Jeffrey; Gelb, Ben; Ghaemmaghami, Tara Vazir; Gottipati, Rajendra; Gulland, William; Hagmann, Robert; Ho, C. Richard; Hogberg, Doug; Hu, John; Hundt, Robert; Hurt, Dan; Ibarz, Julian; Jaffey, Aaron; Jaworski, Alek; Kaplan, Alexander; Khaitan, Harshit; Koch, Andy; Kumar, Naveen; Lacy, Steve; Laudon, James; Law, James; Le, Diemthu; Leary, Chris; Liu, Zhuyuan; Lucke, Kyle; Lundin, Alan; MacKean, Gordon; Maggiore, Adriana; Mahony, Maire; Miller, Kieran; Nagarajan, Rahul; Narayanaswami, Ravi; Ni, Ray; Nix, Kathy; Norrie, Thomas; Omernick, Mark; Penukonda, Narayana; Phelps, Andy; Ross, Jonathan; Ross, Matt; Salek, Amir; Samadiani, Emad; Severn, Chris; Sizikov, Gregory; Snelham, Matthew; Souter, Jed; Steinberg, Dan; Swing, Andy; Tan, Mercedes; Thorson, Gregory; Tian, Bo; Toma, Horia; Tuttle, Erick; Vasudevan, Vijay; Walter, Richard; Wang, Walter; Wilcox, Eric; Yoon, Doe Hyun (June 26, 2017). In-Datacenter Performance Analysis of a Tensor Processing Unit™. Toronto, Canada. arXiv:1704.04760.
  16. ^ a b Kennedy, Patrick (22 August 2017). "Case Study on the Google TPU and GDDR5 from Hot Chips 29". Serve The Home. Retrieved 23 August 2017.
  17. ^ a b c Bright, Peter (17 May 2017). "Google brings 45 teraflops tensor flow processors to its compute cloud". Ars Technica. Retrieved 30 May 2017.
  18. ^ Kennedy, Patrick (17 May 2017). "Google Cloud TPU Details Revealed". Serve The Home. Retrieved 30 May 2017.
  19. ^ Frumusanu, Andre (8 May 2018). "Google I/O Opening Keynote Live-Blog". Retrieved 9 May 2018.
  20. ^ Feldman, Michael (11 May 2018). "Google Offers Glimpse of Third-Generation TPU Processor". Top 500. Retrieved 14 May 2018.
  21. ^ Teich, Paul (10 May 2018). "Tearing Apart Google's TPU 3.0 AI Coprocessor". The Next Platform. Retrieved 14 May 2018.
  22. ^ "Google Launches TPU v4 AI Chips". www.hpcwire.com. 20 May 2021. Retrieved June 7, 2021.
  23. ^ "Cloud TPU". Google Cloud. Retrieved 2021-05-21.
  24. ^ "Edge TPU performance benchmarks". Coral. Retrieved 2020-01-04.
  25. ^ "Dev Board". Coral. Retrieved 2021-05-21.
  26. ^ "System-on-Module (SoM)". Coral. Retrieved 2021-05-21.
  27. ^ "Bringing intelligence to the edge with Cloud IoT". Google Blog. 2018-07-25. Retrieved 2018-07-25.
  28. ^ "Retrain an image classification model on-device". Coral. Retrieved 2019-05-03.
  29. ^ "組込み総合技術展＆IoT総合技術展「ET & IoT Technology 2019」に出展することを発表". Asus.com (in Japanese). Retrieved 2019-11-13.
  30. ^ Shilov, Anton. "ASUS & Google Team Up for 'Tinker Board' AI-Focused Credit-Card Sized Computers". Anandtech.com. Retrieved 2019-11-13.
  31. ^ Aufranc, Jean-Luc (2019-05-29). "ASUS Tinker Edge T & CR1S-CM-A SBC to Feature Google Coral Edge TPU & NXP i.MX 8M Processor". CNX Software - Embedded Systems News. Retrieved 2019-11-14.
  32. ^ "New Coral products for 2020". Google Developers Blog. Retrieved 2020-01-04.
  33. ^ "Accelerator Module". Coral. Retrieved 2020-01-04.
  34. ^ "Introducing the Next Generation of On-Device Vision Models: MobileNetV3 and MobileNetEdgeTPU". Google AI Blog. Retrieved 2020-04-16.

외부 링크