VoltaやTPU2を超えに挑むGraphcoreのGraph最適化IPU

ScalarでもなくVectorでもなく「Graph」

マシン・インテリジェンスカンパニーGraphcoreのCTO、Simon Knowles氏はこう語ります。

CPUs were designed for scalar workloads.

GPUs were designed for low-dimensional vector type workloads, two-dimensional images,three-dimensional volumes.

These machines for intelligence will be designed for high-dimensional “Graphs”.

They will have completely different characteristics.

10:38から

AIに関するワークロードは、CPUやGPUが意図していたワークロードとは全く違う高次元ベクトルのワークロード「Graph」であると主張しています。

Machine Intelligence向けにデザインされたIPUを提唱

Processor CPU GPU IPU
Workload Scalar Vector Graph
Designed for Office apps Graphics Intelligence
Evolved for Web severs HPC

現在CPUと呼ばれているものはオフィス・アプリケーション向けにデザインされたもので、Webサーバーを発展させました。GPUはグラフィックス向けのデザインされたもので、HPCを発展させました。Graphcoreの提唱するIPUはマシン・インテリジェンス向けのデザインされるプロセッサで、これまでのプロセッサには無い哲学を基に設計されます。

16nmプロセスで製造されるGraphcoreのColossusはVoltaやTPU2を越える

  • Designed ground-up for MI, both training and deployment.
  • Large 16nm custom chip, cluster-able, 2 per PCIe card.
  • >1000 truly independent processors per chip; all to all non blocking exchange.
  • All model state remains on chip; no directly-attached DRAM.
  • Mixed-precision floating-point stochastic arithmetic.
  • DNN performance well beyond Volta and TPU2; efficient without large batches.
  • Unprecedented flexibility for non-DNN models; thrive on sparsity.
  • Program in TensorFlow initially, other o/s frameworks follow; or Poplar(TM) for close-to-metal.
  • Early access cards and appliances end-2017.

DNN performance well beyond Volta and TPU2;とあるように、Graphcoreの開発するColossusはディープ・ニューラル・ネットワークにおいてVoltaやTPU2を超えるパフォーマンスを達成するようです。Colossusは16nmの製造プロセスで製造され、PCIeカードあたり2チップでの提供となるようです。TensorFlowをサポートし、その他のオープン・ソース・フレームワークは追ってサポートするようです。2017年の末にアーリー・アクセスが開始される見込みです。

関連記事

3000万ドルの出資を獲得し2017年に発進する英国のAI向けプロセッサベンチャー「Graph core」

NVIDIA Tesla V100と言うモンスターGPU、120 Tensor TFLOPS、5120 CUDAコア

IBMのPOWER8とNVIDIAのTesla P100を使ったPowerAIプラットフォームでTensorFlowが使えるようになった

Add a Comment

メールアドレスの入力は任意です。(公開されることはありません)