Cerebrasは、より高度なプロセス技術への移行だけでなく、第1世代WSEを導入した顧客から得たフィードバックに基づき、マイクロアーキテクチャの向上も実現した。また、同社のソフトウェアが、コア数40万個と85万個の間をシームレスに移行できるだけの堅牢性を十分に備えているかを確認するための取り組みも多く行われたという。
Feldman氏は、「WSE2は、GPUのプログラムと全く同じ方法でプログラムされている。WSE2で実行するコードを1行追加するだけで、修正されていないTensorFlow/PyTorchコードを実行することが可能だ。Cerebrasのコンパイラは、ニューラルネットワーク層を、チップ上の演算領域に割り当てることで、全てのレイヤーを介して動作できる回路を作成する」と述べる。
「これにより、大量のデータをウエハー上に保持することが可能になり、大幅な高効率化と低レイテンシを実現することができた。どのメーカーも、大量の小型パーツでクラスタを構築するという方法を採用しているが、それにはかなりの複雑さが伴う。作業を大量の小型パーツに分解するための方法を見つけ出さねばならないからだ」(同氏)
同氏は、「パーツをクラスタ化するには、TensorFlow/PyTorchを別の方法で分配したり、メモリや帯域、専用ツールなどについて考慮したりする必要がある。また機械学習率やハイパーパラメーターも、環境に適合できるよう調整しなければならない」と指摘する。
「しかし当社のシステムでは、これらは全て不要である。必要な作業を、1個のGPU向けのものとして実行し、当社のシステムを指定することで、大幅な性能向上を実現できるのだ。1個のGPUで行うための作業を、20個のGPUに指定することはできない」(同氏)
Cerebrasは既に、スーパーコンピュータ市場に顧客企業が何社か存在していることを明らかにしている。その中には、アルゴンヌ国立研究所(Argonne National Laboratory)や、米ローレンスリバモア国立研究所(LLNL:Lawrence Livermore National Laboratory)、ピッツバーグスーパーコンピューティングセンター(Pittsburgh Supercomputing Center)、エディンバラ大学スーパーコンピューティングセンターなどが名を連ねる。アルゴンヌ国立研究所は、「第1世代WSEを採用したことで、がんの予測モデルの実験応答時間を300分の1に短縮することができ、数年かかっていた作業を、数カ月間で完了させることが可能になった」と述べている。
Cerebrasは現在、シリコンバレー、サンディエゴ、トロント、東京に約300人のエンジニアを抱えている。同社は2019年11月のシリーズE投資ラウンドで4億7500万米ドル以上を獲得した。
【翻訳:田中留美、編集:EE Times Japan】
Copyright © ITmedia, Inc. All Rights Reserved.