NVIDIA、AI推論ソフト「TensorRT 3」を発表：GPUとの組み合わせで効率化

NVIDIAが新しいAI推論ソフトウェア「TensorRT 3」を発表した。GPUと組み合わせて、高速かつ効率的な推論を目指すという。

[Junko Yoshida，EE Times]

NVIDIAのGPUとの組み合わせでAI推論を加速

　NVIDIAのCEO（最高経営責任者）を務めるJensen Huang氏は、2017年9月25〜27日に中国の北京で開催したGPU開発者会議「GPU Technology Conference」で、NVIDIAの新しいAI推論プラットフォーム「TensorRT 3」を発表した。

　NVIDIAは、「大手インターネット企業は、画像や音声認識、自然言語処理、視覚検索、個別推奨などのAI対応サービスで生成されるデータの爆発的な増加への対応に奮闘している。サービスプロバイダーにとっても、データセンターとクラウドサービスのインフラのコストを大幅に削減できるような、迅速で正確なAI推論ソリューションの獲得が急務である」と説明した。

　同社は、「TensorRT 3とNVIDIAのGPUを組み合わせることで、AI対応サービスのあらゆるフレームワークで超高速かつ効率的な推論を実現できる」としている。

　Huang氏はGTCで、中国の主要インターネット企業であるAlibaba CloudやBaidu、Tencentが現在、NVIDIAのGPUアクセラレータ「Tesla V100」を活用してデータセンターやクラウドサービスインフラをアップグレードしていることを明らかにした。

NVIDIAのJensen Huang氏 出典：NVIDIA

　同社はまた、InspurやLenovo、Huaweiなどの中国の大手機器メーカーが、リファレンスアーキテクチャ「NVIDIA HGX」を採用して、ハイパースケールデータセンター向けのGPUアーキテクチャ「Volta」ベースのアクセラレーテッドシステムを提供する計画を進めていることも発表した。

　NVIDIAは、「ただし、ハードウェアだけでは、AI推論におけるデータの爆発的増加に対応するAIベースのサービスプロバイダーへの十分な支援ができない」として、顧客企業にTensorRTプラットフォームの採用を勧めている。

　NVIDIAは北京で、Alibaba、Baidu、Tencent、JD.com、Hikvisionがプログラマブルな推論の加速に向けてNVIDIAのTensorRTを採用することも明らかにした。

　ただし、NVIDIAのアクセラレーテッドコンピューティング担当グループ製品マーケティングマネージャーを務めるParesh Kharya氏によると、これまでのところ、TensorRTを既に採用しているのはJD.comだけだという。

　Kharya氏は、「多くのAIベースのサービス企業はこれまで、オープンソースのディープラーニングライブラリ『TensorFlow』や『Caffe』など、トレーニングされたニューラルネットワークフレームワークを自社で選んだGPU上で実行することで、独自の最適化を行ってきた。TensorRTは、こうした手法では対応できなかった処理にも対応できる」と述べている。

NVIDIA「TensorRT」プラットフォームの概要 出典：NVIDIA（クリックで拡大）

　サービスプロバイダーはTensorRTを採用することで、トレーニングしたディープラーニングフレームワークの選定から、目的に合ったGPUを選択するところまでを行える。

　現在のところ、AIアプリケーションの製品展開に向けた“高性能最適化コンパイラとランタイムエンジン”がパッケージされた製品を提供する企業は、NVIDIA以外にはない。

　NVIDIAは、「TensorRTは、ニューラルネットワークの記述ファイルをコンパイルしてターゲットGPU上で実行するため、トレーニングした推論ニューラルネットワークをハイパースケールデータセンターや組み込みGPUまたは車載GPUプラットフォーム向けに迅速に最適化し、検証、展開することができる」と説明している。

【翻訳：滝本麻貴、編集：EE Times Japan】