検索
ニュース

NVIDIA、AI推論ソフト「TensorRT 3」を発表GPUとの組み合わせで効率化

NVIDIAが新しいAI推論ソフトウェア「TensorRT 3」を発表した。GPUと組み合わせて、高速かつ効率的な推論を目指すという。

Share
Tweet
LINE
Hatena

NVIDIAのGPUとの組み合わせでAI推論を加速

 NVIDIAのCEO(最高経営責任者)を務めるJensen Huang氏は、2017年9月25〜27日に中国の北京で開催したGPU開発者会議「GPU Technology Conference」で、NVIDIAの新しいAI推論プラットフォーム「TensorRT 3」を発表した。

 NVIDIAは、「大手インターネット企業は、画像や音声認識、自然言語処理、視覚検索、個別推奨などのAI対応サービスで生成されるデータの爆発的な増加への対応に奮闘している。サービスプロバイダーにとっても、データセンターとクラウドサービスのインフラのコストを大幅に削減できるような、迅速で正確なAI推論ソリューションの獲得が急務である」と説明した。

 同社は、「TensorRT 3とNVIDIAのGPUを組み合わせることで、AI対応サービスのあらゆるフレームワークで超高速かつ効率的な推論を実現できる」としている。

 Huang氏はGTCで、中国の主要インターネット企業であるAlibaba CloudやBaidu、Tencentが現在、NVIDIAのGPUアクセラレータ「Tesla V100」を活用してデータセンターやクラウドサービスインフラをアップグレードしていることを明らかにした。


NVIDIAのJensen Huang氏 出典:NVIDIA

 同社はまた、InspurやLenovo、Huaweiなどの中国の大手機器メーカーが、リファレンスアーキテクチャ「NVIDIA HGX」を採用して、ハイパースケールデータセンター向けのGPUアーキテクチャ「Volta」ベースのアクセラレーテッドシステムを提供する計画を進めていることも発表した。

 NVIDIAは、「ただし、ハードウェアだけでは、AI推論におけるデータの爆発的増加に対応するAIベースのサービスプロバイダーへの十分な支援ができない」として、顧客企業にTensorRTプラットフォームの採用を勧めている。

 NVIDIAは北京で、Alibaba、Baidu、Tencent、JD.com、Hikvisionがプログラマブルな推論の加速に向けてNVIDIAのTensorRTを採用することも明らかにした。

 ただし、NVIDIAのアクセラレーテッドコンピューティング担当グループ製品マーケティングマネージャーを務めるParesh Kharya氏によると、これまでのところ、TensorRTを既に採用しているのはJD.comだけだという。

 Kharya氏は、「多くのAIベースのサービス企業はこれまで、オープンソースのディープラーニングライブラリ『TensorFlow』や『Caffe』など、トレーニングされたニューラルネットワークフレームワークを自社で選んだGPU上で実行することで、独自の最適化を行ってきた。TensorRTは、こうした手法では対応できなかった処理にも対応できる」と述べている。


NVIDIA「TensorRT」プラットフォームの概要 出典:NVIDIA(クリックで拡大)

 サービスプロバイダーはTensorRTを採用することで、トレーニングしたディープラーニングフレームワークの選定から、目的に合ったGPUを選択するところまでを行える。

 現在のところ、AIアプリケーションの製品展開に向けた“高性能最適化コンパイラとランタイムエンジン”がパッケージされた製品を提供する企業は、NVIDIA以外にはない。

 NVIDIAは、「TensorRTは、ニューラルネットワークの記述ファイルをコンパイルしてターゲットGPU上で実行するため、トレーニングした推論ニューラルネットワークをハイパースケールデータセンターや組み込みGPUまたは車載GPUプラットフォーム向けに迅速に最適化し、検証、展開することができる」と説明している。

【翻訳:滝本麻貴、編集:EE Times Japan】

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る