半導体設計をサポートするLLMを開発したNVIDIA：社内向けツールとして（1/2 ページ）
NVIDIAが半導体設計に関する一般的な質問への回答、バグドキュメントの要約、EDAツール用スクリプトの作成など、半導体設計に関連するタスクを支援する大規模言語モデル（LLM）である「ChipNeMo」を開発した。
NVIDIAは、2023年10月29日〜11月2日に米国カリフォルニア州サンフランシスコで開催された「IEEE/ACM International Conference on Computer-Aided Design（ICCAD） 2023」の基調講演で、「ChipNeMo」と呼ぶ大規模言語モデル（LLM）を発表した。NVIDIAのチーフサイエンティストを務めるBill Dally氏によると、ChipNeMoは同社のLLMフレームワーク「NeMo LLM」を内部データでトレーニングし、半導体設計に関する一般的な質問への回答、バグドキュメントの要約、EDAツール用スクリプトの作成など、半導体設計に関連するタスクを支援するという。
設計者の生産性を向上
Dally氏は同イベントの前に米国EE Timesが行ったインタビューで、「ChipNeMoの目的は、設計者の生産性を高めることだ。生産性を数パーセントでも改善できれば、それだけの価値がある。実際には、われわれはそれよりもはるかに良い成果を目指している」と語った。
NeMoのような基盤モデルは一般的に、インターネットからスクレイピング（収集）した何兆もの単語でトレーニングして、言語の一般的な理解を習得する。その後、ドメイン固有のデータでさらに事前トレーニングして、特定分野のコンテキストを追加し、質疑応答事例を利用して微調整を加えることもできる。
Dally氏によると、NVIDIAは、アーキテクチャ文書や設計文書、NVIDIAのコードベースを含む、コードとテキストの社内リポジトリからスクレイピングした単一のデータセットを使用してChipNeMoを事前トレーニングし、その後、そのデータのサブセットを微調整したという。
同氏は、「設計データで事前トレーニングすることで、小さなモデルが大きなモデルのように機能するようになる。ゆくゆくは、これをより大規模なモデルで実行したい。実験的なケースで、早急に多くのことを学びたいと考えている。現在は、より迅速にトレーニングするために小さなモデルを使用しているが、最終的には、当社最大のモデルで運用したいと考えている。そうすれば、より良い結果が得られ、有用性が上がると考えている」と述べている。
ChipNeMoは、1つのモデルで3種類のタスクを実行できる。いずれのタスクも、実際に半導体設計を行うのではなく、設計者の生産性を高め、EDAツールのより効率的な使用を支援するものである。Dally氏によると、ChipNeMoは430億パラメーターに対応し、1つのGPU「A100」上で、“数秒”で実行されるという。
若手設計者の質問に回答し、シニア設計者の時間を節約
ChipNeMoは、半導体設計に関する質問、特に若手設計者からの質問に答えることができる。
Dally氏は、「当社のシニア設計者は、若手設計者からの質問に答えるのに多くの時間を費やしていることが分かっている。若手設計者が『メモリユニットから出力されるこの信号は何をするのか』という質問をまずChipNeMoにして、適切な回答が得られれば、シニア設計者の時間を節約でき、このツールは十分に価値があるといえる」と述べている。
NVIDIAはChipNeMoによる不正確な回答を避けるために、検索拡張生成（RAG：Retrieval Augmented Generation）と呼ばれる技術を使用している。
Dally氏は、「最初のプロンプトでデータベースへのクエリを実行し、この特定のクエリに関連するソースドキュメントを取得する。それをプロンプトに追加してChipNeMoにフィードすることで、特定のソースドキュメントに基づいた回答をすることができるため、不正確な回答が低減し、より説得力のある説明が可能になる」と述べている。
Copyright © ITmedia, Inc. All Rights Reserved.