メディア

追加学習や構造変更なしでLLMの推論速度を4倍に：新たな推論加速の手法を提案

北陸先端科学技術大学院大学の研究チームは、既存の大規模言語モデル（LLM）に対し、追加学習や構造変更を行うことなく、推論速度を最大4倍に高速化できる新たな推論加速手法「SPECTRA」を提案した。

» 2025年08月12日 13時30分公開

[馬本隆綱，EE Times Japan]

「コアモジュール」と「リトリーバルモジュール」で構成

　北陸先端科学技術大学院大学コンピューティング科学研究領域のグエンミンレ教授らによる研究チームは2025年8月、既存の大規模言語モデル（LLM）に対し、追加学習や構造変更を行うことなく、推論速度を最大4倍に高速化できる新たな推論加速手法「SPECTRA」を提案した。

　SPECTRAは、主に2つの要素からなる。コアモジュール「SPECTRA-CORE」とリトリーバルモジュール「SPECTRA-RETRIEVAL」である。それぞれ単独で利用しても高い性能を得られるが、これらを組み合わせて用いれば、既存のスペキュレーティブデコーディング手法に比べ、推論速度が大幅に向上されることを確認した。

　SPECTRA-COREは、LLMが予測するトークン分布を活用し、高品質の予測を生成することでスペキュレーティブデコーディングを改善するという。具体的には、双方向検索を可能にする2種類のマルチレベルN-gram辞書を用い、動的な長さを予測することで生成の質と量のバランスを最適化する。さらにSPECTRAは候補プールを最適化し、継続的にN-gram辞書を更新するため、幅広いトークンカバレッジを確保できるという。LLMに対しては、プラグ＆プレイ形式で容易に統合できる。

　SPECTRA-RETRIEVALは、高品質な外部予測候補を選別することで、性能を一段と高めることが可能となった。対象LLMによって算出されるパープレキシティスコアに基づき、コーパスから高品質のコンテンツのみを選択する。これによって、検索空間を削減しSPECTRA-COREとの統合が容易となり、システム全体の効率性を最大化できるという。

SPECTRAの全体像と、学習不要な他のSOTA（最先端手法）との比較［クリックで拡大］出所：北陸先端科学技術大学院大学

超低輝度時の有機EL素子を評価できる測定システム
東陽テクニカの米国子会社「TOYOTech」は、シャープディスプレイテクノロジーや北陸先端科学技術大学院大学と共同で、有機EL素子の超低輝度における挙動を調べる検査技術を開発した。TOYOTechは2024年10月1日より、DC-JVL測定システム「DCM1000」として販売する。
複数の核酸や病原体を同時に検出できるバイオセンサー
三菱マテリアルと北陸先端科学技術大学院大学（JAIST）は、固体電解質薄膜トランジスタを用いたバイオセンサーを開発し、実用化に向けた製品開発に着手したと発表した。医療分野の遺伝子検査で用いる従来の方法と比べて短時間で検査結果が得られ、複数の核酸や病原体を同時に検出できる。
単層グラフェン膜を用いたNEMSスイッチを開発
北陸先端科学技術大学院大学（JAIST）とデンマーク工科大学は、単層グラフェン膜を用いたNEMS（ナノ電子機械システム）スイッチを開発した。0.5V未満という極めて低いスイッチング電圧で、オンオフ切り替えを5万回繰り返しても安定動作することを確認した。
「エッジでLLM」を実現するNXPの戦略　鍵はKinara買収とRAG
NXP SemiconductorsのAI戦略／技術部門担当グローバルディレクターを務めるAli Ors氏は「Embedded Vision Summit 2025」において、エッジデバイス上で大規模言語モデル（LLM）推論を実現するという同社の戦略の詳細を説明した。
エッジで使える製造業向け言語モデルを開発、三菱電機
三菱電機は、エッジデバイス上で動作する製造業向け言語モデルを発表した。三菱電機の事業に関するデータの事前学習によって製造業に特化させているので、製造業におけるさまざまなユースケースに適用できるという。さらに、学習データ拡張技術によってユーザーの用途に最適化した回答生成が実現する。
3年かけてついに完成した「CUDA」の代替はAI開発を変えるのか
「CUDA」の代替となるプラットフォーム開発を目指している新興企業のModularが、ついにその技術を完成させたという。NVIDIAの牙城を崩すのか。