富士通は生成AI（人工知能）の基盤となる大規模言語モデル（LLM）で、一定の計算精度を維持しつつ消費電力を削減できる技術を開発したと発表した。AIが学習した膨大な知識を圧縮し、演算負荷を低減する。高性能な画像処理半導体（GPU）4枚を必要としていたAIモデルを、低性能のGPU1枚で動かせるようになる。
LLMは一般に性能の指標となる「パラメーター」数が大きいほど幅広い知識を身につけられる。一方で学習や質問への回答に膨大な計算資源を必要とする。
富士通が開発したのはパラメーターの数値を小さい単位に丸めて計算を効率化させる技術で、「量子化」と呼ばれる。量子化すればパラメーターの数値を維持しつつ、メモリーに書き込まれるデータ容量を低減できる。
日本語に特化した同社のLLM「Takane（タカネ）」に新技術を適用した場合、メモリー消費量を最大94%削減しても、AIの計算精度率は89%を維持できた。メモリー消費量が削減できれば演算効率も高まる。AIの処理速度は3倍に高められた。富士通は量子化技術を適用したタカネの試験環境を10月以降、順次提供する。
量子化の技術自体は以前からあったものの、パラメーターの圧縮とAIの計算精度を両立させるのが難しかった。従来は精度維持率が20%にとどまっていた。
AIは一般的に、脳の神経回路網をまねたニューラルネットワークが使われており、計算をする層が何枚も積み重なって複雑な問題を理解する。従来の量子化技術では、パラメーターの数値を丸めた際に生じる誤差が層をまたぐことに増幅し、最終的な出力結果で計算精度が維持できなかった。
富士通の量子化技術はパラメーターの数値を丸める際に生じる誤差の増幅を防ぐ。層をまたぐ際に生じる誤差を都度補正することで、出力結果の計算精度を高める。
LLMは大規模化が進み、高性能なGPUを多く必要とするため、開発・運用コストの増大や消費電力による環境負荷が課題となっている。
【関連記事】
- ・富士通、米国に光通信技術の実証施設 データセンター需要取り込み
- ・ソフトバンクやインテル、AI用新型メモリー開発会社 消費電力半分
鄭重声明：本文の著作権は原作者に帰属します。記事の転載は情報の伝達のみを目的としており、投資の助言を構成するものではありません。もし侵害行為があれば、すぐにご連絡ください。修正または削除いたします。ありがとうございます。
