大規模言語モデルで「無限の入力」を受け付けることを可能にする手法「StreamingLLM」が開発される

大規模言語モデルで「無限の入力」を受け付けることを可能にする手法「StreamingLLM」が開発される

計算コストやパフォーマンスを維持したまま無限の入力を処理することが可能な大規模言語モデルの手法「StreamingLLM」の論文が2023年9月29日に公開されました。入力が長くなるにつれて最初の方の情報は失われていくため、書籍の要約などのタスクには向いていませんが、対話が長くなってもパフォーマンスを維持したままスムーズに回答をこなすことが可能になっています。

続きを読む…

続きを見る