Mistral AIが突如として新しい大規模言語モデル「8x22B MOE」を発表、コンテキスト長65kでパラメーターサイズは最大1760億か
GoogleやMetaの研究者によって設立されたAIスタートアップのMistral AIが、オープンソースの大規模言語モデル「8x22B MOE」を公開しました。詳細は不明ですが、多くのベンチマークでGPT-3.5やLlama 2 70Bを上回る性能を持つ可能性があることが示されたモデル「Mixtral 8x7B」の3倍以上のパラメーター数を備えている可能性があります。
