2017年，具有里程碑意义的论文《AttentionIs All YouNeed》正式发表，Transformer架构问世并逐步发展成为该领域的主流技术范式。自2023年起，自然语言处理领域迎来了一股创新浪潮，对模型架构的创新需求日益增加。

继公布全模态模型家族后，时隔5个月，MiniMax再亮相两大模型，且模型权重完全开源。而且与GPT-4o和Claude-3.5-Sonnet性能平起平坐，尤其在上下文窗口方面表现出色，处理能力甚至达到其他顶尖模型的 20 - 32倍。

GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。 在长文任务上，随着输入长度变长，MiniMax-Text-01 性能衰减更少，显著优于谷歌 Gemini。因此，01 系列模型在处理长 ...

据介绍，这个模型的参数量高达 4560 亿，其中单次激活 459 亿，模型综合性能比肩海外顶尖模型，在大多数任务上追平了海外公认最先进的两个模型，GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。 在长文任务上，随着输入长度变长，MiniMax-Text-01 性能衰减更少，显著优于谷歌 ...

在人工智能领域，大新闻来了！稀宇科技（MiniMax）今日重磅发布了震撼人心的01系列模型，仍以其庞大的参数量——高达4560亿，令人瞩目！此次发布的系列模型包括了基础语言大模型MiniMax-Text-01及视觉多模态大模型MiniMax-VL-01，标志着MiniMax在AI技术上的又一次突破。