作者｜周一笑邮箱｜[email protected]在当今大模型领域，Transformer架构占据着主导地位。然而，尽管Transformer非常强大，但它的计算需求随着文本长度呈平方级增长，这导致运行成本高昂，同时限制了其扩展能力。与 ...

为解决肺结核精准诊断难题，研究人员开展基于视觉 Transformer（ViT）和 Grad-CAM 的研究，结果显示诊断准确率高，有助于临床应用。 为了攻克这些难题，来自印度和埃塞俄比亚等多个机构的研究人员展开了深入研究。他们将研究成果发表在《BMC Medical Imaging》上。这项研究旨在利用视觉 Transformer（Vision ...

RWKV-7 通过一系列创新（例如广义 Delta Rule），在计算效率、任务表现和模型表达力全面超越 Transformer 和过去的 RWKV-6 架构。 在训练数据远低于 Qwen2.5、Llama3.2 ...

在人工智能技术不断进步的今天，OpenAI 正式发布了其最新的 GPT-4o 模型，标志着图像生成技术的重大突破。这项技术的推出不仅增强了 OpenAI 在 AI ...

选自 supaiku.com作者：Spike Doanz机器之心编译「注意力实际上是对数的」？今天，一篇博客再次掀起了AI社区对注意力机制的讨论。作者认为，Transformers ...

近年来，人工智能领域的发展以令人瞩目的速度推进，特别是在针对人工智能技术标准化的努力上，IETF第122次会议成为了一个重要的里程碑。该会议于2023年3月15日至21日在泰国曼谷召开，吸引了752名现场参与者和550名在线参与者，呈现出一个持续上升的参与热情。此次会议的重要议题之一便是 级别的人工智能标准化 ，这种技术革新对行业在本质上影响深远，尤其是在数据处理和应用方面。

上周五，腾讯宣布推出自研深度思考模型「混元 T1」正式版，这是一个能秒回、吐字快、擅长超长文处理的强推理模型。而之所以具备这些优势，很大程度上是因为腾讯采用了 Hybrid-Mamba-Transformer 融合架构。这一架构有效降低了传统 ...

今天凌晨，OpenAI 后训练团队负责人 William Fedus 在 X 平台官宣离职，并计划创办一家专注于利用 AI 发现新材料的初创公司。 据外媒 The Information 报道，Fedus 的前东家 OpenAI ...