全部主题

推理与模型架构

11 个专题

推理优化进入「表示层创新」新维度。EasySteer通过隐藏态引导(Hidden State Steering)实现无重训练的实时LLM行为控制,预计算steering向量可插拔组合,与Gemma 4端侧化形成技术共振——廉价本地微调成为可能,模型能力分层从「训多个模型」进化到「一个模型多个steering向量」。腾讯RoT将推理链压缩为图像潜变量,Token消耗降3-4倍并开放推理监控窗口。WaveFormer以波动方程重塑视觉特征提取,计算量降30%、吞吐量升1.6倍。表示层创新正在取代参数规模竞赛成为推理优化的新主线。

#EasySteer

2 个专题

模型Steering向量控制

浙大 EasySteer 通过隐藏态引导(Hidden State Steering)实现无重训练实时调整 LLM 行为——直接拧模型「内心想法」,成本从 GPU 集群降到 CPU。预计算 steering 选项可插拔、可组合,不同场景(安全/创意/专业)可切换不同 steering 向量,单一模型变多角色。与 Gemma 4 端侧化形成技术共振——廉价本地微调成为可能,模型能力分层正在从「训多个模型」进化到「一个模型多个 steering 向量」。

新兴——无梯度模型行为控制成为端侧 AI 关键拼图,单一模型多角色切换标志本地 AI 能力分层范式成熟
2026-04-05 · 1 条推文

EasySteer: 隐藏态引导实现无重训练实时控制

北邮EasySteer通过隐藏态引导(Hidden State Steering)打破微调成本壁垒:调整LLM内部推理路径而非参数实现行为控制,无需梯度回传,预计算steering向量可插拔可组合,部署成本接近于零。与Gemma 4端侧化形成技术共振——廉价本地微调成为可能,模型能力分层正在从「训多个模型」进化到「一个模型多个steering向量」。不同场景(安全/创意/专业)可切换不同steering向量,单一模型变多角色,成本结构再重构。这是本地AI的关键拼图,边缘智能与算力去中心化叙事持续升温。

急剧上升——隐藏态引导与Gemma 4端侧化共同标志「一个模型多角色」的steering向量时代到来,廉价本地微调正在重塑AI经济逻辑
2026-04-05 · 1 条推文

#WorldModel

2 个专题

#RoT

2 个专题

Token 长度与推理质量悖论

推理效率本周获架构层新突破:腾讯 RoT(Render-of-Thought)将文本推理步骤压缩为图像潜变量,Token 消耗降低 3-4 倍、推理速度大幅提升,同时开放推理过程的可视化追踪窗口——「用图思考比用字思考快」的范式转移为推理质量悖论提供了第三条路:既不堆长度,也不单纯精炼,而是换维度压缩表示。这与 Google DTR 指标和「过度思考损害社交推理」的研究共同指向:推理效率的突破在于表示层创新,而非参数规模竞赛。

范式突破——RoT 以视觉潜变量替代文本 Token 提供了推理效率优化的第三条路,表示层创新成为推理质量讨论的新战场
2026-03-03 · 4 条推文

推理过程监督

推理过程可解释性本周获新工程工具支撑:腾讯 RoT 将推理思维链视觉图像化,不仅压缩了 Token 消耗,更开放了「推理过程监控窗口」——将黑盒推理链转化为可视追踪的图像潜变量序列,这是过程监督从「奖励信号层」延伸至「表示可视化层」的关键步骤。Agent 群体 38 分钟自创语言揭示了另一侧的反面——高速智能体协作产生的非人类语言体系在缺乏过程监控时的根本不可解释性。两者共同强化了「过程可见性是 AI 可信赖性前提」的核心判断。

可解释性工具化——RoT 将过程监督从理论推向工程实现,推理链可视化成为 AI 系统可信部署的基础设施需求
2026-03-03 · 9 条推文

#数学符号回归

1 个专题

其他

4 个专题

决策框架AI加载

AskRoundTable将芒格/费曼/Paul Graham的决策框架装进AI,测试结果比原生Claude提升18%-83%。核心差异:「角色扮演」vs「心智模型加载」——前者是风格模拟,后者是推理结构复用。蒙格的能力圈分析、费曼的第一性原理、PG的默认成功偏见是经过真实决策验证的认知工具。一行安装、多模型通用,降低了心智模型复用的门槛。

从模型能力提升转向结构化先验知识注入,心智模型复用成为推理深度优化新范式
2026-04-06 · 2 条推文

Karpathy Token 纪元隐喻

Karpathy 将 LLM 比作 CPU、Agent 比作操作系统内核,核心洞察:LLM 处理的数据单位是 token 而非字节。Token 作为统计性「量子化」数据单位与软件工程六十年积累的字节级精确范式(版本控制、测试、ACID 事务)根本冲突。字节纪元遗产正在成为 AI 原生系统需要重新翻译的「legacy code」。这是从牛顿力学到量子力学的底层范式转移,影响未来五十年所有软件架构。

急剧上升——从字节到 Token 的计算单元重构叙事从技术圈扩散至主流开发者社区,成为理解 AI 时代计算范式转移的核心隐喻
2026-04-01 · 1 条推文

国产大模型静默竞争

国产模型竞争从产品体验差异化延伸至Agent-native基础设施布局:小米一次性发布MiMo-V2-Pro(1T参数/42B激活)、Omni(多模态)、TTS三模型矩阵,构建完整Agent能力闭环。Pro版本Artificial Analysis中文榜第二,价格仅为Sonnet 4.6的1/5,API免费试用+CodePilot即时接入显示激进获客策略。这是首个明确以「Agent基础设施」为定位的国产模型矩阵,避开基础模型军备竞赛正面战场,用「工具调用+长上下文+成本效率」三位一体抢开发者。

Agent-native突围——国产模型从「参数规模追赶」走向「Agent场景产品化能力」差异化
2026-03-19 · 38 条推文

JTok Token 效率突破

小红书与上海交大联合推出 JTok,通过轻量「token-indexed 参数」智能调制 Transformer 核心,实现容量与 FLOPs 解耦。相比标准 MoE 节省 35% 计算量,MMLU 提升 4.1 分、ARC 提升 8.3 分,验证「性价比算法」的弯道机会。这标志着国内大厂开始在效率优化赛道上建立话语权。

Token 级参数调制正在瓦解 MoE 的算力霸权,国内大厂在效率优化赛道上建立话语权
2026-03-14 · 1 条推文
推理与模型架构 - 主题