热点资讯

  • 首页 GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

GitHub star量过千,HF榜单第二,第一个会自己改学习规则的视觉骨干开源了

2026-10-19

申博体育整理如下:

人眼在观察陌生事物时,从来不是按一套死板的程序走到底的。

读一封字迹潦草的手写信,最难认的往往是开头几个字。

看得多了,我们渐渐摸清写信人的笔画和连笔习惯,后面的字也就越认越顺。

医生阅片、考古学者辨认拓片,也有类似的经验:前面识别出的线索,会影响后面如何观察和判断。

这看起来是一件很自然的事,但对视觉 AI 而言,要实现并不简单。

一张图片进入模型后,哪些区域需要重点关注、不同位置的特征怎样关联,模型已经能够根据眼前的画面作出调整。

可在很多现有架构里,决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则,仍主要由训练阶段确定。

换一张图片,模型的计算结果会改变,背后的许多学习规则却不会跟着改变。

明略科技与中国科学院自动化研究所 的研究团队,正试图推动这一步。

双方联合提出 VisionHOPE—— 首个以自修改学习系统为核心构建的通用视觉骨干网络 它让模型在一次前向计算中,一边读取和保存图像信息,一边根据已读到的内容更新自己的学习方式。

前面看过的区域,能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。

这项研究并不只停留在机制设计上。

在 ImageNet-1K 图像分类基准上,拥有 52.

9M 参数的 VisionHOPE-S 取得 85.

2% 的 Top-1 准确率,参数量不到 VMamba-B(89M)的六成,准确率高出 1.

3 个百分点;

VisionHOPE-B 的准确率达到 85.

6%。

同时,其自修改机制的核心计算量随 Token 数量线性增长。

论文发布后曾登上 Hugging Face 每日论文榜第 2 名,GitHub 开源仓库也在短时间内收获了近 1000 Stars。

目前,研究团队已将全部代码、底层算子与预训练权重按 MIT 协议向社区开放。

论文标题:VisionHOPE: Visual Backbones as Self-Modifying Learning Systems Hugging Face 论文页:https://huggingface.

co/papers/2609.

33325 Hugging Face VisionHOPE 主页:https://huggingface.

co/PSRben/VisionHOPE GitHub 代码:https://github.

com/PSRben/VisionHOPE 视觉模型越来越会 “看”,但学习规则还可以更灵活 要理解 VisionHOPE 的新意,可以先看视觉骨干这些年的变化。

早期的卷积神经网络(CNN)擅长从局部捕捉边缘、纹理等信息。

它使用训练好的卷积核提取特征,图像中距离较远的区域,需要经过多层计算才能建立联系。

后来出现的视觉 Transformer(ViT),借助自注意力机制,让不同位置能够根据当前图像直接交互。

模型看到了更大范围的内容,但生成注意力的投影参数依然固定,而且全局注意力的计算量会随着 Token 数量平方增长,图像尺寸越大,计算压力越明显。

再往后,Mamba 等状态空间模型通过沿序列传递状态,将计算复杂度降至线性。

状态转移可以随当前输入变化,但负责从输入生成状态转移的映射,仍由训练阶段确定。

about image

TTT(测试时训练)又向前走了一步:它在网络内部设置小型学习器,允许学习器处理图像时更新自身参数。

不过,生成学习表征,以及控制更新步长和记忆保留的规则,仍主要在训练时设定。

沿着这条路线看,研究者一直在扩展模型对 “当前这张图” 的适应范围:从局部特征,到全局交互、动态状态,再到内部学习器的参数更新。

VisionHOPE 进一步把决定学习方式的参数也纳入了图像内部的更新过程 图片 1|不同视觉架构对当前图像的适应方式:从局部特征、全局交互和状态转移,到内部学习器更新,再到自修改学习。

箭头表示图像内适应范围逐步扩大。

这一设计建立在嵌套学习(Nested Learning,NL)及其 HOPE 架构的自指机制之上。

简单说,模型处理图像时积累的内容,不只留待最后生成识别结果,还会反过来参与下一步学习规则的调整。

这件事之所以值得关注,也与视觉骨干本身的地位有关。

无论是图像识别,还是需要结合图像与语言的多模态系统,视觉骨干都负责提供最基础的视觉表征。

此前,MMVP 已揭示多模态模型在基础视觉辨别能力上的缺陷;

Cambrian-1 的研究则表明,改善视觉表征能够进一步提升多模态能力。

视觉底座怎样理解图像,关系到上层模型能够获得怎样的信息。

表1|不同视觉架构对当前图像的适应方式 把 “怎么学” 交给记忆:VisionHOPE 的三个关键设计 让模型修改自己的学习规则,可以拓展模型的表达能力,但也带来了理论和工程上的新问题。

在以自指嵌套学习模块 SRNL 构建通用视觉骨干时,研究团队重点解决了三个问题:记忆如何组织与更新,自指

更多体育资讯,关注申博体育。