这项由复旦大学东谈主工智能与具身智能经营院和阿里巴巴通义千问团队联开展的经营，以预印本论文的面容发布于2026年6月，论文编号为arXiv:2606.18249。感好奇赞佩好奇赞佩的读者可通过该编号在arXiv学术平台上检索齐备原文。

**个让AI同期"看图"和"绘制"的老珍爱**

如果你也曾用过那些能生成图片的AI器具，也用过那些能回复"这张相片里有什么"的AI助手，你可能会以为这两种才气对台揣测机来说应该是回事——毕竟都是在和图片交谈。可是现实情况是，这两种才气在大多数现存AI系统中，简直是由两套立的"大脑"永诀细腻的，它们使用不同的"语言"来贯通和花式同张图片，就像是个东谈主的左手和右手不料志对样。

这种割裂带来了个相等无言的成果：当你让个AI先画张图，然后再问它"你刚才画的图里有几棵树"，这个AI须把我方刚刚画出来的图重新"扫描"遍，用另套不同的系统去重新贯通它——就好比你我方写了封信，完结转头就忘了，只可重新读遍才知谈我方写了什么。这不仅率低下，迤逦的是，从根蒂上任性了"着实宗的多模态智能"这个标的。

来自复旦大学和阿里巴巴通义千问团队的经营者们决心科罚这个问题。他们提议了个名为UniAR（Unified Auto-Regressive，统自追想）的框架，中枢念念路用句话抽象等于：用套统的"翻译体系"，让AI既能看懂图片，又能画出图片，而且画完之后不错成功回头看我方画了什么，需任何罕见的重新扫描法子。

**、为什么"看图"和"绘制"需要不同的才气，又为什么须统？**

设施略这个经营的真理，先得明白"看图"和"绘制"对AI来说为什么是两件不同的事。

当AI"看图"时，它需要温煦的是图片的合座含义和档次的语义信息。比如，它需要知谈"这是只狗"、"这个东谈主看起来很快活"、"布景里有座山"。这种贯通依赖的是对图片宏不雅结构和语义关系的把抓，就像你看幅画时感受到的合座境界。

而当AI"绘制"时，情况就不同了。要生成张传神的图片，AI须温煦到每个像素别的细节——毛发的纹理、光影的过渡、角落的横暴进程。这就好比个画不仅要知谈"我要画只狗"，还要精准戒指每笔的粗细、颜和位置。这种才气依赖的是低档次的、频率的视觉细节信息。

这两种需求在传统法中是相互矛盾的。为了看图准确，AI会使用能索取层语义的编码器；为了绘制良好，AI会使用能保留低层细节的编码器。于是，简直扫数现存的"统多模态模子"都采用了个折中案：在系统里面同期调动两套不同的视觉"辞书"，套用来看，套用来画。

可是这个折中案制造了新的休止。两套辞书意味着两个立的暗示空间，图片在这两个空间里被花式成不同的面容，就像同个故事被翻译成了汉文和法文——内容探讨，但面容上互不叠加。AI生成的图片，在"绘制辞书"里是种暗示，但在"看图辞书"里是另种暗示，两者之间莫得成功的对应关系。因此，每次想设施略我方画出来的图，AI都须重新走遍"看图"的全套进程。

UniAR的经营团队以为，这种割裂从根蒂上阻碍了着实真理上的统智能。他们的标的是假想出套单的视觉"辞书"，让这个辞书既能倨傲看图时对语义的需求，又能倨傲绘制时对细节的需求，从而兑现着实的分享陡立文——AI能成功贯通我方生成的内容，需任何中间转机法子。

**二、科罚问题的中枢火器：个能同期兼顾"境界"与"笔触"的视觉翻译官**

UniAR团队为这个问题假想了套精妙的科罚案，不错用"多档次融的视觉翻译官"这个比方来贯通。

具体来说，这套案的基础是个叫作念SigLIP2的视觉编码器——不错把它贯通成位造就丰富的"图片贯通"。这位在阅读张图片晌，会在不同的阅读阶段产生不同档次的贯通。在阅读的早期阶段（浅层），他对图片的细节纹理、颜变化、角落轮廓特别明锐；而在度念念考之后（层），他温煦"这合座上是什么"、"这几个元素之间是什么关系"这类宏不雅语义。

传统作念法只使用这位"念书之后的总结"（层特征），这对看图贯通来说很好，但对绘制来说丢失了太多细节。UniAR的编削在于，经营团队同期索取了这位在多个阅读阶段的条记——除了终的层特征除外，还罕见融了三个中间层的特征。这么来，既保留了宏不雅的语义贯通，又保留了微不雅的细节信息，两全其好意思。

但是，只是融多个档次的特征还不够。AI处理语言用的是打破的"词语"（token），而图片特征本来是畅达的数值，就像音乐的波形和曲谱之间的关系——要让语言模子大要处理图片，就须把畅达的图片信息转变成个个打破的"词语"。

这个转变过程叫作念"量化"。传统的量化法（向量量化，VQ）肖似于给每种视觉特征分派个固定的编号泰州塑料管材设备，就像藏书楼的索引系统——每本书都有个唯的编号，查书时就查编号。但这种法有个严重限定：辞书的范畴受限于你事前设定的编号数目，要扩大辞书就须存储大批编号，揣测资本。

UniAR收受了种贤惠的量化式，叫作念"二进制球形量化"（Binary Spherical Quantization，BSQ）。这种法不再给每个视觉特征分派个固定编号，而是把每个视觉特征转变成串由0和1构成的二进制代码，就像摩尔斯电码——用点和划的组来暗示任何信息。UniAR使用的是64位的二进制代码，这意味着表面上不错抒发2的64次种不同的视觉情状，这个数字约莫是1800亿亿，远任何传统辞书的范畴，而存储这套系统的资本却相等低——你只需要记取"0和1的功令"，而不是存储个庞大的编号索引表。

这套"多档次融加二进制量化"的视觉翻译官，等于UniAR通盘系统的基石。它将图片转变成了串串由0和1构成的数字代码，这些代码既包含了层语义信息，也保留了低层细节信息，是着实派要同期劳动于"看图"和"绘制"的统暗示。

**三、让AI用同套语言同期"读"和"写"图片：统自追想模子**

有了统的视觉翻译官，下步等于要让AI着实学会用这套翻译体系来贯通和生成图片。UniAR使用的是个叫作念"自追想模子"的框架——这个宗旨不错用"接龙游戏"来贯通。

在笔墨接龙游戏中，每个东谈主凭据前个东谈主说的话，估量并说出下个词。大型语言模子（比如ChatGPT背后的本领）恰是这么职责的：它阅读扫数一经出现的词语，然后估量下个适的词语。UniAR将这套接龙游戏膨大到了图片域：AI不仅不错估量下个笔墨词语，还不错估量下个视觉"词语"（即那些由0和1构成的二进制代码）。

重要的编削在于，UniAR用探讨的接龙功令来处理笔墨和图片，这意味着AI在同个系统中不错缝地贯通笔墨、贯通图片、生成笔墨、生成图片，它们都是同种接龙游戏的不同玩法。

不外，图片接龙面对个率挑战。张512×512像素的图片，如果每个位置都需要估量个立的视觉代码，那么总计需要估量256个法子（经过压缩之后）。但UniAR经营团队引入了个奥秘的机制：并行位元估量。

在传统的接龙中，每次只说个词。但UniAR的接龙式是：每次同期说出个2×2格子里的多个词，而且每个格子里还同期包含来自不同档次（浅层、中层、层）的多个二进制代码。这就特别于把原来需要个接个完成的好多法子，包成了步来完成。

经过这种压缩，正本需要好多法子才气生成的图片，目下只需要少得多的法子。具体来说，UniAR兑现了32倍的视觉压缩比——张512×512的图片只需要256个估量法子就能生成。如果再配后头会提到的分辨率本领，张1024×1024的清图片也只需要256个估量法子，而同等设定下的其他模子（如Janus-Pro和X-Omni）需要4096个法子，速率互异是其显赫的。

在锻真金不怕火这个自追想模子时，经营团队还加入了个风趣风趣的"错锻真金不怕火"手段：随即翻转部分二进制位。这是在模拟真的生成时可能出现的瑕玷积蓄——毕竟在接龙游戏中，前边的东谈主说错了个词，后头的东谈主就很可能越走越偏。通过在锻真金不怕火时特地引入些瑕玷，然后让模子学习如安在这种情况下仍然生成质料的图片，模子变得加健壮，即使在较的"随即"（温度）下也能判辨地产生质完结。这个特对于后续的强化学习阶段尤其迤逦，因为强化学习需要模子大要在随即下进行世俗探索。

**四、从"数字密码"到良好图片：视觉解码器的后棒**

自追想模子生成的是串由0和1构成的数字代码，但用户终看到的是张齐备的图片。把数字代码酿成像素图片，这是视觉解码器的任务。

UniAR使用的视觉解码器基于种叫作念"扩散变换器"（Diffusion Transformer，DiT）的模子，具体使用的是Stable Diffusion 3.5 Medium。不错把这个解码器贯通成位精明职责的艺术——给他些重要的"草图指示"（即前边生成的视觉代码），他大要据此出张质料的齐备图片。

这位艺术的职责旨趣是扩散过程：先从张随即的噪声图片运转，然后步时局去除噪声，同期受到视觉代码的引，终出明晰的图片。视觉代码通过成功叠加到噪声图片的荫藏情状上来阐扬引作用，就像在张白纸上轻轻形容出轮廓，然后让艺术凭据这些轮廓填充细节。

UniAR的解码器有个迤逦的假想特色：它只依赖视觉代码，不需要任何笔墨请示行为输入。这与些其他法不同，那些法的解码器同期承袭笔墨和视觉代码行为输入。UniAR的理念是：扫数的语义信息和布局安排都应该在自追想模子阿谁阶段完成，解码器只细腻"诚实地翻译"——把自追想模子一经盘算好的视觉代码酿成漂亮的图片，不需要也不应该在这个阶段引入新的语义阻挠。

此外，解码器还撑持分辨率擢升。自追想模子生成512×512分辨率的视觉代码，解码器不错通过插值本领将其放大到1024×1024的输出图片，在保持自追想阶段轻量的同期，终呈现分辨率的输出完结。

**五、三阶段修皆：从宽绰学习到精雕细琢**

通盘UniAR系统的锻真金不怕火分为三个递进的阶段泰州塑料管材设备，就像位学生从基础教授到业培训再到实战演练的成长历程。

阶段是大范畴预锻真金不怕火，这是耗时亦然基础的阶段。经营团队准备了约莫1万亿个词语范畴的锻真金不怕火数据，分为两个子阶段。个子阶段使用8000个词语的陡立文窗口，处理大512×512像素的图片，锻真金不怕火了约莫8000亿个词语；二个子阶段将陡立文窗口膨大到32000个词语，图片分辨率也擢升到960×960像素，锻真金不怕火了约莫2000亿个词语。在这个阶段，塑料管材生产线视觉贯通数据和视觉生成数据各占半，模子在海量的"看图—讲话"和"笔墨花式—生成图片"的例子中确立起对宇宙的世俗认识。

二阶段是监督微调，使用约莫500亿个词语范畴的尽心筛选质料数据进行锻真金不怕火。这些数据开始于公开的成数据集以及经营团队重新成的数据，面容转变为符对话俗例的多轮交流面容，让模子学会好地罢免复杂指示，处理多轮对话场景。

三阶段是强化学习微调，这亦然具编削的阶段。强化学习的基本念念路是：让模子生成好多不同的完结，然后凭据这些完结的质料给模子分，饱读吹它往分的向融合。具体来说，经营团队假想了多个维度的分规范。在图片质料面，使用HPSv2和UnifiedReward两个器具来评估图片的好意思不雅度和当然度。在笔墨渲染面，使用PaddleOCR识别生成图片中的笔墨，然后比较识别完结与标的笔墨的差距，差距越小分数越。在指示罢免面，使用个基于标的检测的励系统，检查生成的图片是否正确包含了请示词中条目的物体、数目、属和位置关系。扫数分数都被归化到0到1的规模内取平均值，行为终励。

强化学习阶段的锻真金不怕火分为两个小法子：先在512×512的分辨率下锻真金不怕火500步，快速擢升图片质料和指示罢免才气；然后在的960×960分辨率下再锻真金不怕火100步，擢升长文本渲染的质料。从实验数据来看，跟着强化学习步数的增多，模子在笔墨渲染的评测主张上稳步攀升：从监督微调扫尾时的71.1分，经过500步512分辨率锻真金不怕火后达到84.0分，再经过100步960分辨率锻真金不怕火后杰出擢升到87.3分，擢升幅度特别昭着。

值得提的是，UniAR的强化学习仅针对图片生成任务，并不触及图片剪辑和多模态贯通任务，这是刻下版块的个阶段选拔。

**六、现实阐扬：在多项测试中究竟作念到了什么进程？**

经营团队对UniAR进行了的测试，粉饰图片生成、图片剪辑和多模态贯通三个主要向。

在指示罢免才气测试面，经营团队使用GenEval这个门用来评估笔墨转图片指示罢免质料的基准测试。这个测试会条目AI生成包含特定物体、数目、颜、空间位置关系的图片，然后自动检测生成完结是否符条目。UniAR（在加入请示词重写的情况下）赢得了0.86的综分数，越了GPT-4o（0.84）以及门用于生成的Flux.1-dev（0.82）。在不加请示词重写的情况下，UniAR也达到了0.85，在扫数统模子中处于先位置。对比来看，BAGEL（另个盛名统模子）在加请示词重写后得0.88，是刻下已知分数的统模子，UniAR与其差距较小。

在笔墨渲染才气测试面，这是项让大多数图片生成AI都头疼的才气——要在生成的图片中准确呈现指定的笔墨内容，尤其是长文本。经营团队在OneIG-Bench（英文子集）和LongText-Bench（英文子集）上进行了测试。在OneIG-EN上，UniAR取得了0.873的分数，过了GPT-4o的0.857；在门针对长文本渲染的LongText-EN上，UniAR取得了0.917的分数，过了Gemini 2.5 Flash Image的0.869。这两项成绩标明UniAR在笔墨渲染这个传统难点上取得了特别有竞争力的阐扬。

在图片剪辑才气测试面，经营团队使用ImgEdit-Bench进行测试，这个基准涵盖了添加物体、融合属、索取元素、替换内容、移除物体、换布景、改变立场、混剪辑和动作类剪辑等多种图片剪辑任务。UniAR取得了3.73的综分数，过了门为图片剪辑假想的Flux.1 Kontext Dev（3.71），以及BAGEL（3.20）、OmniGen2（3.44）等统模子，仅低于GPT-Image-1 High（4.20）和门的Qwen-Image-Edit（4.27）。

在多模态贯通才气测试面，UniAR在OCR干系任务上阐扬隆起，OCRBench得分833，DocVQA得分91.4，InfoVQA得分70.0，均过了LLaVA-OV这门为贯通化的模子。在贯通基准MVBench上，UniAR得分62.3，也过了LLaVA-OV的56.7。不外，在MMMU这个侧重理和世俗学问的综测试上，UniAR得分44.3，与Qwen3-VL（69.6）等顶贯通模子比较仍有差距。经营团队分析，这主如果由于预锻真金不怕火时莫得引入纯笔墨数据，以及尚未对贯通任务进行强化学习化所致。

经营团队还门测试了UniAR视觉编码器自身的贯通才气，将其与其他主流视觉编码器进行了横向比较。完结夸耀，UniAR的视觉编码器（基于SigLIP2矫正的版块）在TextVQA、DocVQA和ChartQA三项笔墨干系的视觉问答任务上达到了水平，永诀得到63.1、38.0和26.8分，过了原版SigLIP2、AIMv2和CoMP-SigLIP等竞争敌手，考据了多档次特征融战略的有。

**七、个只怕惊喜：AI运转"对我方的创作细腻"**

在作念多样消融实验（逐测试各个假想选拔的果）时，经营团队发现了个莫得特别刻意假想、但当然浮现出来的风趣风趣才气。

由于UniAR使用了统的视觉辞书，它生成的图片和它贯通的图片使用的是探讨的"语言"。这意味着，在同个对话陡立文中，UniAR不错成功"读懂"我方刚刚"写出来"的图片，不需要任何罕见的重新编码法子。

经营团队假想了个测试场景：给UniAR个隐隐的花式，比如"个漂亮的花瓶摆在桌子上，墙上挂着几幅画"，让它生成张图片；然后在同个对话中，紧接着问它"花瓶和桌子之间有什么"、"墙上挂了几幅画"这类对于生成图片细节的问题。

UniAR奏效地回复了这些问题，而且谜底符它我方生成的图片内容——它回复"花瓶和桌子之间有个圆形编织的餐垫"，况且"墙上挂了两幅画"。这两个细节是由UniAR在生成图片晌自主决定的，既莫得在原始请示词中指定，也莫得资格任何重新编码的过程。

这评释UniAR着实兑现了"分享陡立文"的标的：生成和贯通在同个暗示空间中进行，AI不错像个东谈主回忆我方刚才作念了什么样，成功贯通我方的生成完结。而Janus-Pro和BAGEL等依赖双重辞书的模子则法作念到这点——它们需要先把生成的图片重新用贯通编码器编码，才气回复对于生成图片的问题。

**八、系统有多快、锻真金不怕火资本若何？**

UniAR在理率上的势特别显赫，这主要获利于前边提到的并行位元估量和压缩比假想。

在生成张1024分辨率图片所需的时辰上，经营团队在探讨的A100 GPU上（不使用分类器引本领）进行了对比测试。Janus-Pro需要101.9秒，X-Omni需要119.7秒，而UniAR在不使用解码器分辨率时只需要53.5秒，使用解码器分辨率时是只需要13.0秒——比Janus-Pro快了快要8倍。这种巨大互异主要来自于估量法子数目的减少：Janus-Pro和X-Omni需要估量4096个视觉词语，而UniAR只需要估量1024个（无用分辨率）或256个（用分辨率）。

在锻真金不怕火率上，使用打破视觉词语（而非畅达的特征向量）的个附加势是：图片不错被预先处理成紧凑的二进制面容存储起来，需在每次锻真金不怕火时重新揣测。这使得预锻真金不怕火的吞吐量比使用畅达特征的案擢升了约30（在8K陡立文长度下，每次迭代时辰从35.4秒裁汰到24.5秒）。

通盘系统的锻真金不怕火总浪掷约3.3万GPU小时，其中预锻真金不怕火（8K阶段）消耗约1.9万GPU小时，预锻真金不怕火（32K阶段）消耗约1万GPU小时，监督微调消耗约2000GPU小时，强化学习消耗约1900GPU小时。

与左近的竞争敌手X-Omni比较，UniAR使用了范畴小的视觉编码器（4亿参数对比X-Omni的10亿参数）和小的扩散解码器（25亿参数对比X-Omni的120亿参数），但在多数测试主张上仍能达到或过X-Omni的水平，这评释UniAR在参数率上具有定势。

**九、还有什么没作念到，未斗殴哪走？**

经营团队在论文中坦率地指出了刻下版块的几个局限。

由于资源限定，预锻真金不怕火阶段莫得加入纯笔墨数据，这致模子在需要世俗话言学问和理才气的任务（如MMMU）上阐扬不如门的视觉语言模子。强化学习目下只针对图片生成任务，而图片剪辑和多模态贯通任务尚未从强化学习中获益。此外，在好意思不雅度面，UniAR的图片生成质料与GPT-Image-1等顶的交易模子比较仍有定差距。

对于往常的改进向，经营团队盘算通过扩大锻真金不怕火数据范畴和模子参数范畴来杰出擢升能，探索好的数据混比例（特别是视觉数据和笔墨数据的搭配），开采针对不同域（好意思不雅度、指示罢免、笔墨渲染）的门励模子，以及顽强化学习膨大到图片剪辑和多模态贯通任务上。

说到底，UniAR这项经营想作念到的事情，等于让AI像东谈主样，用同套感知体系去贯通宇宙，又用相同的体系去抒发和创造——看图和绘制不再是两件事，而是同种才气的两面。这个标的目下一经迈出了迤逦的步，但离着实的统多模态智能还有特别的路要走。对于温煦AI多模态才气发展的读者来说，这项来自复旦大学和阿里巴巴通义千问团队的经营提供了个值得不时温煦的本领向。如果但愿入了解本领细节，可通过arXiv编号2606.18249查阅齐备原文。

---

**Q&A**

Q1：UniAR为什么要用个视觉辞书同期处理看图和绘制？

A：传统法中，"看图"需设施略层语义，"绘制"需要保留低层细节，这两种需求不同，是以大多数系统用两套立的视觉辞书永诀处理。但这么来，AI画出来的图和它能看懂的图使用不同的"语言"，生成后须重新编码才气贯通我方画了什么。UniAR通过多档次特征融和二进制量化，假想出套同期保留层语义和低层细节的统辞书，从根蒂上科罚了这个割裂问题。

Q2：UniAR的并行位元估量是如何提速率的？

A：传统自追想法每次只估量个视觉词语，生成张图片需要大批法子。UniAR的并行位元估量机制每次同期估量个2×2格子中多个位置、多个档次的二进制代码，特别于把多个立的估量法子包成步完成。配32倍的空间压缩比，张512×512图片只需256步即可生成。若再使用解码器分辨率，1024×1024的清图片仍只需256步，比同类模子快近8倍。

Q3：UniAR在强化学习阶段具体是如何分的？

A：UniAR的强化学习使用了多维度的分体系。图片质料面用HPSv2和UnifiedReward评估好意思不雅度和当然度；笔墨渲染面用PaddleOCR识别生成图片中的笔墨，与标的笔墨揣测剪辑距离；指示罢免面用标的检测器具检查图片是否包含请示词中条目的物体、数目、属和关系。扫数分数归化到0到1后取平均值，行为终励信号来化模子。手机：18631662662（同微信号）相关词条:不锈钢保温施工     塑料管材生产线     钢绞线厂家    玻璃棉板    泡沫板橡塑板专用胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。