浙江短视频内容制作浙大研究突破：让短视频模型“变身“长视频生产机器

用户投稿 2025年09月24日 18:25:02 81 0

浙大研究突破：让短视频模型"变身"长视频生产机器

这项由浙江大学CCAI实验室的陆宇和杨易教授团队开展的研究发表于2025年6月30日的IEEE模式分析与机器智能汇刊（IEEE Transactions on Pattern Analysis and Machine Intelligence），论文编号为arXiv:2507.00162v1。有兴趣深入了解的读者可以通过项目网站https://freelongvideo.github.io/访问完整研究成果和演示视频。

当下的AI视频生成技术确实令人惊叹，像Wan2.1和LTX-Video这样的模型能够根据文字描述生成非常逼真的短视频。但有一个让人头疼的问题：这些模型就像是只会做小菜的厨师，一旦要求它们制作大餐（生成更长的视频），结果往往让人失望。画面会变得模糊，动作会出现奇怪的跳跃，就好像厨师手忙脚乱地把几个小菜胡乱拼凑在一起，味道自然大打折扣。

这个问题的根源其实很好理解。当前的视频生成模型就像是在烹饪学校里只学过做5分钟快手菜的学生，突然被要求去准备一顿需要20分钟的正式晚餐。虽然基本的烹饪技巧都会，但缺乏处理更复杂、更长时间烹饪过程的经验。具体到技术层面，这些模型在训练时只"见过"81帧或121帧的短视频，当被要求生成324帧甚至更长的视频时，就会出现各种问题。

浙江大学的研究团队通过深入分析发现了一个有趣的现象。他们就像是食品科学家一样，仔细分析了这些"失败大餐"的成分。结果发现，问题主要出现在"调料"层面——也就是视频的高频成分。简单来说，视频可以分为两种成分：低频成分负责整体的结构和连贯性，就像菜品的主要食材；高频成分负责细节和精致感，就像各种调料和装饰。当模型试图生成长视频时，主要食材（低频成分）还能保持基本稳定，但调料（高频成分）就开始变质了。

研究团队发现，当视频长度增加到原来的4倍时，高频成分的失真率竟然高达95%。这就解释了为什么我们会看到长视频中的猫毛变得模糊、树叶失去细节，整体画面看起来像是蒙了一层雾。

为了解决这个问题，研究团队提出了一个巧妙的解决方案，他们称之为FreeLong。这个方案的核心思想就像是开设一家特殊的餐厅，专门负责把快手菜升级为精致大餐。

一、双厨师协作系统：FreeLong的核心策略

FreeLong的工作原理可以比作一个双厨师协作系统。第一位厨师是"全局大厨"，负责统筹整个长视频的制作，确保从头到尾的风格一致、故事连贯。第二位厨师是"细节专家"，专门负责处理局部的精致细节，确保每个小片段都有足够的清晰度和丰富感。

这个双厨师系统的工作流程是这样的：首先，全局大厨会处理整个视频序列，建立一个稳定的基础框架，就像确定整顿饭的主要口味和基调。然后，细节专家会专注于处理相对较短的片段，就像在每道菜上精心添加调料和装饰。

但关键的创新在于，FreeLong不是简单地把两位厨师的作品混合在一起，而是采用了一种叫做"频谱融合"的技术。这就像是有一位超级品鉴师，能够准确识别哪些味道应该来自全局大厨（低频成分），哪些味道应该来自细节专家（高频成分），然后完美地融合在一起。

具体来说，这个融合过程是在"味觉频谱"层面进行的。系统会把视频转换到一个特殊的分析空间，就像把菜品分解为不同的味觉层次。然后，它会从全局大厨的作品中提取稳定的基础味道（低频全局特征），从细节专家的作品中提取精致的调料味道（高频局部特征），最后重新组合成一道既有整体协调性又有丰富细节的完美大餐。

二、频率失真的科学发现

研究团队的另一个重要发现是对频率失真现象的量化分析。他们发现，当模型试图生成比训练时长更长的视频时，会出现一种系统性的"味觉失调"。

通过使用信噪比这个技术指标（可以理解为"味道纯净度"的衡量标准），研究人员发现了一个令人担忧的趋势。当视频长度增加时，低频成分的"纯净度"基本保持稳定，从原始长度的1.0只下降到8倍长度时的0.97。但高频成分的"纯净度"却急剧下降，从1.0暴跌到8倍长度时的0.6。

这种现象就像是一位厨师在制作大份量菜品时，主要食材的品质还能维持，但调料的配比完全失控了。结果就是菜品失去了应有的精致感和层次感。

更有意思的是，研究团队还发现了"注意力散焦"现象。他们通过分析模型的注意力图谱发现，当处理81帧短视频时，模型的注意力呈现清晰的对角线模式，说明相邻帧之间有很强的关联性。但当处理648帧长视频时，注意力图谱变得杂乱无章，就像厨师在处理复杂菜品时注意力分散，无法专注于重要的烹饪步骤。

三、FreeLong++：多厨师精细化管理系统

在FreeLong的基础上，研究团队进一步开发了FreeLong++，这可以比作是从双厨师系统升级为多厨师精细化管理系统。

FreeLong++的核心理念是认识到不同时间尺度的视频内容需要不同的专业技能。就像制作一顿复杂的西式套餐，你需要开胃菜专家、主菜大厨、甜点师傅，每个人都有自己的专业领域和最佳工作节奏。

在FreeLong++系统中，研究团队设计了多个"专业厨师"，每个都负责不同的时间窗口。比如，对于4倍长度的视频生成，系统会启用三个专业分支：短期专家（窗口大小为原始长度）、中期专家（窗口大小为2倍原始长度）、长期专家（窗口大小为4倍原始长度）。

短期专家就像是负责精细装饰的糕点师，专注于捕捉快速动作和精细纹理。中期专家类似于负责调味的主厨，处理中等时间尺度的动作模式。长期专家则像是负责整体规划的总厨，确保整个视频的全局一致性。

这种多厨师系统的巧妙之处在于，每个专家都在自己最擅长的"频率带宽"内工作。根据奈奎斯特定理（一个信号处理的基本原理），不同时间窗口的专家天然地对应不同的频率范围。窗口最大的长期专家处理最低频的全局变化，窗口最小的短期专家处理最高频的快速细节。

四、多频段光谱融合技术

FreeLong++的另一个创新是多频段光谱融合技术。这就像是拥有一位超级调酒师，能够精确地混合不同专家制作的"原料"，确保最终的"鸡尾酒"既有层次又协调。

在这个过程中，系统首先把每个专家的输出转换到频率域，就像把不同的酒液分解为不同的香味成分。然后，系统为每个专家分配特定的频率带宽，确保他们各司其职不互相干扰。最后，通过精心设计的"调配公式"，把所有成分完美融合。

这种融合策略的科学依据是，不同时间尺度的动态变化在频率域中有天然的分离特性。慢变化对应低频，快变化对应高频。通过这种方式，FreeLong++能够同时保持长视频的全局一致性和局部精细度。

五、SpecMix噪声初始化技术

为了进一步提高长视频生成的质量，研究团队还开发了一种叫做SpecMix的噪声初始化技术。这可以比作为厨师提供"标准化原料包"，确保制作过程从一开始就有良好的基础。

传统的随机噪声初始化就像是给厨师一堆完全随机的原料，可能导致制作过程中的不一致性。SpecMix技术则更像是提供一个经过精心配制的"半成品包"，其中既有保证一致性的基础成分，也有提供变化性的创新元素。

具体来说，SpecMix会创建两种类型的噪声：一种是"一致性基线"，通过滑动窗口重排技术确保低频内容的连贯性；另一种是"随机残差"，提供必要的局部变化。然后，系统会根据视频中每一帧在整个序列中的位置，智能地混合这两种成分。

六、实验验证与性能表现

研究团队在多个先进的视频生成模型上验证了他们的方法，包括Wan2.1和LTX-Video。实验结果就像是一场烹饪比赛的评分结果，FreeLong++在几乎所有评价维度上都获得了最高分。

在主观一致性方面，FreeLong++达到了98.70分（满分100），相比直接生成长视频的98.10分有所提升，更是远超滑动窗口方法的94.64分。在背景一致性上，FreeLong++得到97.83分，显著优于其他方法。在图像质量方面，FreeLong++的得分为68.82，比直接生成方法的60.52分提升了13.7%。

更令人印象深刻的是，FreeLong++不仅在4倍长度视频生成上表现出色，在8倍长度视频生成上同样保持了优异的性能。这就像是一位厨师不仅能把5分钟的快手菜完美升级为20分钟的精致菜品，还能进一步制作40分钟的复杂套餐。

七、多提示词视频生成能力

FreeLong++还展现了强大的多提示词视频生成能力。这就像是一位厨师能够在一顿饭中完美地融合不同的菜系风格，创造出连贯而富有变化的用餐体验。

在实验中，研究团队展示了一个精彩的例子：一辆白色SUV从阳光明媚的土路上出发，途经雪路，最后驶向星空下的夜路。整个过程中，车辆保持完美的连续性，但场景却发生了戏剧性的变化。这种能力对于故事性视频制作特别有价值，因为它能够在保持视觉连贯性的同时支持情节的发展。

相比之下，其他方法包括一些商业化的视频生成系统如Kling和Pika，往往在场景转换时出现突兀的跳跃或视觉不连贯的问题。FreeLong++通过其多频段融合机制，能够智能地处理这种复杂的场景变化需求。

八、长距离控制能力

FreeLong++的另一个突出优势是其出色的长距离控制能力。这就像是一位经验丰富的舞蹈指导，能够根据复杂的编舞要求，指导演员完成长达数百个节拍的连贯表演。

在姿态控制实验中，研究团队使用了长达320帧的姿态序列来指导视频生成。结果显示，FreeLong++能够忠实地遵循整个姿态序列，生成的人物动作自然流畅，身份保持一致，背景稳定协调。相比之下，直接生成方法往往在较长的控制序列中出现身份漂移、动作失真或背景不一致的问题。

在深度图控制实验中，FreeLong++同样表现出色。系统能够根据提供的深度图序列，准确地控制场景的空间布局和摄像机运动，生成具有正确透视关系和空间连贯性的长视频。

九、计算效率与实用性考量

尽管FreeLong++的功能强大，但研究团队也充分考虑了实用性问题。他们开发了稀疏注意力机制来优化计算效率，就像是在厨房中引入了智能化设备，既保证了菜品质量，又提高了制作效率。

通过对全局分支使用稀疏关键帧注意力，系统能够在基本不影响质量的情况下，将推理时间从96秒降低到74秒，效率提升约23%。这种优化策略的核心思想是，长距离的时间关系往往具有冗余性，只需要选择关键帧就能有效捕捉全局上下文。

此外，FreeLong++采用了无需训练的设计理念，这意味着它可以直接应用到现有的视频生成模型上，无需额外的数据收集或模型微调。这大大降低了技术应用的门槛，使得更多的研究者和开发者能够受益于这项技术。

十、技术创新的理论基础

FreeLong++的成功不是偶然的，它建立在坚实的理论基础之上。研究团队通过深入的频率分析，揭示了长视频生成中的本质问题：不同频率成分需要不同的处理策略。

低频成分代表视频中的全局结构和缓慢变化，这些内容相对容易保持一致性。高频成分代表精细细节和快速变化，这些内容在长序列生成中最容易失真。中频成分则介于两者之间，代表中等时间尺度的动态变化。

基于这种理解，FreeLong++设计了多尺度注意力解耦机制，让不同的分支专门处理不同频率范围的内容。这就像是组建了一个专业化的交响乐团，每个乐器组都负责特定的音频范围，最终合奏出和谐完整的音乐。

这项研究的另一个重要贡献是提供了长视频生成问题的定量分析框架。通过引入信噪比分析和频域分解，研究团队为这个领域建立了更科学的评估方法。这种分析方法不仅解释了为什么现有方法会失败，还为未来的改进指明了方向。

说到底，这项来自浙江大学的研究为我们展示了一种全新的思路：不是通过大量训练来教会AI生成长视频，而是通过巧妙的工程设计来充分利用现有模型的能力。这就像是一位聪明的厨师，不需要重新学习烹饪技巧，而是通过改进工作流程和团队协作来制作更复杂的菜品。

FreeLong++的成功证明了"小而巧"的技术创新同样能够产生巨大的价值。在AI技术日新月异的今天，这种注重工程智慧和理论洞察的研究方法值得更多关注。对于普通用户而言，这意味着我们可能很快就能用上能够生成高质量长视频的AI工具，而且这些工具的计算成本相对较低，应用门槛也不会太高。

随着这项技术的进一步发展和推广，我们可以期待看到更多创新应用的出现。无论是教育视频制作、广告创意、还是个人娱乐内容创作，FreeLong++都有望为相关领域带来革命性的改变。同时，这项研究也为AI视频生成技术的未来发展提供了新的思路和方向，相信会启发更多优秀的后续研究。

Q&A

Q1：FreeLong++是什么？它能做什么？ A：FreeLong++是浙江大学开发的一种AI技术，能够让原本只能生成短视频的AI模型"变身"生成4-8倍时长的长视频，而且不需要重新训练模型。它就像给短视频AI模型装上了一个"时间扩展器"，让5秒的视频能变成20秒甚至40秒，画质和连贯性都很好。

Q2：FreeLong++生成的长视频质量怎么样？会不会很模糊？ A：FreeLong++解决了传统长视频生成中画面模糊、动作不连贯的问题。实验显示，它生成的长视频在图像质量上比直接生成方法提升了13.7%，主观一致性得分达到98.70分。简单说就是画面清晰、动作流畅、前后连贯。

Q3：普通人能使用FreeLong++技术吗？有什么要求？ A：FreeLong++采用无需训练的设计，可以直接应用到现有的视频生成模型上。虽然目前还主要在研究阶段，但由于其设计理念，未来集成到消费级视频生成工具中的门槛相对较低。普通用户可以通过项目网站https://freelongvideo.github.io/了解更多信息。

《中国短视频之夜》在杭州举行，打造“内容创作-产业孵化

7 月9日，由中央广播电视总台、中共浙江省委宣传部和杭州市人民政府共同推出，国家（杭州）短视频基地、总台央视频、总台浙江总站、杭州市委宣传部联合主办的《中国短视频之夜》 在杭州良渚新城梦栖小镇举行。活动围绕“短视频链接千行百业，展现千姿百态” 的核心主题，集“荣誉之路”红毯与晚会于一体，以国家（杭州）短视频基地2025年度相关荣誉颁布为重要环节，全面呈现“短视频+” 产业的蓬勃生态与创新活力，立体化展现《中国短视频大会》IP与杭州城市生态融合发展的创新成果，推动中国短视频建立起开放共生、可持续发展的“创业生态圈”。

活动当天，#杭州一座被短视频偏爱的城市#、#92岁游本昌仍在学拍短视频#、#92岁游本昌送给年轻人三颗心#等话题登上热搜，引发网友热议。#中国短视频之夜#等相关话题阅读量超3000万 次，相关视频播放量超800万 。

阵容超强！跨领域头部力量汇聚杭州

“中国短视频之城”名片再度焕新刷亮

《中国短视频之夜》盛典现场共颁发“国家（杭州）短视频基地2025年度荣誉推广人”、“国家（杭州）短视频基地联合推广机构”等多项荣誉。中国科学院院士、地质学家刘嘉麒，故宫博物院学术委员会主任单霁翔，中国工艺美术大师朱炳仁，游泳运动员孙杨，“一条”创始人徐沪生，灵伴科技创始人兼CEO祝铭明、“有好戏”创始人何君、表演艺术家游本昌孙女游盈绮等短视频跨界名人、知名创业者、头部创作者以演说的形式分享了“短视频+”实践心得，生动呈现出短视频与科普、创业、文旅、农业、体育、时尚、工艺、科技、传统文化等内容产业以及杭州这座城市的共振成果，通过“成果展示-经验分享-创新合作”的形式加速推进“短视频链接千行百业”。

值得一提的是，活动现场与表演艺术家游本昌进行了连线。92岁高龄的游本昌以“新人创作者”身份再出发，用永不褪色的热情在短视频里继续演绎着精彩人生。现场，游本昌还为年轻人送上“三颗心”——好奇心、平常心、欢喜心，诚挚的祝福与期盼感动全场。

硕果累累！签约落户与扶持计划双擎驱动

总台携手杭州布局“短视频+”产业新生态

总台携手杭州在《中国短视频之夜》推动多项合作促成，旨在进一步激发“短视频+”产业“向新力”。在《中国短视频之夜》“杭州时间”环节，国家（杭州）短视频基地迎来了“新人”落户。“新农人许多”、“求索映社”、“卡皮巴拉小黄豚”等9位《中国短视频大会》第二季创作者代表现场完成落地签约，进一步增加了国家（杭州）短视频基地的人才储备厚度，提升“中国短视频之城”发展活力，助力杭州在短视频行业的影响力稳步提升。

同时，现场还启动了“短视频链接千行百业”新生态扶持计划和国家（杭州）短视频基地联合推广计划。两项计划将联动多方力量，一方面助力优质内容创作、探索数字科技应用、推动“短视频+直播”公益生态建设、聚焦AIGC技术创新，助力短视频产业生态向更深层次、更广领域拓展；另一方面，以“小屏幕”透视“大时代”，用“微镜头”记录“新气象”，让短视频成为展现中国人民创新活力、奋斗精神的全新窗口，为产业经济、社会发展深度赋能。