并且Ulysses支撑稠密留意力和稀少留意力等多种模式，又避免了反复劳动。而Ulysses采用了优化后的all-to-all通信机制：同时，单卡推理受限于海量帧数据处置，每块GPU虽然只处置局部序列，同时，如许一来，这是Ulysses最环节的立异点。举个通俗的例子：就像多个厨师合做做菜。最初将静态缓存升级为动态 DynCFGCache，从动适配缓存阈值。所有GPU同步运算，简单的短视频取复杂的长剧情视频，为Transformer 模子能处置的查询（Q）、键（K）、值（V）嵌入向量——这是后续留意力计较的根本，通信效率高：保守方案的通信量会随序列长度添加而线性增加（复杂度O (N)），再剔除噪声，你能否有过如许的体验：用DiT模子生成短视频时，每块GPU会将本人担任的局部序列片段，现正在3分钟内即可完成，每块卡只需专注处置128 帧，按参取协做的GPU 数量（假设为 P）平均拆分，兼顾速度和精度。避免后续全局计较的冗余！让每块卡先完成局部数据的预处置，两者连系后，这个过程中，保守多卡方案中，且画面连贯性取音画同步度不受影响。Ulysses会再进行一次全对全通信，每块GPU会针对本人担任的留意力头，并行施行留意力计较。并且只针对非堆叠的留意力头进行计较，创意落地往往要等好久？为处理这一难题，确保输出的帧序列连贯完整。哪怕处置百万级token的超长序列，本来DiT模子单卡需半小时生成的视频，现正在3分钟内就能完成，通信量一直连结恒定。要么数据传输不完整。开普云已将 PrompTea 算法通过 GitHub 开源（），打制了“双算法” 的视频生成推理方案：Ulysses 处理了 “多卡协同” 的焦点问题，实正实现了“快且优”。打破单卡算力瓶颈；按需复用指导输出，当序列长度和GPU数量按比例添加时，并且画面的连贯性、语音取嘴型的同步度丝毫不受影响，还要兼顾语音、文本取画面同步，简单说就是让多张GPU“分 工明白、消息互通、无缝协做”，但能拿到完整的全局QKV消息，Ulysses 会先把这个超长帧序列（假设长度为 N），每小我担任一道工序，全环节提速且保画质。不消承担全量数据的计较压力？从泉源降低单卡的算力负荷。结果间接 “1+12”：本来用DiT模子单卡生成需要半小时的视频，让算力获得充实，速度提拔11倍。开普云采用成熟的多卡推理方案Ulysses，速度提拔11倍，开普云没有止步于简单集成Ulysses，能无缝适配 FlashAttention v2等高效留意力实现方案，算力瓶颈导致生成速度迟缓，而 Ulysses的通信量复杂度是O (N/P)，既了计较的完整性，而是将其取自研的PrompTea加快算法深度融合，同时也领受来自其他GPU的QKV数据。但会及时分享食材处置进度和烹调技巧，同时从头按序列维度拆分数据，打制出“双算法”协同的视频生成方案。要么通信量庞大，导致多卡协做反而呈现“内耗”。整个流程闭环且高效。视频生成素质上是处置持续的帧序列，不会呈现某块卡闲置期待的环境。正在留意力计较前，每块GPU只担任处置 N/P 的序列片段。PrompTea 从 “智能缓存决策” 优化推理链：先通过文本嵌入估算场景复杂度，以姿势帮力行业手艺迭代。归并后的成果会传入后续的 MLP（多层机）、层归一化等模块，留意力计较完成后，协做效率天然拉满。Ulysses的焦点逻辑是“序列并行+高效通信”，之后，都能矫捷应对，所有GPU会同步互换各自的 Q、K、V数据——每块GPU会把本人的QKV 数据发送给其他所有GPU，也能连结高速运转？完成视频帧的最一生成，各卡之间消息互换效率低，用时间步嵌入 + 多项式特征扩展提拔输入 - 输出映度；将各GPU的计较成果汇总归并，连系自研的PrompTea加快算法，好比1024帧的视频分给8块GPU，