ControlNeXt是由香港中文大学和商汤科技联合开发的新一代AI图像和视频可控生成框架。作为ControlNet的进阶版本，ControlNeXt在保持高质量生成内容的同时，大幅提升了效率和灵活性，成为更加强大而高效的控制引导工具。 移除了ControlNet中的庞大控制分支，替换为 ...

这意味着，无论你的扩散模型后端（如 DiT 或 UNet）训练得多么完美，甚至达到了理论上的潜空间最优拟合，最终生成的图像在像素层面的控制对齐度，依然被 AE 这一关的“漂移”给锁死了。

大家可能都听过最近AI绘画领域的又一次突破：ControlNet。 顾名思义，ControlNet是用来“控制”生成图的；在ControlNet出现之前，希望AI生成指定动作的人物图非常困难，而ControlNet技术的出现一举解决了这个难题，不仅能控制人物身体姿势，甚至可以控制手势。

为解决甲虫后翅图像采集困难、训练数据集不足等问题，研究人员开展利用 Stable Diffusion 和 ControlNet 生成叶甲后翅图像的研究。结果显示合成图像保真度高，该研究为机器学习提供形态图像，展示了新方法的广泛适用性。 在昆虫的奇妙世界里，翅膀无疑是它们 ...

“FLUX在线版”，新增一系列重磅功能！ ControlNet、LoRA等重要模块都悉数到齐，而且开箱即用，无需自行配置工作流。 甚至还可以在线训练自己的LoRA模型，并通过链接进行分享。 Stale Diffusion原班人马打造的最强绘图模型——FLUX上线之后，在线推理服务平台fal.ai ...

“最强绘图模型”FLUX深夜更新，一口气连发四款工具！ 用官方的话说，这次的更新给FLUX“带来了更多的控制方式和可操作性”。 别看官方说得简单，实际效果可是要震撼得多。 变换工具Redux，可改变人物动作、画面视角/风格。 这些工具分为dev和pro两个版本 ...

大部分的高质量视频生成模型，都只能生成上限约15秒的视频。清晰度提高之后，生成的视频时长还会再一次缩短。 这就让尝试AI视频创意的创作者们非常苦恼了。要想实现创意，必须使用分段生成，结合首尾帧，不仅操作起来很麻烦，而且需要来回抽卡来保证 ...

The availability of ControlNet Models for Stable Diffusion XL (SDXL) on Automatic1111 has opened up a new realm of possibilities for AI enthusiasts and professionals alike. This article aims to ...

尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础，但令人惊讶的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许背景或者其他图层的图像通过这些透明部分显示出来）生成领域获得的关注极少。这与市场的实际需求形成了鲜明 ...

RelaCtrl团队 投稿至 凹非寺量子位 | 公众号 QbitAI 现有的可控Diffusion Transformer方法，虽然在推进文本到图像和视频生成方面取得了显著进展，但也带来了大量的参数和计算开销。 同时，由于这些方法未能有效考虑不同Transformer层之间控制信息的相关性，导致资源 ...

On Sunday, a Reddit user named “Ugleh” posted an AI-generated image of a spiral-shaped medieval village that rapidly gained attention on social media for its remarkable geometric qualities. Follow-up ...