Midjourney 近期推出了一项名为 “Omni-Reference”(全向参考)的新功能,为用户带来了更大的创作自由。新功能不仅是 V6版本中 “角色参考” 功能的升级,更是给用户在创作过程中对图像元素的精准控制。
核心功能:全向参考与多元素支持
Omni-Reference为用户提供了前所未有的创作控制力。主要亮点:
1、精准元素指定:
用户可上传参考图像(如人物、动物、武器或车辆),通过提示明确要求“将此元素放入图像”,生成结果高度匹配参考特征。
2、多样化支持:
支持人物、动物、非人类生物、道具、车辆、物体,甚至整套角色造型或风格元素,适用范围远超V6的角色参考。
3、多对象生成:
支持单张图像包含多个对象(如两个角色)或上传多张参考图像,提示中明确描述即可生成复杂场景。
4、灵活权重调整:
通过“全向权重”(--ow)参数(范围0-1000,默认100)控制参考图像的影响强度,低权重(如--ow25)适合风格转换(如照片转动漫),高权重(如--ow400)确保面部或服装细节高度一致。
5、生态兼容性:
无缝集成个性化(Personalization)、风格化(--stylize)、风格参考(--sref)与情绪板(Moodboards),支持多模态创作。
技术架构: V7专属与多模态融合
Omni-Reference作为Midjourney V7的旗舰功能,依托最新的生成模型与图像处理技术。其核心技术包括:
1、V7模型支持:
仅在Midjourney V7(需手动切换至V7模式)上运行,结合235B参数模型(推测)提升图像细节与提示遵循度,优于V6.1的默认设置。
2、多模态参考系统:
通过CLIP-ViT与潜在扩散模型(LDM)解析参考图像,提取人物、物体或风格特征,支持跨模态生成(如实拍转插图)。
3、动态权重控制:
Omni-Weight(--ow)基于注意力机制动态调整参考影响,结合--stylize与--exp参数优化风格与表现力,避免高权重下的质量下降。
4、多对象解析:
利用分割模型(如SAM)与多提示权重(--iw、--sref URL1::2)处理复杂场景,确保多个参考对象在生成图像中的准确呈现。
5、MCP潜力:
支持Model Context Protocol(MCP),未来可与Qwen-Agent或F-Lite集成,扩展至动态场景生成与工具调用。
应用场景:从艺术创作到商业设计
Omni-Reference的强大功能使其在多种场景中展现出广泛潜力。主要应用:
1、叙事艺术与影视:
生成一致性角色(如“科幻电影中的机器人”)或物体(如“中世纪剑”),适配故事板设计与概念艺术,助力Unity或Blender工作流。
2、游戏开发:
快速生成统一风格的角色、道具或场景(如“RPG游戏中的龙与城堡”),缩短资产制作周期,适合独立开发者与AAA工作室。
3、广告与电商:
将产品(如手表)或品牌Logo融入多样化场景(如“沙漠日落”),提升Shopify或Instagram营销视觉吸引力。
4、数字艺术与NFT:
创作一致性角色或风格化物体(如“蒸汽朋克飞船”),适配OpenSea等平台,满足收藏家需求。
5、教育与虚拟现实:
生成历史场景(如“古罗马战士与战车”)或VR交互对象,增强教学与沉浸式体验。
上手指南:快速部署与创作
Omni-Reference现已通过Midjourney V7(需Standard或Pro订阅)在Web与Discord平台开放,暂不支持Fast Mode、Draft Mode或Vary Region(V6.1)。用户可按以下步骤上手:
1、切换V7模式:
在Midjourney Web界面(midjourney.com)设置中选择V7,或在Discord输入--v7。
2、上传参考图像:
Web界面点击Imagine Bar的图像图标,拖拽PNG/JPEG图像至“Omni-Reference”区域;Discord输入--oref <图像URL>(需先上传至Discord或Imgur)。
3、设置提示与权重:
输入描述性提示(如“战士持剑站在雪山,赛博朋克风格”),添加--ow100(默认)或调整至25-400,结合--sref或--stylize增强风格。
4、多对象生成:
上传含多个对象的图像或多张图像,在提示中明确描述(如“战士与龙”),确保对象特征清晰。