用户只需要输入一段话,20秒左右,就能生成两版UI设计稿......9月20日,在云栖大会现场,Motiff妙多研发负责人樊锴演讲分享了AI生成UI功能的最新进展及开发历程,强调尽快找到TPF(技术产品契合度)、重视数据积累、完善后台开发体系,都是AI功能落地的关键因素。
Motiff妙多研发负责人樊锴演讲现场
生成式AI是2024年云栖大会最受关注的议题之一,Motiff妙多AI生成UI功能的落地,标志着设计工具从效率工具向生产力工具的转变。“我们希望 Motiff妙多不止于设计领域的 Copilot, 更能成为 Autopilot,能直接完成日常设计任务,甚至生成完整的设计稿。”樊锴表示。
Motiff妙多于今年6月面向全球发布,开创了界面设计领域的多个AI功能。开发全球领先的AI功能面临诸多技术挑战:如何让AI成为真正可用的生产力、创作兼具逻辑性和艺术性的UI设计稿?大模型的能力边界在哪、如何扬长避短?樊锴在演讲中详细分享了背后的工程难点和经验。
Motiff妙多能生成用户所需的各式各样的界面,生成的设计稿还可在Motiff妙多的编辑器中不断调整优化。
锁定应用场景,加速达成技术产品契合度
在AIGC领域,不同于常见的文本生成或图片生成任务,UI 生成非常独特。这是因为UI设计既需要保证严谨的产品逻辑,又要具备像素级的精确程度,还要兼具美观的视觉效果。这对技术能力提出了相当高的要求。
AI生成UI可由AI从零开始创建所有页面内容,这背后有多种技术路径,但生成效果均不理想。樊锴举例称,基于扩散模型的文生图技术可以生成设计图片,但在像素级别的布局控制和内容生成能力上相对欠缺。另一些方法,如生成HTML网页代码再转为设计稿,同样面临细节处理能力不足的问题。
对于AI应用来说,尽快找到TPF(技术产品契合度)尤为关键。“相比于传统软件开发,AI应用的底层技术不确定性高,战略上用户需求驱动,但在战术上产品设计严重依赖于技术可行性。”樊锴在会上表示,关键在于尽快找到最有可能被实际使用的场景,更早得到用户反馈。
生成一张设计稿,需要兼顾整体结构、页面内容和UI细节三大方面。设计稿需要包含导航栏、搜索框、内容列表等模块,并匹配合适的文字、图片、图标等内容,同时呈现良好的视觉效果。通用大模型普遍擅长生成整体结构和页面内容,但对于 UI 细节控制还有所不足。
因此,为大模型寻找合适的任务成为解决问题的关键。“让大模型专注于其擅长的领域,即生成页面的整体结构和内容。在细节把控上,通过预定义的组件库来保证美观。”樊锴表示。组件库是大量组件和设计规范的集合,基于组件库的生成方案也更容易支持自定义组件。这不仅能够覆盖大部分UI设计场景,还能满足用户对个性化和灵活性的需求。
这也是面向未来的技术方案。“随着软件开发的成本降低,未来应用场景会更个性化,也需要更灵活的交互设计,信息庞杂的交互设计页面反而会减少。”樊锴判断。
筑成数据护城河,率先实现设计Autopilot
即使是基于组件库的方案,现有通用大模型仍难以生成高质量的UI设计稿。这是因为通用大模型并不擅长UI设计,也难以理解组件库。为了呈现多样化的效果,组件库包含大量不同类型的组件。以列表为例,就有上百种相似的样式,通用大模型难以分辨其细微差别。
“核心还是在于让大模型充分理解UI设计,需要有专门的领域大模型。“樊锴表示。Motiff妙多近期正式发布了其自研的国内首个UI多模态大模型,经过大量UI领域的优质数据训练,该模型在多个UI任务表现上显著超越GPT-4o等通用大模型,能灵活地根据上下文理解界面元素,达到“设计专家”水平,最接近人类对UI界面的理解和表述结果。
在自研大模型加持下,Motiff妙多有效结合了自研大模型的生成能力和组件库的表现力,在多轮行业盲评中取得了第一的生成效果,优于此前业内领先的AI生成UI工具Galileo AI、设计工具Uizard和文生图工具Ideogram。
Motiff在AI生成UI功能中取得的成功,还得益于长期的专业数据积累。“未来,数据是最重要的护城河。“樊锴表示,“随着大模型能力不断增强、成本不断降低,专业数据将成为更稀缺的资源,为AI应用的质量提供坚实保障。”
在开发AI功能的工程实施中,Motiff妙多积累了宝贵的经验。对于大部分复杂任务,Motiff妙多发现Flow Engineering(流程工程)比Prompt Engineering(提示工程)更为有效。相比于单次模型调用的黑箱运行,FLow Engineering将任务分解为多个步骤,实现整体功能的协同,对团队协作和工程化更为友好。
为了更好地应对AI应用开发中的不确定性,Motiff妙多搭建了一个高效的实验平台。平台不仅支持便捷地定制流程和参数,还能详细记录实验的中间结果,从而帮助团队快速尝试和迭代。
目前,Motiff妙多AI生成UI功能在指令遵循和设计美观性上均处于行业领先水平,并在海外社交媒体引起大量讨论。樊锴在会上透露,Motiff妙多还将持续迭代技术方案,有望于年内发布新的AI功能。
VIP课程推荐
APP专享直播
热门推荐
收起24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)