项目与作品

生成式创作、交互系统与文化艺术实践。

实时交互世界模型

MoWorld

2026

MoWorld 论文中不同场景的生成画面与应用示意总图
MoWorld 论文中的应用展示

MoWorld 是面向交互式场景探索的视频世界模型,可生成随镜头运动连续变化的场景。

连续控制与场景生成

模型以初始图像、文字提示和相机轨迹为输入,持续响应相机控制信号,以流式视频呈现场景变化。文字提示与镜头控制共同决定场景内容和观看方式。

应用展示

项目展示了生成场景的交互漫游、室内场景重建和影视镜头预演,探索世界模型在空间内容制作中的应用。项目主页提供生成效果与重建效果演示,技术报告介绍训练与推理方法。

遥感影像生成国画长卷

运河·生长·万象

2022

《运河·生长·万象》的水墨长卷,山水空间中交织运河沿线景观
《运河·生长·万象》作品长卷
查看完整原图

作品以京杭大运河杭州段的遥感影像为基础,通过图像翻译将沿线空间结构与国画的笔触、色彩结合,生成静态画作与动态影像。

从遥感影像到国画

遥感影像与国画之间没有一一对应的样本。创作采用局部学习,让模型学习国画的笔触、色彩与质地,在运河地貌的结构上生成山峦、云雾、草木与房屋。

静态长卷与动态影像

“万象”呈现不同绘画风格下的运河长卷;“生长”生成画作之间连续变化的过程,将静态图像组织成动态影像。最终作品由生成的候选画作中选出,并以图像与视频两种形式展出。

2022 年 8 月 11 日至 10 月 11 日,作品展于浙江美术馆“大地史诗——中国大运河主题艺术展”。

创作团队
孙凌云、尤伟涛、李泽健、史姝慧
艺术指导
化鹏

智能国画创作系统

墨染

2018—2020

“墨染”项目中的青绿山水与水墨山水作品对照
“墨染”项目中的国画作品

“墨染”是一套面向中国传统国画的 AI 创作系统,包含长卷合成、字体设计、风格与笔触迁移,以及水墨动画等创作模块。

图像与字体创作

长卷合成模块在两幅国画之间生成衔接内容,形成连续长卷;字体设计模块从少量样例字形推理同风格字库。风格化超分辨率、风格与笔触迁移用于生成高清、多风格的艺术画作。

水墨动画与项目背景

动态内容增强与放缩、水墨画图层透视等模块支持将画作转化为动画。项目于 2018—2020 年在浙江大学—阿里巴巴前沿技术联合研究中心开展。

信息可视化与展览设计

人工智能发展简史图谱

2023

人工智能发展简史图谱,沿年代排列技术节点、研究人物与流派关系
人工智能发展简史图谱横向滚动查看完整图谱,或使用键盘左右方向键。
查看完整原图

面向展览观众,以时间轴串联人工智能的重要事件、技术节点与主要流派,将技术史组织为可沿时间阅读的图谱。

内容与视觉组织

图谱从 1956 年达特茅斯会议延伸至 2022 年 ChatGPT,收录感知机、专家系统、生成对抗网络、AlphaGo 等节点,并介绍联结主义、行为主义与符号主义。各节点配合中英文说明,呈现不同研究路线的发展。

展览

2023 年 8 月 18 日至 10 月 28 日,展于浙江美术馆“博弈论——亚运竞技主题数字艺术展”。

视觉设计
李泽健、张颖
内容撰写
孟辰烨、刘绮、张晟源
项目负责
孙凌云
学术指导
吴飞、汤永川

诗歌理解与画面创作

PoemPalette

2026

PoemPalette 的诗歌、意象图谱与画面创作界面
PoemPalette 的诗歌、意象图谱与画面创作界面 · 浙江大学国际设计研究院

将诗歌中的意象转化为可生成、组合与编辑的画面,支持诗歌爱好者探索诗意。

从意象到画面

系统提取诗歌核心意象并组织为场景图,生成图像供使用者自由组合与拼贴。大语言模型智能体提供辅助解读,让文字理解与视觉创作相互衔接。

交互研究

项目以中国古典美学中的“诗画一律”为基础,通过用户研究考察视觉创作对诗歌探索与理解的支持。相关成果发表于 CHI 2026。

生成式三维水墨创作

3DInkGen

2026

3DInkGen 用户的水墨意象与三维创作结果
3DInkGen 用户的水墨意象与三维创作结果 · 浙江大学国际设计研究院

将二维水墨意象转化为可编辑的三维作品,让没有建模经验的爱好者也能进行水墨风格创作。

水墨意象的三维表达

创作流程连接元素提取、造型生成、三维重建与风格迁移,保留水墨的视觉语言,并将其用于三维形态表达。

创作体验

系统围绕新手的创作过程设计交互,通过用户研究评估创作门槛与作品表现。相关成果发表于 CHI 2026。

人工智能辅助古画修复

InkRenew

2026

InkRenew 的原画、缺损区域与 AI 数字修复结果对照
InkRenew 的原画、缺损区域与 AI 数字修复结果对照 · 浙江大学国际设计研究院

围绕古画修复中的全色与接笔,为修复师提供符合画作风格的虚拟修复建议。

结合笔墨与时代风格

系统将朝代特征、艺术家风格与笔墨技法纳入模型,为画面缺损区域提供数字修复方案,支持修复师进行比较与判断。

面向修复工作流程

InkRenew 关注修复师的实际操作需求;用户研究考察系统的效率与使用体验。相关成果发表于 Humanities and Social Sciences Communications。

古画虚拟修复体验

Ink Restorer

2025

Ink Restorer 中洗、揭、补、全四个古画虚拟修复步骤的交互界面
古画虚拟修复的交互界面

通过虚拟操作体验古画修复的“洗、揭、补、全”,让公众了解传统修复技艺。

传统工序与交互体验

系统将图像分割与生成式修复用于交互操作,按照传统修复流程组织体验,使使用者逐步观察和处理画作中的问题。

文化技艺的数字呈现

项目关注公众如何理解和体验古画修复,与面向修复师工作流程的 InkRenew 形成不同的使用场景。相关成果发表于 CHI 2025。

可干预的图像生成系统

RealtimeGen

2024—2025

面向数字艺术素材创作者,在图像生成过程中提供介入与调整的交互方式。

创作者参与生成过程

系统研究如何让创作者在生成进行时调整结果,将人的判断融入图像创作过程,支持对生成方向的持续控制。

数字素材创作

项目通过创作任务与用户研究考察这种交互方式。相关成果在线发表于 2024 年,并收录于 International Journal of Human–Computer Interaction 2025 年卷期。

实体与数字融合的原型设计

FusionProtor

2025

FusionProtor 的实体原型与扩展现实设计场景
FusionProtor 的实体原型与扩展现实设计场景 · 浙江大学国际设计研究院

将低保真实体原型转化为部件级三维数字模型,支持产品概念设计与仿真。

从实体部件到数字原型

工具结合生成式人工智能与扩展现实,将手工原型中的部件转化为数字表达,支持在实体操作与虚拟设计之间往返推敲。

设计探索与验证

设计师可以比较不同部件方案,并在三维环境中观察组合效果。相关成果发表于 CHI 2025。

交互式动漫风景生成

神笔

2018—2020

神笔生成的动漫风格森林画面
神笔生成的动漫风格森林画面 · 浙江大学国际设计研究院

根据使用者的涂鸦生成具有艺术风格的风景画,支持人与人工智能协同绘画。

涂鸦驱动的创作

系统结合设计知识、图像数据与深度学习,将用户表达的图像语义转化为绘画内容。

联合研究

项目在浙江大学—阿里巴巴前沿技术联合研究中心开展,项目团队包括李泽健、向为、孙凌云、陈培、黄天谱等。

儿童互动绘本系统

CharacterCritique

2025

CharacterCritique 的绘本阅读界面与不同角色观点
CharacterCritique 的绘本阅读界面与不同角色观点 · 浙江大学国际设计研究院

让儿童在故事阅读中与持不同观点的智能角色对话,练习解释、推理和多角度分析。

故事中的不同观点

系统围绕《谁拥有河流》等故事设计对话角色,将立场差异融入阅读情境,支持儿童比较不同解释并形成自己的判断。

亲子阅读与思辨

项目将对话式人工智能用于亲子绘本阅读场景,探索多智能体交互对儿童批判性思维发展的支持。相关成果发表于 CHI 2025。

油画辅助创作与展览

Artist 1.0 · 印象江南

2026

面向油画创作的辅助平台,支持创作者生成、编辑和推敲画面。相关作品展于“印象江南——人工智能辅助创作油画展”。

生成与可控编辑

Artist 1.0 由浙江大学国际设计研究院研发,将绘画知识用于辅助创作,提供视角调整、多图层局部重绘与构图重组等编辑方式。

印象江南

展览于 2026 年 5 月 9 日在浙江大学校友企业总部经济园开幕,展出 73 幅作品,围绕江南水乡、古镇和自然景观展开。展览由浙江大学主办,浙江大学国际设计研究院、浙江大学创新创业研究院有限公司承办。