一、当千年彩灯遇见AI虽然AI火遍了大江南北，但我们与AI的爱恨情仇才刚刚拉开序幕。一切的一切开始于繁星计划这个项目。1、繁星计划是什么先上一条TVC了解繁星计划。除了TVC，我们还需要一个能让大众参与互动的H5，感受中小博物馆的魅力。微信扫码体验H5项目一开始，数量巨大、种类繁多、馆藏千奇百怪的中小博物馆就让我们花了眼，最后，彩灯博物馆出现在我们的视线中，彩灯自古以来便承载着吉祥祝福的寓意，重大节日仍然保留着点灯赏灯的传统。再加上近年来关于彩灯的话题频频出圈，年轻人对其的喜爱也与日俱增。所以，我们敲定了以彩灯为核心创意点来吸引大家的参与，用对家乡的情感唤醒大家分享的欲望。不仅让大家在制作数字彩灯的过程中，了解其千年的技艺，同时以灯传情，用彩灯照亮家乡博物馆的花路。2、为什么是AI？制作数字彩灯便是这个H5的核心功能，它将直观展现数字技术对传统博物馆的积极意义，其生成效果将直接关系到用户体验和分享意愿。在创意讨论中，客户提议要不咱们试试最近热门AI技术，看看新生技术如何让传统技艺焕发新的生命力。经分析，各种主题彩灯的造型本质上还是来源于既有的人或物，只是附加了骨架和发光等特征，可以认为是一种特殊的画风，我们不需要从头训练AI认识每一种造型的彩灯，只需要让它学会彩灯共有的特征，再叠加在Stable Diffusion文生图大模型上使用即可。基于这个思路，我们先用网上收集的彩灯图通过AI自动打标处理后训练了一个lora模型，快速验证了彩灯结合AI生成的可行性基础。可行性验证时的一些生成结果（金鱼）可行性验证时的一些生成结果（独角兽）但了解AI的朋友都知道，AI生成目前的可控性还很有限，经过多轮方案迭代，最终确定了如今的方式：我们从彩灯博物馆的藏品中选取20个彩灯主题，在线下用AI技术为每个主题生成好一批图片，用户在H5中选择主题后将得到该主题的随机一张彩灯图片，H5实时生成该AI彩灯图片与用户信息组合的专属海报。二、AI彩灯诞生记开始！敲定方案后，我们便开始正式的AI图片生成了。1. 训练模型我们通过彩灯博物馆官方和实地采风两个渠道获取了一大批彩灯照片作为训练素材，经过一些基本的预处理，交由腾讯SSV技术团队打标训练出一个正式的彩灯风格模型。一般都会存储中间文件，以便在发现过度拟合时，可以使用中间文件作为最终结果，这需要将输出的模型载入SD中。我们的彩灯模型试用效果不错——彩灯风格清晰，能够泛用于不同对象，并且在赋予lora不同强度时能表现出不同强度的风格。2. 文生图在模型验收过程中我们也初步试验出适合的参数范围，由于不同类型的对象适合的参数略有不同，每次手动调参效率低下，我们通过x/y/z plot脚本，使每批次输出多组不同参数组合的结果。x/y/z plot脚本输出的grid（*此处z轴为none）训练模型的同时，创意组同学根据彩灯博物馆藏品选出20+个主题，并对每个主题进行了多个画面发想，模型完成后，设计组同学便以这些发想为参考原点，改写为文生图提示词，并根据输出结果不断优化迭代。在这个过程中，设计同学也产生新的画面创意，加入提示词迭代，如此为每个主题都产出了少则数百多则千余张图。《荷花仙子》的初筛图片《孔雀开屏》的初筛图片《卖火柴的小女孩》的初筛图片3. 筛选和修图面对茫茫多的生成结果，我们经过了多轮筛选，挑选标准有三：契合主题、美观、多样性，最终每个主题精选出5-8张，进入修图流程。我们将精选出的图片通过AI的超分网络放大，再手工修正AI图中如五官、肢体扭曲等问题，最后根据页面版式调整彩灯图的画面布局——背景杂物清理、元素位置调整、主体大小调整、四周压暗等——使所有彩灯图经同一程序规则生成页面时都能有最佳的展示效果。精修调整完成的AI彩灯图修图前后对比《荷花仙子》修图前后对比《孔雀开屏》修图前后对比《卖火柴的小女孩》最后，上彩灯H5！整体视觉风格以“闪烁的繁星”为印象，各页均以“灯”元素串连，融入传统文化元素，同时简化造型以避免过于古朴与科技表达冲突，简化用色以避免与多变的彩灯图冲突。1、加载&引入黑暗中散发微光的宫灯轮廓，营造一丝神秘感，配合文案又暗示后续内容；一件件飞出的中小博物馆馆藏文物轮廓化作星辰，带出繁星计划的介绍；2、核心互动星辰散去，完整的宫灯浮现；20个馆藏彩灯主题环绕中央的大宫灯，转动选词；3、过渡等待结果的时间里，展示传统彩灯的制作流程；4、结果点击地图块，将生成的AI彩灯送给家乡，获得繁星计划助力人编号，及纪念海报。5、分享部分分享海报欣赏。首次与AI的碰撞，让我们有很多话想说AI彩灯是小牌成都设计组首次将AI生成技术正式应用于工作流程中，更是首次在项目中承担如此重要的角色。我们不仅应用了基础的AI文生图能力，还用到了自主训练模型和超分网络等，在得到经验技巧的同时，更真切地体会到了AI的可能性与限制——AI非常擅长学习图像特征，因此角色、物品、动作、风格等都可以通过有限素材训练AI实现特定特征对象的高效批量产出，也可以帮助有想法但画功不足的人快速具现化想法；AI非常擅长融合不同的图像特征，这也是基于对特征的掌握能力，通过融合不同特征，AI可以创造出人类从未见过甚至无法想象的图像，可以用于创意前期在迭代过程中与人类互相启发开拓思路；但AI对多个对象间的关系的理解还非常有限，很难用文本描述控制AI生成它没“见过”的关系（举例来说，AI可以生成骑着马的宇航员，也很容易生成马和宇航员融为一体的图像，但无法生成马骑在宇航员身上），目前常见的解决方式是通过controlnet或lora来控制生成；AI能刻画非常细腻的细节，可以在工作流的中后段帮助人类artist丰富画面细节；但基于第3点所述的缺陷，AI生成的准确性还有欠缺（技术手段的进步，能够有效提升准确性，但bug依然存在只是更加隐蔽），在对画面准确度要求较高的领域，AI生成还不足以达到直接商用标准，需要人类监修，他要不被表面的美观干扰找到那些bug并修正，目前有经验的artist手工修正的效率仍高于AI。基于以上AI的特性，AI可以为人类artist带来多方面的助力，但人类的创意和认知判断力不可或缺，随着AI的快速进化，AI加入生产的大趋势不可阻挡，可能带来以下几个方面的变化：生产流程改变：例如不再需要用草图、铺色稿去与需求方一步步确认后再往下细化，而是用AI直出多张80%完成度的效果图确认整体方向，局部也用AI替换输出多个方案的80%效果，全部方案确认后，再由人类反推制作出准确的结构；从业者职能和能力要求改变：例如从事基本的素材制作/处理的岗位将不复存在，因为AI可以更高效地批量产出素材，人类artist分别从事前期创意和后期监修工作，前者几乎不需要手上功夫但要求创意能力和丰富的艺术知识，后者则需要敏锐的观察力以及对人或物的结构等的纯熟认知；新人学习路线改变：传统的美术培养方式带给学习者的正反馈相比AI过于缓慢，将无法留住学生兴趣，且基于2的改变，从事前期创意和后期监修的两类artist可能将是完全不同的学习路线，而即使对于与传统artist相似的后者，手上基本功的训练也可能后置；大众审美改变：AI将内容产出效率极大拔高后，对每种艺术风格可能会更快审美疲劳，大众审美的变化速度加快，分支越来越细越来越多。创作人员名单品牌方：腾讯代理商：TINY.创意总监：Yoyo客户总监：Helen创意&文案：文静设计：秋几、wowow、小波、丹青动画制作：阿金Account：诗琪