【新智元导读】席卷开源界的AI生图王者诞生了!发布半个月,Flux已经成为替代Midjourney的宠儿。各路开发者们开始用自己的照片微调LoRA,一人拿捏多种风格。
先是,一张TED演讲者逼真照片席卷了整个互联网。再之后,集成Flux模型的Grok 2破除护栏限制,被网友玩疯。
HuggingFace联创惊叹道,Flux已经完全席卷了开源AI界,从未见过一个模型,同时有如此多的衍生模型/在线平台/demo占据热榜。
一手微调的开发者表示,「Flux+LoRA将颠覆生成式AI市场。你可以在任何地方,戴着任何东西,穿着任何你喜欢的衣服,生成不同的自己」。
不仅如此,冰雕,拿着switch游戏机,精灵耳,时装走秀等各种形象的照片,都是动动嘴皮子的事。
做成视频后,照片中的自己真的活灵活现了,很有演讲者范儿。唯一不足的是,右手到后面指头就变成了2-3根。
此外随机力,Rowan Cheung还生成了不同风格的自己,和场景融合自洽,毫无违和感塑料轴承凯时KB88·(中国区)官方网站。
他认为随机噪声,虽然AI生图依旧不能替代完整的电影/商业广告,但其已经有很多重要的用途,尤其对内容创作者来说。
比如,这些AI图片制作用于新闻的预览图和配图,以及短片中的补充素材(B-roll)。
前英特尔CTO在A100上凯时KB88·(中国区)官方网站,同样微调了一个自己的LoRA模型,75分钟花费了7美金(约50元)。
要说最火的,还是「超现实主义」的微调版本——让人越来越分不清想象和现实的边界了。
在Flux-Dev中用LoRA训练后随机现象,无论是场景复杂性还是真实感,都取得了不可思议的进展。
开发者以传奇的ZX Spectrum中的风格为例,微调出类似像素的图片生成LoRA。
开源数据集平台LAION用Flux模型,训出了一个可以生成3x3九宫格照片,还是不同角度的自己算图。
以前的扩散模型是通过逐步去除从随机起点开始的噪声来创建图像,而流匹配则采用更直接的方法,学习将噪声转换为真实图像所需的精确变化。
这种方法上的差异带来了独特的美学风格,并在速度和控制方面具备极大的优势。
文本到图像生成的挑战之一是准确地将文字转化为视觉表现。FLUX.1在这方面处理得相当好,即使是在像表情包这样复杂的场景中。
FLUX.1对光线随各种轴承设、阴影和纹理有敏锐的理解,能始终如一地生成高质量的图像。
在这幅图里,重点不仅在于玻璃的质感,还在于光线如何通过花瓣折射和传递凯时KB88·(中国区)官方网站,创造出一种发光的效果。
FLUX.1似乎掌握了各种艺术风格背后的原理,使得创造性的重新诠释成为可能。
这幅《神奈川冲浪里》的「水彩」版本不仅暗示着标志性波浪是模型训练数据的一部分,还突出了「流」技术如何近似颜料在水、纸和墨水中的运动。
FLUX.1擅长构建复杂的场景,以一种既真实又有视觉吸引力的方式放置物体和角色塑性流体动力润滑。
FLUX.1所采用的流匹配技术,赋予了图像一种独特的有机运动感和流动性,仿佛像素本身在流动。
我们可以把图像的生成过程概括为:获取一些输入像素,将它们从噪声中稍微移开,朝着由你的文本输入创建的模式移动,并重复这一过程,直到达到设定的步骤数。
只要可以通过图像-标题对表示,你就可以通过这种方式教会模型任何内容:角色、场景、媒介、风格、流派随机试验。
左:使用原始FLUX.1模型生成;右:使用相同提示和种子,在fofr/flux-bad-70s-food模型上生成
在训练中,模型将会学习如何把这些概念与特定的文本字符串关联起来。而在提示中,则需要加入这个字符串来激活这种关联。
首先凯时KB88·(中国区)官方网站,需要收集大量关于角色的图像作为数据集,包括但不限于:不同的场景、服装、灯光,甚至可能是不同的艺术风格
然后,选择一个简短且不常见的词或短语作为你的触发词:一种不会与其他概念或微调冲突的独特内容。你可能会选择像「糟糕的70年代食物」或「JELLOMOLD」这样的词。
在训练完成之后,你只需给出一个包含触发词的提示,如「在旧金山的聚会上拍摄糟糕的70年代食物的场景」,模型就会调用你之前微调时加入的特定概念。
左:使用原始FLUX.1模型生成;右:使用相同提示和种子,在fofr/flux-bad-70s-food模型上生成
比如一位叫Matt Wolfe的小哥,在看到上面这些酷炫的生成之后,也好奇地上手试了一把。
被刺激到的小哥,立刻去研究了一番,他惊喜地发现,LoRA模型很小,只有2到500 MB随机载荷,可以轻易地和现有的模型结合。
更令人惊喜的是,并不需要额外的算力,也不需要全面的再训练,就可以让AI模型提高画质,产生独特的风格,或者生成特殊的人物,比如马里奥或者海绵宝宝。
小哥在Fal平台上试用后,发现每百万像素花费0.035美元,所以,只要花1美元,就可以运行模型29次,还是比较划算的。
接下来,小哥兴奋地将图像导到Gen-3 Alpha中,根据他输入的prompt,Gen-3 Alpha生成了视频。
除了在某一刻,手中的麦克风突然「飘浮」了起来,视频的其余部分,挑不出太大毛病了。
最后,小哥再用Gen-3 Alpha把它变成视频,就让自己和死侍走在了同一部电影的画面中。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。