人工智能技术,结合自然语言和扩散模型创建图像,生成建筑艺术

在阅读文章之前,请您点击一下“关注”,既方便您讨论与分享,又能给您带来不一样的参与感,感谢您的支持。

文丨见过世面的big龙

编辑丨见过世面的big龙

前言

基于扩散的人工智能艺术平台可以通过简单的文本描述创建令人印象深刻的图像,这使得它们成为任何需要视觉设计任务创造力的学科中概念设计的强大工具,对于具有构思草图和建模多个阶段的建筑设计的早期阶段也是如此。

分析当前人工智能艺术工具处理不同用例的能力,平台支持哪些特定设计任务的映射,平台如何用于当今架构的自然语言处理分析,针对特定建筑设计任务的实用工作流程的集合。

人工智能艺术平台模型架构

人工智能艺术平台对创意工作的潜在好处怎么强调都不为过,这些人工智能艺术平台都在使用生成机器学习模型,特别是文本到图像生成模型,尽管它们专注于生成图像,但许多都基于自然语言模型,经过训练可以生成完成文本输入查询的文本

生成模型结合了自然语言和所谓的扩散模型,其中结构化图像信息通过将噪声引入图像数据的前向扩散过程慢慢被破坏,然后通过反向扩散过程重新生成,这个逆过程会生成全新的图像数据,因为原始信息已被噪声完全破坏。

优化底层神经网络架构从而产生了多种变体,当前的扩散模型通常使用对比语言图像预训练架构来实现文本编码过程以及这些文本编码与图像部分的关联

DALL是目前该技术最先进的体现之一,基于对比语言图像预训练方法,它使用一个图像编码器将文本和图像编码到基于扩散的联合表示空间,图像生成是由经过类似训练的解码器完成的,该解码器将先验的编码转换回图像。

这种扩散模型架构可以解决各种图像生成任务,是根据用户编写的文本提示生成的全新图像,然后使用文本到图像模型,根据文本提示修改现有图像使用图像到图像模型,更改图像的样式或排列,如果原始图像的某个部分被删除,模型可以根据提示用全新的内容替换。

这会在图像之外添加附加内容,如果用户请求更改原始图像而不手动删除或屏蔽部分,则这称为图像编辑,商业人工智能艺术平台尚未提供图像编辑功能,但通过文本提示进行单图像编辑的工作是另一个扩散步骤。

以更高分辨率向图像添加更多细节然后进行放大,这种方法也被称为超分辨率,平台会提供多种或所有这些方法,并在各个图像和单词之间配置可配置的权重。

系统地评估所有这些模型和架构的质量是很困难的,进行定量评估的尝试很难评估风格等主观指标,至于对建筑用例的研究使用DALL的系统语法,目的是在城市规划的背景下生成图像

虽然可以生成许多逼真的图像,但该模型在创建具有高细节水平的真实世界场景方面存在弱点,优点是这些模型进展很快并且显著优秀

在生成视频时通过点云生成3D模型甚至3D动画数据,虽然这超出了本文的范围,但尤其是3D模型的生成对于建筑来说将是革命性的,3D工作流程与基于图像的工作流程类似。

尽管生成艺术的概念一直是一个研究领域,随着DALL等公开传播模型平台的出现,才进入公众视野,这些机型不仅在技术层面上竞争,还在用户体验方面进行竞争,中途脚注通过在消息应用程序中的公共或私人渠道共享查询来直接与其社区互动。

不提供专用的用户界面而只是将生成的图像作为对查询的聊天响应返回,可以通过附加链接进行直接交互,通常会产生新的查询,相比只能由个人通过带有创作和编辑工具的专用网络用户界面访问,提供了一个简单的查询接口,无需额外的查询参数

内部模型架构以及接口范式影响这些模型的使用方式,灰色基础模型的核心工作流程在各种技术中都是相似的,差异在于它们提供的工作流程,这通常是由于它们不同的界面方法造成的。

虽然灰色的核心工作流程相似,但细化结果的方法却截然不同,只有连续的分辨率升级,并且具有多种不同的尺寸,因此工作流程侧重于生成和比较不同的图像变体,然后以多种方式对最佳结果进行上采样,而在整个过程中重新混合原始文本提示的可能性有限。

DALL和稳定扩散允许直接编辑上传的图像或以前的结果,他们不提供传统的图像编辑工具,所有图像编辑都必须通过基于人工智能艺术平台的操作来完成,所有网络都有方法创建不同大小和长宽比的图像,可以通过在查询中指定大小,也可以通过稍后通过绘制来更改它。

在所有模型中图像生成只需要几十秒,使其足够快可以单独或与客户一起用于创意会话,所有模型还允许以某种方式导入外部图像,可以很容易地组合成复合工作流程。

无论是训练数据还是训练过程的偏差,模型都形成了截然不同的图像风格,稳定扩散非常适合生成绘制图像和逼真的输出,中途倾向于更具艺术风格尤其是早期的模型版本,现在所有型号都可以针对大多数款式.

人工智能在建筑当中的应用

一些精致的工作流程供建筑师利用所有人工智能艺术平台的优势,这些工作流程基于的分析学习和大量实验来确定可产生最佳结果的工作流程,提高了重新制作步骤的重要性。

用户很少只运行单个查询并获得完美的结果,他们会迭代多次,这需要充分了解有效的工作流程,以避免死胡同并快速获得足够的结果。

开始时会出现一些风格化或具有奇怪视角的结果,有的高档室内设计极大地提高了材料质量和整体细节,但中央沙发仍然是图像中心不连贯的形式,但只要正常图像输出没有达到足够的凝聚力和真实感,就可以调用重新制作步骤。

即使最后的结果也包含较小的透视错误,如果不通过手动图像编辑进行干预,这些错误也很难修复,很难正确响应查询中的相关术语,一旦选择了两个实际变体之一中的下一个变体生成步骤就会创建更有用的结果。

为了消除透视或连贯性错误,屏蔽了中图像的某些区域以生成修复变体,即使修复的区域也会对先前建立的场景照明做出正确的反应,但无法在界面中进一步升级,其结果比其两个竞争者强得多,生成的图像很好地融合了查询的现实和生活”方面。

这些房间看起来像是有人居住而不是人工渲染的,所有图像看起来都像是正确的内部视图的特写镜头,这就是为什么不仅使用修复来修复错误,而且还为修复添加额外的画布空间,会导致未绘制区域出现一些相当不连贯的变体

稳定扩散在这种情况下表现最佳,所有第一个变体都是现实的,并且在后续步骤中没有表现出真正的缺陷,仅在最后的外涂阶段才需要手动平滑过渡。

中途生成了类似质量的最终结果,但提供了较弱的开始选择,并非所有图像都包含所有提示元素以及频繁的透视错误和其他视觉错误

人工智能模型的优势和局限

通过结合所有模型的优势并了解它们的特定命令关键字可以获得最佳结果,向新用户展示的是关键词数字艺术可以显着改善很多提示的信息,这和所训练的数据深度相关。

细化始于在提示中包含和删除某些短语的过程,以尽可能接近所需的风格,这些短语可能非常复杂,它通常有助于在提示中包含可创建所需图像类型的建模软件,影响查询的一种更直接的方法是使用词权重和图像参考,这为提示系统添加了额外的参数化。

稳定扩散通过其内部和外部绘制工具提供了对变化的更多控制,一旦了解了这些工具和平台的优势,就可以将它们组合成更灵活的工作流程,在下面的构思工作流程中,将从中途提示开始创建所需的场景。

虽然稳定扩散往往会产生更好看的初步结果,但一旦完成重制步骤中途就是一个强有力的竞争者,并且其工作流程擅长自由形式的构思,这使其成为外观设计最合适的起点,从中途重制阶段开始,将通过DALL中的内外绘制来完善任何错误或不需要的结果

稳定扩散以获得目标结果,该工作流程强调了如何组合不同的图像编辑步骤以获得独立于所使用的人工智能工具的最佳结果,最适合每个步骤的具体模型可能会随着新版本的变化而变化,工作流程背后的逻辑是通过以下方式实现最佳图像质量。

创建更宽的视角并随后进行了修复以替换不需要的细节,尝试通过DALL中的修复添加从侧面到入口的铺砌路径失败后,将图像转移到稳定扩散,删除了人行道,并使用没有花园参考的修改后的查询将其替换为修复,并在提示的早期添加铺砌。

该过程的速度允许与客户一起开发该设计,还可能建议进行重大改变,屋顶和中心区域之后的稳定扩散查询单户住宅,一些潜在的效果如树枝伸入图像是难以避免的。

使用当前的人工智能模型是一个反复试验的过程,很少在第一次尝试时呈现完美的结果,但期望用户选择最佳的变体并多次完善提示,这可能并不简单,但让一组建筑系学生绘制具有类似粗略规格的设计的任务也会导致许多变体,并且会更加耗时。

用户探索的许多变体都完全失败了,中途分析中大量未升级的单步查询证明了这一点 ,架构师在使用这些模型时会遇到的一些常见故障案例 ,它在模仿墙壁粗线和物体细线的风格方面做得很好,但仔细一看却完全毫无意义。

这是因为人工智能艺术工具复制了风格,但对平面图中线条的含义没有语义理解,情况显示了具有多个特定技术术语的查询结果,而这些术语本身也有些模糊,人工智能工具不擅长计算和超出前景和背景的复杂空间安排。

结语

人工智能工具在建筑领域的巨大潜力,但人工智能平台仍然难以应对更复杂的提示,这通常是由于缺乏对图像内容的语义理解,由于已经有了提供这种语义信息的建筑信息模型,新的扩散模型迟早会出现。

单一平台将为各种风格变体等用例提供完整的工作流程,从而极大地提高生产力和创造力,当前人工智能工具创建的设计打破了常见的简约现代设计,随着结构动力学自动评估以及增材和机器人施工技术领域的持续研究,越来越多的此类设计在结构和经济上变得可行。

文章描述过程、图片都来源于网络,此文章旨在倡导社会正能量,无低俗等不良引导。如涉及版权或者人物侵权问题,请及时联系我们,我们将第一时间删除内容!如有事件存疑部分,联系后即刻删除或作出更改。

展开阅读全文

页面更新:2024-05-12

标签:人工智能   模型   图像   自然语言   变体   建筑艺术   中途   文本   提示   过程   艺术   平台   技术

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top