文|煮酒

图|煮酒

实验方法与数据驱动方法的比较概述

气凝胶是一类新型多孔材料，通过用气体有效地替换凝胶网络中截留的溶剂，从湿凝胶制备而成。由于其独特的纳米结构，它们具有超轻和高隔热性能，适用于热管理、可穿戴设备、储能设备和功能性纺织品等各种应用。

通常，三种类型的材料可用于气凝胶加工。这些包括无机、有机和混合材料。无机材料，如二氧化硅，已广泛用于气凝胶加工。但他们脆性和低机械性能的缺点却不能用于实际。

另一方面，近年来，有机气凝胶如聚酰亚胺 (PI) 气凝胶作为二氧化硅气凝胶的替代品，具有很强的机械完整性和柔性网络，引起了人们的关注。与传统有机气凝胶相比，PI 气凝胶的强度最高可达 500 倍。

PI 气凝胶作为一类有机气凝胶的代表，通常通过溶胶-凝胶技术合成，该技术包括三个主要步骤。

首先，聚酰胺酸 (PAA) 前体由二胺和二酐单体的反应形成，该反应在碱性非质子溶剂如 N-甲基吡咯烷酮 (NMP) 中进行。

随后，使用化学脱水剂进行化学亚胺化干燥步骤，以有效去除网络中的溶剂，同时保持固体结构以避免收缩。考虑到它们的合成路线，为了开发具有最佳性能的 PI 气凝胶，了解结构与性能的关系并确定决定结构形态以及物理、热、机械、光学和电学性能的关键材料和工艺变量是至关重要生成。

到目前为止，许多小组已经探索了各种溶胶-凝胶参数（包括材料和加工因素）对 PI 气凝胶最终性能的影响，目的是针对特定应用优化目标输出。Mosannezadeh 等人。可以成功地定制 PI 气凝胶的隔热性能。

采用双酸酐主链策略，通过控制聚合反应，将热导率值优化至低至 19.7 mW m -1 K -1，比之前的研究降低了 40%。在另一项研究中，对 PI 气凝胶的疏水性进行了定制和改进。结果表明，当合成刚性和柔性芳族二胺的组合时，对于具有至少 50% 刚性二胺的 PI 气凝胶，亲水性减弱，并表现出耐水性。Wu 及其同事对 PI 气凝胶的介电常数进行了调整。这是通过将 2,2-双-(三氟甲基)-4,4-二氨基联苯 (TFMB) 以不同的摩尔比掺入聚合物主链来实现的。代表 PI 气凝胶机械性能的压缩模量也进行了定制和改进。米多尔等。表明，通过改变交联剂并利用 1,3,5-苯三羰基三氯 (BTC)，可以实现高达 74.8 MPa 的模量，高于 2,4,6-三（4-氨基苯基） )吡啶 (TAPP) 交联 PI 气凝胶。

上述有机气凝胶领域的研究表明，材料和加工变量对于定制气凝胶的纳米结构组装以优化目标应用的特定性能非常重要。从这些研究中，可以建立初步的定性关系，即变量和结果属性之间的经验模型。然而，这些仅适用于某些材料类型和实验条件。此外，如果打算同时改进和/或优化不止一种属性，经验关系将有很大的局限性。这是由于影响因素之间的敏感关系，使得有机气凝胶的结构与性能的关系非常复杂。考虑到有机气凝胶研究领域的快速发展，设计和开发具有最佳性能的新型有机气凝胶的需求将不断涌现。目前的尝试仅依赖于具有以下固有局限性的实验方法：

1.设备及其相关成本的要求，使制造过程既复杂又昂贵。

为了了解气凝胶的结构与性能关系并确定关键材料和加工变量，在全参数研究中，需要进行多项表征，即形态学、物理、化学、热学、机械、电气、电化学和光学研究。这些是气凝胶研究的基石，也是分析材料行为的主要工具。然而，这些在设备和资源方面提出了很高的要求。

另一个挑战是，表征研究通常由个别研究人员进行，并且涉及到一个人来决定测量什么参数和如何测量参数，以及对材料行为的解释。由于合成过程和干燥阶段延长而导致的低效率是另一个限制。气凝胶的合成从分子前体阶段开始，在此阶段制备单体并进行反应。在制造湿凝胶时，通常需要老化 24-48 小时以稳定凝胶网络。这之后将是漫长的洗涤过程和超临界干燥过程，相容的第二溶剂（例如乙醇）的溶剂交换。在 3 到 4 天内频繁将乙醇交换为 NMP 后，湿凝胶已准备好转移到超临界干燥室。干燥是气凝胶形成过程的最后阶段。为了保留气凝胶网络并防止收缩和结构损坏，此程序需要精心执行，最多可能需要 7-10 天。

2.依赖研究人员的专业知识是另一个需要考虑的缺点。

事实上，在实验方法中不能忽视人为因素和研究人员专业知识的作用。气凝胶领域研究人员的表现在很大程度上取决于获取特定领域的知识，并且由于许多程序对技能敏感，因此可以说最终气凝胶的质量取决于研究人员的专业知识。

上面讨论的传统实验研究的内在缺点清楚地突出了开发新工具箱以降低与传统方法相关的成本、风险和时间的要求（图 1）。

材料信息学和以数据为中心的方法的最新发展表明，基于机器学习的模型在材料科学中的材料设计、材料分析应用以及对材料行为的关键因素的宝贵见解的应用前景广阔。机器学习是1959年由塞缪尔从生物智能中学习过程的认知结构中汲取灵感而提出的。

例如，人类通过迭代过程向外部世界学习，并将提取的信息用于未来的决策。以类似的方式，机器学习使用算法来解释从数据中提取的信息并寻找模式，然后将这些模式用于获得洞察力和决策制定。由于其高预测性能和低计算成本，机器学习已成功应用于生物学、化学、药物开发、医学，和许多优化过程。尽管数据驱动的机器学习方法在这些领域有着悠久的历史，但多孔材料领域的数据驱动研究，特别是纳米结构气凝胶，最近才崭露头角。例如，Goodarzi 等人。采用各种机器学习模型，即高斯过程、K 最近邻和半径最近邻来预测所选气凝胶的热导率。考虑了均方根误差 (RMSE) 来评估模型的性能和准确性，使用半径最近邻模型的训练数据集的 RMSE 达到了 0.0068。

进一步的研究表明，机器学习模型（尤其是人工神经网络）在优化低能耗建筑玻璃系统性能方面的应用。设计了由外玻璃层、气凝胶层和内玻璃层组成的气凝胶玻璃系统，并探索了它们的传热和太阳辐射传输机制。研究了各种参数的影响，包括取向角、消光系数、厚度、RoC（密度和比热容的乘积）和热导率对系统输出（总热增益、热通量和室内透射率）的影响。结果发现，神经网络模型比传统的拟合方法更准确。

这些研究表明机器学习模型在优化基于气凝胶构造的设备性能方面的成功实施。然而，他们未能研究、预测和优化气凝胶本身的特性和性能。合成参数与材料性能之间的关系尚未阐明，确定每个参数的作用并使用先进的机器学习模型为气凝胶材料的性能预测提供平台至关重要。此外，在上述研究中，由于涉及传热和辐射传输等物理现象，使用混合方法（数据驱动建模与基于物理的模型相结合）是可行的。然而，气凝胶材料性能的预测涉及了合成参数、分子间作用力、合成结构和性能之间的复杂关系。尽管基于知识的对普遍现象的描述可以帮助特征选择，

鉴于此背景，在这项工作中，我们应用人工神经网络作为一种有效且高性能的机器学习模型来预测纳米结构 PI 气凝胶作为有机气凝胶的代表性类别的材料特性。进行了模型的数据挖掘和参数选择。对数据进行预处理，并在数据分区后，使用训练数据集训练和改进机器学习模型。选择三种不同的特性，即压缩模量、密度和孔隙率作为预测目标。结果表明，真实目标值和预测目标值之间存在极好的相关性。据我们所知，

2数据挖掘与预处理

1 数据理解

使用机器学习技术进行数据驱动建模的第一步也是最关键的一步是数据理解和选择一组合适的特征来训练模型。事实上，特征或“描述符”的选择是控制模型性能和准确性的一个主要方面，可以对气凝胶目标特性和其他化学系统进行稳健的预测。通常，化合物描述符分为三大类：可在化学库中找到的化合物的物理性质；根据密度泛函理论计算要计算的化合物的物理性质；

化合物的元素和结构特性。正如最近的研究所强调的那样，为机器学习模型选择的化学描述符应该以一种简便的方式进行计算，以便实用和高效。基于这一原理，已经使用了许多化学和结构描述符，包括静电势表面积、电荷分布面积、密度、总不饱和度、电子亲和力、热聚变、和热能。理解和选择合适的化学描述符在基于机器学习的气凝胶结构-性质预测中也非常重要。例如，Abdusalamov 等人。将粒子半径、粒子浓度、种子步长和步行器步长确定为预测二氧化硅气凝胶分形特性的主要模型参数。

至于 PI 气凝胶的情况，为了更好地理解贡献描述符，表 1中提供了 PI 气凝胶合成参数的概述。可以看出，因素可以分为四大类：聚合物主链、溶剂、溶液和加工环境变量。

聚合物主链的特征可能对气凝胶的最终结构和性能具有最显著的影响。二胺、二酐和交联剂的化学结构和官能团决定了它们的刚性和/或柔性以及固有特性，这些在 PI 合成中起着相当大的作用。例如，研究表明，二酐的亲电性和二胺的亲核性在 PAA 形成中起着重要作用。此外，上述参数甚至可以影响制造的气凝胶的物理外观（代表性样品如图 2A）。另一个因素是混合骨干网的选择。最近的研究表明，通过组合两种不同的二胺和/或二酐低聚物，有机会获得混合主链。在这种方法中，考虑了不同比例的刚性和柔性单体的组合来定制包括气凝胶的纳米结构组装在内的性能。查看图 2B、C，很明显，这些因素可能对纳米结构 PI 气凝胶的最终形态产生重大影响。其他因素，即聚合物的粘度、溶解度参数和分子量，可能会产生影响，尽管它们的影响很少被研究过。

包括密度、碱度、表面张力、蒸气压和粘度在内的溶剂特性会影响溶剂和聚合物链之间的相互作用，从而显着影响亚胺化动力学。溶剂-PAA 相互作用的检查表明，溶剂可以改变系统的链流动性和玻璃化转变温度，并极大地影响亚胺化动力学。

因此，溶剂性质的差异预计会产生影响。然而，在实验设计中几乎不考虑它们，在大多数情况下，NMP 因其基本的非质子性质而被用作主要溶剂。其中溶液参数列于表 1、聚合物浓度和重复单元数对 PI 气凝胶性能有很大影响，尤其是对机械模量，并且在文献中被广泛研究。

例如，当聚合物浓度从 5 重量％变化到 10 重量％时，据报道压缩模量会增加。Meador 和同事观察到类似的趋势。其他因素，即溶液粘度和胶凝时间的变化，相当复杂，在实验设计中不易控制。正如 Teo 等人所解释的，PI 的凝胶化发生在一系列步骤中，从低聚物分子量的增加到聚合诱导的相分离和富含聚合物区域的形成。PI 气凝胶中的溶胶-凝胶转变是一种复杂的现象，受各种材料和工艺参数的控制。最终，加工环境的温度、湿度和压力会严重影响合成和最终产品质量。然而，由于控制它们并不简单，因此它们通常不包括在实验设计中。

2.数据集和基础探索性数据分析

用于机器学习预测模型的数据集是通过文献数据挖掘准备的，所选参数列于表 2。由于二胺、二酐和交联剂化学结构对 PI 气凝胶性能的强烈影响，这些选自聚合物主链类别。聚合物浓度和重复单元的数量也从解决方案类别中考虑，因为它们显示出对性能的显着影响，尤其是机械模量。在数据挖掘中，仅使用与单一主链化学相关的数据，并从文献中提取数据。完整的数据集如表所示 S1。那些具有混合二胺和/或二酐的物质将在未来的研究中进行研究。此外，本研究不包括包含填料/纤维的 PI 气凝胶复合材料。该数据集由大约 60 个不同的数据点组成，每个参数对应的数据/值如表 2所示。

例如，数据集的前五行显示在表 3中，其中聚合物浓度、重复单元数 ( n )、二胺、二酐和交联剂是所选特征（输入变量），压缩模量、密度和孔隙率是我们打算预测的目标值（输出）。为了深入了解，执行了一些基本的探索性数据分析 (EDA)。对数值数据进行了统计分析，结果如表 4所示，列出了数据的平均值、标准偏差 (std)、最小值、最大值和不同的百分位数。

为了可视化数据分布并观察变量之间的关系，图3展示了 3D 和 2D 散点图 . 从图中可以看出压缩模量（预测目标）对其他参数的依赖性。为了将气凝胶特性与合成模量联系起来，许多研究参考了 Gibson 和 Ashby 关系，该关系表明气凝胶的密度和模量之间存在很强的相关性。然而，这种依赖性高度依赖于材料成分相似的假设。从图3B可以看出 ，虽然存在一般趋势，但其他材料和/或加工变量似乎有很大的贡献。例如，从图 3A, 聚合物浓度和重复单元数对气凝胶模量的影响是显著的。除了压缩模量外，其他气凝胶的特性（例如表面积）也高度依赖于各种合成参数，并且如图 3C所示，表面积数据高度分散。总的来说，这样一个简短的概述表明各种 PI 气凝胶合成参数与其合成特性之间存在复杂的关系，需要通过复杂的机器学习算法来捕捉。

为了准备用于机器学习模型的数据结构和格式，还进行了进一步的预处理步骤。此外，鉴于数据集的体积，为了获得更好的结果并最小化模型的偏差，采用了k折交叉验证技术。预处理步骤的详细信息以及k折交叉验证程序可在补充信息 S1中找到。

机器学习预测模型

人工神经网络 (ANN) 和响应面方法 (RSM) 是用于对数值多元输入进行建模和预测的两个兼容工具。在包括材料合成在内的多个领域，已经对使用 RSM 和 ANN 模型进行预测进行了比较研究，发现 ANN 模型比 RSM 或其他回归模型具有更好的预测能力。ANN 模型较高的预测能力归因于其对非线性系统的通用逼近能力，而 RSM 模型仅限于二次多项式。因此，本研究选择ANN作为机器学习预测模型。

1.人工神经网络架构

人工神经网络是一种机器学习模型，它根据原始数据集中给出的趋势进行预测。通常，人工神经网络由输入层、隐藏层和输出层组成。在每一层中，都有一个或多个计算单元或节点。数据点穿过这些执行一系列线性方程的层和节点，然后穿过激活函数，如图所示。每个输入乘以网络猜测的权重因子，加上偏置项，进行预测，如等式所示：

在监督学习中，真实值或标签是数据的一部分。该模型通过反向传播计算预测和标签之间的损失。相应地更新权重以做出更准确的预测。模型的完整流程如图 所示。神经网络实际上受到了人脑中神经元处理信息的方式的启发。信息的特征和重要性在突触和树突中得到细化；然后通过轴突传递给其他神经元，最终根据给出的信息做出结论

2. 神经网络模型的拓扑结构和超参数优化

神经网络模型参数的选择，包括层数、每层节点数、激活函数和学习率，可以极大地影响预测目标属性的模型性能。正如之前的研究所述，识别模型参数并不是很简单，因为没有固定的规则，因此许多研究人员依靠试错法来确定其特定案例研究的参数。

在本研究中，ANN 模型的拓扑结构选择如下：网络由 12 个输入单元组成，对应于输入数据的 12 个特征，如表 S2所示。此外，还考虑了一个包含 50 个节点的隐藏层和一个包含一个节点的输出层，用于预测目标属性。每层中的激活函数是最近建立的 Rectified Linear Unit 或 ReLU，通过防止反向传播中的梯度消失和爆炸问题来获得更好的结果。影响模型最终准确性的其他因素是训练优化器和超参数。

由于大量的局部最小值，优化算法在网络训练中可能很重要。使用 Adam 优化器是因为 Kingma 和 Ba 的发现，他们证明 Adam 优化器计算效率高且易于实施。此外，它已在许多应用中证明了性能，包括用于材料特性预测的应用。学习率和隐藏层数是模型的超参数，可以有效地影响模型的准确性。因此，在这项工作中，ANN 的超参数优化是通过改变隐藏层的数量以及学习率并观察它们对训练和测试数据集模型准确性的影响来实现的。如表 5所示，进行了各种试验，并使用均方误差 (MSE) 指标评估模型准确性。应该注意的是，在改变层数和学习率的同时，所有其他因素，如每层节点数、激活函数和其他变量，都保持不变。此外，报告的值对应于基于 5 倍交叉验证结果的五个不同试验获得的平均值。例如，在表S3中展示了模型在隐藏层数为 1 和学习率为 0.001 时每次折叠的性能 。

结果

查看结果，注意到对于一定数量的隐藏层，增加学习率会减少训练误差，从而改善训练数据集的预测。然而，测试误差增加，这可能反映了网络可能过度拟合训练数据的事实。因此，可以说应该避免使用非常低/高的学习率。另一方面，查看隐藏层数对模型准确性的影响，虽然通过添加更多层可以最大限度地减少训练误差，但网络开始无法对测试数据进行泛化（过拟合）。更重要的是，考虑到这项工作中的小数据集，即使只有一个隐藏层，很明显该模型可以很好地适应训练和测试数据集，并且限制添加更多层以减少过度拟合的机会。总体而言，就是选择 0.001 的学习率和一个隐藏层作为模型参数。

参考文献：

1 S. S. Kistler ,自然 1931 , 127 , 741。

2 S. S. KistlerJ. Phys。化学。 2002 , 36 , 52。

3.X. Yue、W. Li、Z. Li、F. Qiu、J. Pan、T. Zhang、Chem。工程。科学。 2020、215、115450。