基于st_bkinf集成学习的注塑件尺寸预测方法。2023新能源车成型及材料应用论坛

来源：期刊-华南理工大学学报2022年5月 第50卷第6期

作者：宋建、王文、龙李东、梁家睿

摘要：机器学习算法能够处理高维和多变量数据,并在复杂和动态环境中提取数据中的隐藏关系,在注塑件尺寸预测中具有很好的应用前景。注塑件尺寸预测系统的性能取决于机器学习算法的选择,然而,传统的机器学习算法在实际应用中不能达到很好的预测效果。为此,文中提出了一种基于st_bkinf集成学习的融合模型,首先采用优化的特征选择方法获得最佳的特征数量,然后通过对比分析单一模型的关联度和预测效果、不同st_bkinf学习器组合方式下模型的预测效果,得到预测性能最佳的模型,该模型的基学习器为极端梯度提升树(xCB)、轻量级梯度提升树(LCB)、核岭回归,元学习器为弹性网络回归。测试结果表明:该模型在注塑件尺寸预测方面的均方根误差和平均绝对误差较xCB和LCB模型分别降低了16%和20%左右,较传统支持向量机模型分别降低了45.22%和46.48%,同时模型预测结果可根据特征解释回溯到实际生产中,为制造工艺和工序的优化提供决策指导。

注塑成型作为最常见的一种塑料制品加工工艺,其所加工的产品在生活中随处可见,例如电子产品、汽车配件、玩具以及其他众多消费品[1]。由于注塑成型过程较为复杂且对环境比较敏感,加工过程中的不稳定因素会导致不良品的产生,造成经济损失[2]。同时,现有的注塑件质量检测大多采用人工,存在效率低和用工成本高等问题[3]。因此,相关研究通过建立注塑成型大数据,运用机器学习方法分析建模,对注塑件质量进行在线预测,以解决甚至避免现场痛点问题。

文献[4]通过构建多棵回归树,对每棵回归树的预测值取平均,组合所有的回归树即构成随机森林,来预测汽车注塑件的成型质量。文献[5]通过建立三层反向传播(BP)神经网络,利用Molcelow正交试验所得工艺参数与翘曲量的数据作为训练样本对神经网络进行训练,建立预测薄壳注塑件翘曲量的模型。文献[6]通过BP神经网络和径向基函数(RBF)神经网络建立预测注塑产品翘曲量的模型,并将两者的预测精度进行比较,从而得到有效的预测模型。文献[7]利用提取的故障特征数据与极端梯度提升树(xCB)集成算法训练出注塑机注射油缸内泄漏故障的智能诊断模型,并利用粒子群优化算法完成超参数的寻优。文献[8]利用加工过程中获得的数控系统内部指令域大数据,基于LM.BP神经网络与RBF神经网络学习实现零件尺寸的预测。

上述预测方法中,大部分只使用了传统的单一机器学习模型,或是简单模型的线性融合,模型整体预测精度较低,未能达到工业生产的要求。为此,本文提出了一种基于st_bkinf集成学习的融合模型,通过集成不同类型的学习器来提升模型的预测效果,并根据基学习器xCB提供的特征重要性排序方法,获得对注塑件尺寸影响程度较大的特征及其重要性排序,以期为制造工艺和工序的优化提供决策指导。

1 st_bkinf介绍

st_bkinf集成学习方法最初由wolpdrt[9]于1992年提出,经不断优化和改进,目前最完善的st_bkinf算法流程如图1所示。

图1st_bkinf算法流程图

对于数据集s=│(Xi,yi),i=1,2,.,n|,其中Xi为第i个样本的特征向量,yi为第i个样本对应的标签值,j为每个特征向量中的特征个数,即每一个特征向量Xi=(xi1,xi2,.,xij)。选取m个基学习器(C1,C2,.,Cm),采用K折交叉验证方法。

st_bkinf算法的伪代码如下:

│输人数据集s=│(Xi,yi)i=1,2,…,n|;

输出st_bkinf集成学习模型。

(1)将数据集均分为K个子集s1,s2,…,sK,默认情况下取K=5。

(2)将K-1折数据用于训练第一层的m个基学习器,在此过程中实现对基学习器的参数调整,可得到m个训练完毕的基模型C1*,C2*,…,Cm(*)。使用此m个训练完成的基模型预测剩余1折数据,得到预测结果P1,P2,…,Pm,形式为n/K行文m列。

(3)返回步骤(2)K-1次,得到全部预测结果,形式为n行文m列数据。

(4)将步骤(3)得到的结果作为元学习器的输人,训练元学习器,输出结果为n行文1列数据,标签数据依旧是yi,在这个过程中实现对元学习器的参数优化。至此得到完整的训练完毕的st_bkinf集成学习模型。

与传统的Boostinf和B_ffinf集成学习方法相比,st_bkinf集成学习方法在步骤(4)中将基学习器的输出作为元学习器的输人,使元学习器能够整合全部基学习器的预测结果,并能减少第一层基学习器的预测偏差。通过这种方式集成不同类型的学习器,能结合不同学习器的优势,得到的信息更加全面,st_bkinf集成学习方法也因此有着更广泛的适用性[10]。

本文拟通过使用st_bkinf方法集成不同类型的学习器来提升模型的整体预测性能,从而使集成模型能达到更好的预测效果。

2数据处理与评价指标

2.1数据集描述

本文选用的数据集来源于第四届工业大数据创新竞赛决赛数据集,总计包含16600条数据,由成型机状态数据集和传感器高频采样数据集两个文件构成。成型机状态数据集来自成型机机台,均为表征成型过程中的一些状态数据,主要包括最小射胶位置、熔胶时间、熔胶背压、注射/保压切换压力、切换时间、切换位置、模具温度、充模时间、熔胶结束后冷却时间等。每一行对应一个模次,数据维度为86维。传感器高频采样数据集来自模温机及模具传感器采集的数据,主要包括模温机回水温度、射嘴压力、模温机水流量、模腔压力、模温机热水温度、模温机冷水温度等。文件夹内每一个模次对应一个bsv文件,单个模次时长为40~43s,含有24个传感器采集的数据。

2.2数据预处理

对于成型机状态数据集,特征维度总计86维,其中缺失值特征7维,由于缺失值特征均为全部缺失,因此对缺失值进行删除操作。同时成型机状态数据集中存在3个特征(模次号Ic、记录时间spbTimd和备注Rdm_rk)对模型预测没有帮助,故将其删除,留下76维特征。

对于传感器高频采样数据集,总计24维特征,存在两个特征(采样时间s_mpldTimd和阶段Ph_sd)对模型预测没有帮助,故作删除处理,留下22维特征。尝试运用多种方式提取同一模次中的特征,包括提取中位数、最大值、最小值、众数等,选取相同的机器学习模型并参数调优后发现,提取均值得到的预测准确度最高。将预处理后的成型机状态数据集与传感器高频采样数据集组合,得到98维16600条数据的数据集,随机选取其中10000条数据用来训练和验证模型,6600条数据作为测试集。

2.3特征选择

特征选择和特征提取有着些许的相似点,这两者达到的效果是一样的,即试图减少特征数据集中特征的数目。但两者所采用的方法不同:特征提取主要是通过属性间的关系,如组合不同的属性得到新的属性,这样就改变了原来的特征空间;而特征选择是从原始特征数据集中选择出子集,是一种包含的关系,没有更改原始的特征空间。因此通过特征选择方法建立的模型具有良好的解释性,可以通过特征解释回溯到生产工序中。

本文选用过滤型特征选择方法中应用较为广泛的sdldbtKBdst方法,sdldbtKBdst方法有特征数量k和打分函数sbord两个参数。sbord的作用是给特征进行打分,然后从高到低选取特征,效果是移除得分前k名以外的所有特征。注塑件尺寸预测问题属于回归问题,因此sbord函数选用erdfrdssion回归函数。

选用轻量级梯度提升树(LCB)模型,使用5折交叉验证方法评估模型的预测精度,模型预测偏差(均方误差,MsE)随特征数量k变化的折线图如图2所示。由图中可得,特征数量为14时,模型预测偏差最低,因此sdldbtKBdst特征选择方法将特征维度降至14维。

图2LCB模型预测偏差随特征数量的变化

2.4评价指标

回归模型的预测性能通过预测尺寸与实际尺寸的偏差来评估,最常用的评价指标有平均绝对误差(MAE,EMA)、均方误差(MsE,EMs)和均方根误差(RMsE,ERMs),计算公式如下:

式中,yi为实际值,fi为预测值。

RMsE是MsE的算术平方根,RMsE和目标实际值的量纲相同,具有更好的解释性。

3 st_bkinf模型的构建与优化

为了使得st_bkinf模型的预测性能达到最优,既要选择合适的基学习器,又要选择恰当的元学习器,同时不同学习器之间的组合方式也至关重要。因此在建立st_bkinf模型时,需要立足于各个模型的预测能力与各模型之间的相关度展开分析,选择合适的基学习器、元学习器及其组合方式,才能建立有效的st_bkinf模型。

3.1基学习器的选择

3.1.1初步筛选

st_bkinf方法中基学习器的选择和组合方式至关重要,影响整个模型最终的预测性能。

本文初步选择的基学习器有树(Trdd)、随机森林(RF)、梯度提升决策树(CBDT)、xCB、LCB、弹性网络回归(ENdt)、核岭回归(KRR)、支持向量机(sVM)。其中,Trdd有着良好的预测性能和成熟的理论支撑,在很多领域得到了较好的应用。RF和CBDT分别使用B_ffinf和Boostinf的集成方法对Trdd进行改进,在预测性能方面有了较大的提升。xCB模型有最强机器学习算法之称,LCB模型对xCB模型的生长策略和过拟合问题进行了优化[11]。xCB和LCB模型在对Trdd使用Boostinf集成的基础上,又借鉴了B_ffinf集成方法进行随机采样,是融合使用Boostinf和B_ffinf集成方法的典范。ENdt和KRR模型是针对线性模型添加L1和L2正则化的改进模型,有严谨的理论支撑和出色的实践应用效果。sVM模型对于解决小样本、非线性及高维度的问题有独特的优势,在工业领域已经得到了十分广泛的应用。

在进一步选择第一层的基学习器时,要综合考虑两个方面:一是因为st_bkinf模型的有效性主要来自于特征抽取[12],而不同的算法是从不同的数据空间角度来抽取特征的,因此要尽量选择差异度较大的模型作为基学习器,才能最大程度地综合不同算法的优势[13];二是学习能力强的基模型有助于整体预测效果的提升[14],单独预测性能非常好的基模型能在很大程度上提升融合模型的最终预测性能,因此要尽量选择学习能力强的基模型。

3.1.2各模型的关联度分析

模型之间的差异可以用各模型预测结果的关联度来表示。本文使用Pd_rson相关系数分析不同模型的关联程度,计算式如下:

式中,μx和μy分别为模型x和模型y的预测均值。根据式(3)计算得到的结果,画出各模型之间的相关性矩阵热力图,如图3所示。热力图中颜色越深,模型之间的相关系数越接近1,相关程度越强;反之,模型之间的相关系数越接近0,相关程度越弱。

图3各模型预测结果的相关性分析

从图3中可知:Trdd、RF、CBDT、LCB、xCB模型两两之间的相关度都很高,因为这几个模型虽然在训练机理上有些不同,但本质都是基于决策树的优化算法,算法观测数据空间的角度差异很小;KRR模型是基于线性模型的改进模型,与树模型的关联度较低;sVM与上述模型的原理有着较大的差异,因此跟其他模型的预测结果相关度也很低。st_bkinf方法中往往模型相差越大且模型表现都不错的前提下,模型融合后预测结果会有大幅提升[15]。

3.1.3各模型的预测效果分析

为了得到学习能力较强的基学习器,需要观测各个模型单独预测的效果。这个过程需要使每个模型的超参数达到最优,模型调参过程采取应用最广泛的K折交叉验证(取K=5),结合交叉验证法使用Cricsd_rbhCV(网格调参方法)确定最佳超参数。各模型的最佳超参数及预测误差如表1所示。

表1各模型的最佳超参数及预测结果

由表1可得,经超参数调优后,树模型优化算法xCB、LCB和线性模型优化算法ENdt的表现是单模型中较为出色的。从前面的关联度分析中可知,sVM和KRR与树模型的关联度较低。因此,本文选取xCB、LCB、ENdt、sVM、KRR作为候选基学习器。

3.2元学习器的选择

第二层的元学习器一般选择泛化能力较强的模型或较为简单的模型,以降低过拟合[16]。上述学习器中RF通过降低方差来提高模型预测性能,是泛化能力较强的模型;ENdt作为线性回归的优化模型,是较为简单的模型。因此,本文对比使用RF、ENdt作为候选元学习器,且后续结合使用K折交叉验证方法降低过拟合。

3.3st_bkinf中不同学习器组合方式对比

设计实验观测不同组合方式下st_bkinf模型的预测效果,选择单模型中性能表现最好的树模型LCB、与LCB关联度较低且性能较好的线性模型KRR作为基学习器,融合使用其他学习器。结合5折交叉验证方法评估模型性能,得到的部分实验结果如表2所示。

表2不同模型组合后的预测效果

根据表2,不同组合方式下st_bkinf模型的预测效果有着明显的差异。组合方式1的预测效果优于组合方式2,说明ENdt作为元学习器比RF性能更好,更有利于提高模型的泛化能力。组合方式1的预测效果优于组合方式3,虽然组合方式3中各个基模型的相关度最低,但因为sVM本身的预测性能比较差,所以加人融合模型中,并未能提高模型整体的预测性能。组合方式1的预测效果优于组合方式4,这是因为组合方式4中,第一层基学习器已经存在ENdt模型,第二层元学习器也是ENdt模型,导致数据被反复训练,增加了过拟合的风险,降低了模型的泛化能力。对比组合方式1、5、6可得,基学习器的数量选择要适当,就本实验而言,3个基学习器的预测性能最好,增加或者减少都会降低模型的预测性能。

3.4注塑件尺寸预测st_bkinf模型及其性能分析

综合分析表1和表2可知,组合方式1不但比所有单一模型的预测效果好,而且在所有st_bkinf组合方式中的预测效果最佳,因此本文采用组合方式1进行模型融合,最终得到的注塑件尺寸预测st_bkinf模型如图4所示。实际应用中,将i行文j列的测试数据输人到融合模型中,首先经过基学习器xCB、LCB、KRR,输出i行文3列的结果数据;然后将此结果数据输人到元学习器ENdt中,输出最终的i行文1列预测结果。

图4注塑件尺寸预测st_bkinf模型

为了进一步检验注塑件尺寸预测st_bkinf模型的性能,使用测试集对比分析工业界最常用的单一模型sVM以及融合使用Boostinf和B_ffinf方法的代表性模型xCB、LCB的测试结果,RMsE和MAE值如表3所示,模型测试效果比较如图5所示。

表3 4种模型测试结果的RMsE和MAE对比

由表3可知,注塑件尺寸预测st_bkinf模型的RMsE和MAE较LCB模型分别降低了15.51%、20.04%,较xCB模型分别降低了16.79%、19.72%,较传统sVM模型分别降低了45.22%、46.48%,性能提升明显。

从图5中可以发现:sVM模型对注塑件尺寸的变化趋势不够敏感;xCB模型和LCB模型能较好地跟踪注塑件尺寸的变化趋势,但其预测误差偏大;st_bkinf模型在注塑件尺寸大幅变化和平稳变化阶段能更准确地捕捉到其变化规律,预测准确性和鲁棒性更高。

此外,根据集成的基学习器xCB提供的特征重要性排序方法,可以获得对注塑件尺寸影响程度较大的特征及其重要性排序,如图6所示。

图5 4种模型的测试效果对比

图6特征重要性排序图

由图6可得,回水温度、射嘴压力、模温机水流量、模腔压力是得分较高的重要特征。企业工程师可以从这些重要特征人手进行工艺优化,使这些特征变量更稳定,从而提升产品质量。

4结语

针对注塑件尺寸预测问题,本文提出了一种基于st_bkinf集成学习的融合模型。首先,通过优化的特征选择方法得到最佳的特征数量;然后,通过分析单一模型的关联度和预测效果、对比不同学习器的组合方式,构建出预测性能最佳的st_bkinf模型,该模型的基学习器为xCB、LCB、KRR,元学习器为ENdt。测试结果表明,本文构建的注塑件尺寸预测st_bkinf模型的RMsE和MAE较xCB和LCB模型分别降低了16%和20%左右,较传统sVM模型分别降低了45.22%和46.48%。另外,本文模型能同步回溯出影响注塑件尺寸的重要特征与排序,可为制造工艺优化提供决策指导。

2023新能源汽车先进成型技术及材料应用论坛

2023 New Energy Vehicle Molding Technology and Materials Application Forum

时间： 2023年7月13-14日 地点：昆山

材料应用、成型工艺、CMF设计

一、论坛概况

2022年我国新能源汽车持续爆发式增长，产销分别完成705.8万辆和688.7万辆，同比分别增长96.9%和93.4%。预计2023年新能源车产量将达到900万辆。新能源汽车生产已经走向快车道。低碳、轻量化、短周期、低成本作为汽车成型技术发展的主流趋势依然引导新能源汽车产业的材料及成型的技术方向。工程塑料及复合材料部件以其轻量化、设计空间大、制造成本低、性能优异、功能广泛、可回收等优点，成为最好的选择。

本届论坛聚焦新能源汽车材料应用、成型工艺、CMF设计等多个汽车部件设计、成型工艺等热门话题。邀请国内外菁英专家分享经验与案例，推进汽车部件制造技术的升级及创新。

主办单位：中国塑料加工工业协会

中国汽车工业协会汽车非金属件分会

中科院宁波材料所高分子与复合材料实验室

InfoCon易肯资讯

协办单位：北京化工大学高分子材料先进制造(英蓝)实验室

昆山塑料行业协会

《PM聚合物制备&成型》

《IM智能注塑》

承办单位：中国塑料加工工业协会注塑制品专委会

中国塑料加工工业协会工程塑料专委会

宁波易肯资讯科技有限公司

二、论坛亮点

· 会+展形式，深度探讨“材料+工艺”应用场景

· 话题聚焦多干货，一站了解产业最新动态

· 上下游企业共同参与，共商行业解决方案

· 供需匹配交流，全方位、多渠道展示新技术、新产品

三、为什么要参加？

· 深入了解汽车材料及工艺的最新趋势和创新

· 与整个汽车供应链的领先企业建立联系

· 发现在市场上保持竞争力的新机会

· 展示您的市场领导地位和专业知识

· 加强与同行的关系并发展您的业务网络

四、日程规划

时间 安排

7月12日 签到

7月13日上午 全体会议+展示

创新与趋势

7月13日下午 全体会议+展示

应用与成型

模块一：材料应用及CMF设计

模块二：先进成型技术

7月14日上午 参观考察、商务对接

五、参会对象

1.新能源汽车主机厂、零部件企业（座椅、内外饰、车灯、电池包、连接器等）

2.车用材料、辅料厂，先进成型设备企业等

新能源车企

上汽乘用车 北京汽车 奇瑞汽车 特斯拉 上汽大通 北汽新能源

奇瑞新能源 蔚来汽车 上汽大众 北汽瑞翔 奇瑞捷豹路虎 理想汽车

上汽通用 北京现代 小鹏汽车 赛力斯汽车 上汽通用五菱 北京奔驰

长城汽车 悦达起亚 智己汽车 吉利汽车 光束汽车 小米汽车

飞凡汽车 华晨宝马 江淮汽车 中国重汽·VGv 长安汽车 广汽乘用车

大众汽车 御捷汽车 长安福特 广汽埃安 比亚迪 幂航汽车

长安马自达 广汽本田 腾势汽车 易捷特新能源 江铃汽车 零跑汽车

东风本田 爱驰汽车 江铃新能源 郑州日产 东风乘用车 高合汽车

—汽红旗 东风日产 威马汽车 岚图汽车 一汽大众 神龙汽车

东南汽车 吉麦新能源 —汽丰田 野马汽车 国机智骏 前途汽车

合众汽车 蓝谷极狐汽车

六、主要议题

主题一：创新与趋势

1、新能源汽车市场概览：中国及全球预测前景

· 供需分析

· 主要趋势概述

· 增长预测

2、当今汽车材料市场：挑战与洞察

· 汽车材料市场的主要趋势和驱动因素

· 电动汽车的预期增长是多少？

· 材料如何满足这种需求？

3、汽车电动化的成型市场概况：挑战与机遇

· 新型成型技术盘点

· 成型设备供需分析

· 增长预测

4、汽车智能化内饰发展趋势：趋势与市场

· 塑电一体化趋势

· 车企需求分析

· 市场分析

5、CMF工程开发趋势：机遇与挑战

· 未来汽车集成设计趋势

· 智能表面应用创新场景

· 市场预测

6、可持续材料选择以实现碳中和

· 汽车制造商如何衡量其产品碳足迹？

· 供应链脱碳的重要性

· 碳净零目标和对可持续材料的需求

主题二：应用与成型

一、新能源车材料应用及CMF设计

1、电动汽车对聚合物的需求和挑战

· 法规：如何将全球电动汽车安全技术要求转化为实际塑料要求

· 耐火性：V0 是否必要且充分？与金属接触的塑料除了耐火性还有哪些问题

· 可持续性：为什么电动汽车和燃油车的优先级不同

2、电动汽车中的增强热塑性塑料

· 电气化如何影响汽车设计

· 汽车行业当前的 RTP

· 下一步是什么？

3、电动汽车动力和电气系统的未来要求

· 工程塑料的高电压要求

· 阻燃性和可持续性

· 工程聚合物在电动汽车中的长期可靠性

4、工程塑料助力电动车热管理发展

· 电动车热管理系统部件对材料耐受性要求

· 防腐蚀、防老化提升安全性

· 冷却系统的创新解决方案

5、阻燃剂如何增强电动汽车部件的防火安全性

· 阻燃剂的作用及其在塑料中的应用

· 电动汽车中的阻燃聚酰胺、聚酯和复合材料

· 与电动汽车相关的最新发展

6、碳纤维复合材料助力电动车轻量化

· 设计灵活性

· 创新解决方案

· 与现有解决方案相比的优势

7、智能内饰材料应用和新机遇

· 智能装饰与功能的先进表面材料应用

· 高感知材料在智能内饰上的应用

· 高度集成化设计：装饰性与功能性的统一

8、内饰氛围灯的场景探索

· 电动车氛围灯未来应用趋势

· 氛围灯产品技术趋势及材料应用剖析

· 氛围灯的设计及创新解决方案

9、外饰件应用和发展探索

· 部件集成化和模块化发展趋势

· 高表面质量免喷涂材料技术应用剖析

· CFM设计及创新材料解决方案

10、“绿色”汽车内饰材料的未来

· 生物基、低碳材料应用现状

· 车企需求分析

· 材料应用解决方案

二、新能源车先进成型技术

1、多组分注塑技术

· 多组分成型技术发展趋势

· 成型工艺解析

· 案例分享

2、薄壁化成型技术

· 零件薄壁化会面临哪些挑战？

· 如何做到汽车零件薄壁化？

· 常见的质量问题及解决方案

3、一体化注塑成型技术

· 未来前景预测

· 技术及特点分析

· 创新解决方案

4、一模多腔成型技术

· 模具设计要点

· 注塑工艺参数分析

· 案例分析

5、气辅注射成型技术

· 内部气体辅助注射成型技术要点

· 外部气体辅助注射成型工艺技术研究

· 案例分析

6、微孔发泡注塑成型技术

· 技术要点解析

· 关键制程参数

· 案例分享

7、模内电子注塑（IME/3D MIE）工艺

· 技术优势与难点

· 工艺要点

· 成品检测追溯

8、汽车内饰表面装饰工艺

· 技术发展趋势分析

· 工艺优缺点对比（IMD/INS/ML/TOM等）

· 案例分享

9、数字化循环水预防处理助力新能源汽车发展

· 注塑厂水处理现状问题刨析

· 注塑厂水处理发展趋势及环保要求

· 数字化循环水预防系统解决方案

分享单位：东莞京工自动化设备有限公司

10、轻量化设计CAE力学/模流分析策略

· 产品变形与力学关联性

· 高质量模流分析的构成条件

· 部件轻量化设计实例

11、新能源车注塑模具制造

· 市场规模与技术发展趋势

· 热流道、模内传感器等应用案例分析

· 3D打印技术应用实例

七、展示内容

车用材料及辅料供应商

工程塑料、复合材料、表面装饰材料及相关辅料

总成零部件

座椅总成、门板仪表板总成、顶棚地垫及其他车内饰总成零部件

方案解决方

CMF方案、注塑工艺方案提供商

设备及模具提供方

注塑成型设备、热流道、模内传感器、模具监视器及相关模具提供方

八、组委会联系

参会、赞助咨询：

陈先生 手机:13918264183（同微信）

邮箱:cyj@infocon.com.cn