《银行科技研究社》消息：3月22日，微众银行申请的一项名为“基于大模型的企业数据处理方法、装置、设备和存储介质”的专利公布。而4月9日，其状态变更为“实质审查的生效”。
摘要显示，方法包括：确定企业信息库中与待预测企业对应的多组企业数据组，其中，每组企业数据组对应的数据类型不同，企业信息库通过获取不同企业的原始企业数据构建；针对每组企业数据组，将企业数据组中的目标企业原始数据，输入至预训练的大模型中与企业数据组对应的专家模型中，得到特征向量；依据大模型中的门网络，确定每个特征向量对应的向量权重，并依据各特征向量和各向量权重确定并输出企业数据预测结果。
方法还包括：依据预设的数据类型确定多个训练数据集，其中，每个训练数据集对应的数据类型不同；针对每个训练数据集，依据训练数据集对预设的语言表征模型进行模型训练，得到训练后的语言表征模型，并将训练后的语言表征模型作为子模型；确定每个训练数据集对应的子模型，对所有子模型进行聚合，得到大模型。
以下是其中一些步骤的进一步分解：
依据训练数据集对预设的语言表征模型进行模型训练，得到训练后的语言表征模型的步骤，具体包括：确定训练数据集中的输入文本，确定输入文本包含的所有单词，并依据预设的掩蔽语言模型在所有单词中选择至少一个单词进行随机遮蔽，得到遮蔽单词信息；将遮蔽单词信息和未遮蔽的单词输入至预设的语言表征模型进行模型训练，得到第一输出语句向量，其中，第一输出语句向量包括对遮蔽单词信息进行预测的预测单词向量，以及由未遮蔽的单词对应的单词向量和预测单词向量组成的输入语句特征向量；依据第一输出语句向量和输入语句对语言表征模型进行模型参数调整，得到训练后的语言表征模型。
而对所有子模型进行聚合，得到大模型的步骤，具体包括：依据预设的汇总层对所有子模型进行聚合，并依据预设的门网络和全连接层对聚合后的各子模型进行调整，得到大模型。
另外，依据大模型中的门网络，确定每个特征向量对应的向量权重的步骤，具体包括：确定每组企业数据组对应的特征向量，将各特征向量输入至门网络中，通过门网络中的重置门和更新门确定各特征向量对应的向量权重。
依据各特征向量和各向量权重确定并输出企业数据预测结果的步骤，具体包括：针对每个特征向量，将特征向量对应的向量权重和特征向量之间的乘积作为调整特征向量；融合所有特征向量对应的调整特征向量，得到企业数据预测结果，并输出企业数据预测结果。
确定企业信息库中与待预测企业对应的多组企业数据组的步骤，则具体包括：通过多方渠道获取多个不同企业中不同类型的企业原始数据，并针对每一类型的企业原始数据，以企业名称为关键字段创建至少一表格，将企业原始数据存储在表格中，得到目标表格，依据多张不同类型的目标表格构建企业信息库；依据预设数据类型对企业信息库中，与待预测企业对应的目标表格进行归类分组处理，得到多组企业数据组。
说明书提到该发明的背景为，对于银行或其他金融机构为做好企业金融，如何找到有贷款意愿的企业客户是企业贷款业务的核心关键。除了通过客户经理等人为的方式去挖掘有意愿的贷款企业，技术的手段也是一种非常重要的方式。
在金融业，目前进行挖掘有意向的贷款企业的方式，是基于企业数据分析当前不同数据策略组合下的企业贷款率，比如同时为广州地区、制造行业的小规模企业中的企业贷款率，根据不同的数据策略组合会得到不同的企业贷款率，找到其中最高企业贷款率所对应的数据策略组合，进而可以推测出该数据策略下的企业有高贷款的意愿。但这都是通过人为的数据策略分析，且是通过人为划分数据策略组合，不仅需要耗费较长的时间周期，划分的数据组合也有限，无法得到准确结果，且对个人经验有高度依赖性。
基于此缺陷，目前还有少量采用机器学习模型对企业贷款意向进行预测的方法。但由于行业中常见的是使用几百万或几千万参数级别的小模型，无法有效处理企业丰富的数据种类以及巨大量的数据，进而导致模型预测的精准度低。
该发明旨在解决如何提高模型预测企业贷款意向的精准度的技术问题。
