投资者情绪不仅直接影响到金融产品的价格,还是驱动金融市场运作的重要引擎。准确分析投资者情绪需要考虑金融信息的多源特性,而来自不同信息源的数据往往具有不同的结构,而且随着云计算等新兴计算平台的蓬勃发展,金融数据正在加速朝着多源异构的趋势演化。 目前,基于预训练语言模型,Pre-trained Language Models(PLMs)的投资者情绪分析方法日益流行,但大量研究表明PLMs应用于投资者情绪分析的效率与有效性仍需进一步优化。因此,本文从模型参数优化和数据特征融合两个层面展开研究,包括以下三个方面,
(1)针对源领域和目标域之间存在的领域偏移问题,本文提出一个领域自适应微调框架,domain-adaptive fine-tuning framework(AdaFT)。与传统的“预训练-微调”策略相比,AdaFT插入了两个额外的步骤,即增量预训练和模型融合。在增量预训练阶段,PLMs 通过并行学习高效补充了金融领域的专业知识,在模型融合阶段,本文提出一种自适应多模型参数融合,Adaptive Multi-model parameter-wise Fusion,AdaMFusion,方法,将多个增量预训练的语言模型融合得到一个综合模型,整合从不同的增量预训练任务中学习到的深度语言表示与专业领域知识。本文为AdaMFusion设计了两种权重分配方案, 即基于步长缩减机制的局部搜索算法和基于BP神经网络的多元回归建模方法。
(2)在AdaFT框架的基础上,本文结合知识蒸馏与联邦学习提出一个多教师联合蒸馏框架,Multi-Teacher Collaborative Distillation Framework(MTCDF), 旨在不影响PLMs 性能的前提下提高其推理效率。MTCDF包括动态教师蒸馏和静态教师蒸馏两个阶段。在动态教师蒸馏阶段,首先使用自适应层级映射方案初始化学生模型,然后以异步式联邦学习的方式开展蒸馏训练。在静态教师蒸馏阶段,教师仅进行推理而不参与训练,学生模型则学习模仿教师模型推理。构建蒸馏损失函数方面,本文不仅考虑了教师模型的输出特征信息,还利用了大量的中间特征信息,包含隐藏状态向量和注意力矩阵。
(3)在AdaFT和MTCDF框架的基础上,本文提出一个能够同时处理情绪时间序列与市场数据时间序列的DistilFinBERT-LSTM模型,通过利用市场情绪变化与股价波动之间的相互作用,加强了识别和分析投资者情绪的能力。
实验结果表明,本文通过优化预训练语言模型参数,在保持投资者情绪分析有效性的同时,极大地改善了模型的运行效率。利用投资者情绪变化与股票价格波动之间的动态作用,进一步提高了投资者情绪分析的准确率。本文研究成果有助于持续监测金融市场的潜在风险,为监管部门构建金融市场风险预警系统提供信息支持。
摘 要· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·I
第一章绪论· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·1
1.1研究背景与意义· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·1
1.2国内外研究现状· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·3
1.3研究目标及内容· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·7
1.4组织结构· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·9
第二章相关背景知识介绍· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·11
2.1 自监督预训练· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·11
2.5金融数据的特点· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·17
第三章基于增量预训练的领域自适应策略研究· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·21
3.1领域偏移问题· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·21
3.2多任务增量预训练策略· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·22
3.3实验与结果分析· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·26
第四章基于自适应权重分配的模型融合方法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·33
4.1 自适应多模型参数融合· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·33
4.2基于步长缩减机制的局部搜索算法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·35
4.3基于BP神经网络的多元回归建模方法· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·38
4.4实验与结果分析· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·40
第五章基于多教师联合蒸馏的金融情感特征融合模型· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·49
5.1多教师联合蒸馏框架· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·49
5.2蒸馏损失函数设计· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·53
5.3层级映射关系构建· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·58
5.4金融时序特征融合· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·61
5.5联合蒸馏实验与结果分析· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·65
5.6特征融合实验与结果分析· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·72
第六章总结与展望· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·75
参考文献· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·77
攻读硕士学位期间取得的成果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·85
投资者的情绪不仅是影响股票和其他金融产品价格的一个重要因素,也是驱动金融市场运作的一个重要引擎。尽管经典的金融理论假设投资者是理性且冷静的,但大量的研究表明他们存在非理性的行为[1] ,如对股市盲目从众地持乐观或悲观情绪,并且这些非理性行为会直接或间接地影响金融市场。一般来说,主要有两类投资者深度参与金融市场的交易活动,个人和机构。这两类群体通常以不同的方式表达他们的“情绪”,个人投资者更倾向于在社交媒体上表达,而机构投资者则很少直接在公开场合表达他们对市场的看法,他们更偏向于间接地通过新闻媒体或其他途径表达态度[2]。因此,分析金融市场的投资者情绪需要考虑多个信息源的数据。然而,来自多个信息源的金融数据往往具有不同的数据结构。而且随着金融业与互联网的联系愈发密切, 以及大数据、云计算和区块链等一系列新兴技术的快速发展,金融市场数据正在加快朝着多源异构的复杂化趋势发展。同时,金融市场是一个信息交换十分频繁和迅速的动态系统,导致投资者情绪可能在短时间内产生巨动。在这样的背景下,如何综合有效地利用多源异构的金融信息, 以期从财经新闻等金融文本数据中快速而准确地捕捉、衡量投资者情绪是目前迫切需要解决的一个问题。
分析投资者情绪的方法主要可以分为三类,市场指标法[1]、直接调查法[3]和文本分析法[4]。市场指标法和直接调查法在情绪测度方面存在较多缺陷,市场指标法对情绪的反映不够直接和稳定,易受到许多市场噪声的干扰,而直接调查法的数据获取过程存在耗时费力、成本大、代表性差、时效性弱和频率低等问题。而且,这两种方法得到的结果均存在滞后性,不能对投资者情绪进行实时分析。因此,应用文本分析方法衡量投资者情绪成为了目前该领域的主流研究方向。早期基于文本分析的研究工作在很大程度上依赖于基于情感词典[5]的方法手动提取特征,部分研究人员利用简单的机器学习技术进行投资者情绪分析[6,7] ,如使用朴素贝叶斯分类器、支持向量机和潜在语义分析模型等。近年来,基于深度学习的自然语言处理,Natural Language Processing(NLP)技术由于能够自动地完成特征工程,提高了文本分析的速度和效率,因此越来越多地应用于投资者情绪分析领域。
在NLP领域,虽然不带标签的文本数据非常普遍,但大规模且带标签的文本数据集却并不丰富。为了缓解标注文本数据集的稀缺性,研究人员提出了区别于传统无监督学习的自监督学习,self-supervised learning,方法。在过去的五年时间里, 自监督学习方法加速了一大批影响广泛的预训练语言模型,Pre-trained Language Models(PLMs)的涌现,例如BERT[8],XLNet[9],GPT-4[10]等。尽管PLMs在广泛的NLP任务中取得了惊人的成果,但大多数公开可用的PLMs都是在大规模通用领域语料库上完成预训练的,这导致他们普遍缺乏对具体应用领域专业知识的学习。而金融领域又是一个存在一定知识门槛的行业,其中充斥着大量的专业术语。因此,将在通用领域语料库上完成预训练的语言模型直接应用于解决金融领域中的NLP任务时,其模型性能仍存在进一步提升的
同时,金融市场中信息瞬息万变,当一则重大新闻事件发生时,投资者情绪可能在短时间内反复转变。正因为如此,投资者情绪分析需要实时获取和分析大量的金融文本数据。然而,虽然预训练语言模型提高了文本情感分析任务的准确率,但是其巨大的参数规模,如OpenAI GPT-3[11]具有1750亿个参数,导致它们在实时分析投资者情绪的应用场景下仍然存在较高的推理时延,这个问题在许多交易活动,尤其是高频交易中是不可容忍的。而且,如今可以导致投资者情绪产生波动的信息在数据规模上也在快速膨胀,这意味着预训练语言模型需要具备更快速的文本情感分析能力,但是这与预训练语言模型目前的发展趋势是相悖的。因此,如何在提高预训练语言模型推理效率的同时,还能保证模型从金融数据中识别和分析投资者情感的能力不下降甚至还能提高,也成为当前急需解决的一个问题。
针对目前投资者情绪分析领域的上述问题,本文将从模型和数据两个层面综合性地提出解决方法。从模型的层面,本文首先为预训练语言模型引入一个增量预训练阶段,为预训练语言模型补充金融领域的专业知识。增量预训练将以多任务并行的方式进行,大大节省所需的时间成本。在增量预训练完成之后,本文基于自适应多模型融合方法和多教师联合蒸馏框架训练出一个更适合用于解决金融领域NLP任务的、轻量级参数规模的语言模型。从数据的层面,本文除了使用包括财经新闻、股票留言板评论等在内的文本数据作为训练数据之外,还融合使用了诸如股票收盘价、成交量等市场时序数据。通过融合使用大量多源异构的金融数据,本研究最终得到的语言模型将具有更强的投资者情绪分析能力,更能准确地捕捉与测度投资者的情绪。综上所述,本文的主要目的是设计一个参数规模更小、分析投资者情感更快速且更准确的语言模型。