雷火竞技首页

一种基于情感分类模型的股市投资者情绪指标选择方法
发布时间:2026-11-08
 导航:X技术最新专利计算;推算;计数设备的制造及其应用技术  1.本发明属于投资者情绪测度领域,具体涉及一种基于情感分类模型的股市投资者情绪指标选择方法。  2.股市的大起大落与实体经济的走势有较大的波动背离,政策的波动、国际国内经济形势变化复杂是股市行情千回陡转的重要原因,而投资者情绪的助涨助跌也“功不可没”。由于无法预期未来可能发生的市场变动走向以及变动程度,投资者间出现了“羊群效应”的“

  导航:X技术最新专利计算;推算;计数设备的制造及其应用技术

  1.本发明属于投资者情绪测度领域,具体涉及一种基于情感分类模型的股市投资者情绪指标选择方法。

  2.股市的大起大落与实体经济的走势有较大的波动背离,政策的波动、国际国内经济形势变化复杂是股市行情千回陡转的重要原因,而投资者情绪的助涨助跌也“功不可没”。由于无法预期未来可能发生的市场变动走向以及变动程度,投资者间出现了“羊群效应”的“追涨杀跌”,加剧了股市的波动性,也使得金融市场的风险系数大大提升,造成金融市场动荡。

  3.基于大数据在数据分析和走势预测方面的重要作用,同时运用多元统计分析、主成分分析、回归分析等多种分析方法,结合大数据技术中的网络爬虫、聚类等方式获得海量数据,建立投资者情绪指标体系,借此了解情绪在投资者投资时所产生的影响,以此为广大投资者提供股市波动风险的预警功能,从而提升对股市波动风险的预防能力。

  4.传统的金融理论认为股价是上市公司的预期利润的贴现,但在实际交易过程当中,股票价格的形成在较大程度上也依赖于投资者的情绪心理。投资者情绪是指投资者对未来预期的系统性偏差称作投资者情绪。投资者情绪难以度量,不能及时反映市场参与者的投资意愿或者预期,从而造成股市波动,造成用户经济损失。

  5.为解决以上现有技术存在的问题,本发明提出了一种基于情感分类模型的股市投资者情绪指标选择方法,该方法包括:该方法包括:实时获取股评数据,对获取的股评数据进行预处理;将预处理后的数据输入到训练好的情感分类模型中,得到股评情感分类结果;将股评情感分类结果输入到构建好的投资者情绪指标预测模型中,预测下一个时间段中投资者的情绪指标;根据预测的投资者情绪指标对股市进行调控。

  6.优选的,获取的股评数据包括封闭式基金折价率、工业增加值、宏观经济景气指数、单月新增投资者开户数、消费者价格指数、股市情绪互联网关键词搜索频次指标、投资者信心指数、市场换手率以及ipo数量及首日收益率。

  7.优选的,对评股数据进行预处理的过程包括:对股评初始数据集中的数据进行清洗,删除重复的数据;对清洗后的数据插入索引;根据索引对清洗后的数据进行抽取,得到抽取数据集;对抽取数据集中具有相同结构的数据进行合并,得到有效评估数据集;将有效评估数据集中的数据划分为训练集和测试集;训练集用于训练情感分类模型,测试集用于对训练好的情感分类模型进行测试。

  8.进一步的,对清洗后的数据插入索引的过程包括:将情感词典和hownet词典合并,构成股票评论情感分类的金融情感词典;根据金融情感词典建立索引数据集;将索引数据集中的索引与清洗后的数据进行匹配,得到待索引的数据。

  9.进一步的,根据索引对清洗后的数据进行抽取的过程包括:筛选出每个数据里的情感词,将筛选出的情感词作为数据的主要字段,抽取清洗后数据的所有字段,利用基于词典的语义分析方法对抽取的字段进行拆分,得到每一条数据的情感分类属性,根据情感分类属性判断评论数据的涨跌情绪倾向,并对当前数据的索引进行更新;抽取部分清洗后的数据作为样本数据,将样本数据按5:1的数据数量比建立机器学习的训练集和测试集,并记录抽取的数据;对记录抽取的数据进行随机取样,根据更新后的索引对随机取样得到的数据进行抽取,得到索引抽取数据集;对索引取样数据进行字典数据抽取,得到抽取数据集。

  10.进一步的,对抽取数据集中具有相同结构的数据进行合并的过程包括:对抽取数据集中的数据进行记录合并、字段合并以及字段匹配,得到有效评估数据集;所述记录合并为将抽取数据集中两个结构相同的数据框合并为一个数据框,即在一个数据框中增加另一个具有相同结构数据框中欧给的记录数据;所述字段合并为将抽取数据集中同一个数据框中的不同列数据进行合并,形成新的列;所述字段匹配为采用merge函数对数据框中的数据进行匹配。

  11.优选的,情感分类模型为的支持向量模型;对支持向量机模型中进行训练过程包括:采用语义分析情感词典匹配方法对训练集中的股评数据进行处理,得到标准化股评数据集;将标准化股评数据集的数据输入到支持向量机模型中,提取标准化股评数据集中数据的原始的特征空间;通过核方法将原始的特征空间映射至更高维的希尔伯特空间;将数据集分为两类的决策边界超平面作为最优超平面,使得超平面与数据集边界的间隔最大化,进而使得支持向量模型将股评数据分为两类;采用铰链损失函数计算数据的经验风险并在模型的求解系统中加入正则化项以优化结构风险,当结构风险最小时,完成模型的训练。

  14.优选的,投资者情绪指标预测模型对数据进行处理的过程包括:投资者情绪指标预测模型对数据进行处理的过程包括:根据股评情感分类结果计算“发布者

  关注者”bsi指标对股评数据指标进行主成分分析,选取相应的指标;采用多元回归模型对选取的指标进行处理,得到下一个时间段中投资者的情绪指标。

  关注者”的综合情感倾向值sv的过程包括:采用对数调整或者比值调整股评情感倾向,并设置情感倾向权重;利用加法合成方法或者乘法合成的方法计算股评的整体感情倾向,得到每条股评的四种“发布者

  24.本发明通过构建投资者情绪指标预测模型,采用该模型对股市投资者的情绪进行预测,有利于多角度,更全面地找到投资者情绪与股票市场的联系,从而提高股票收益率;利用构建的投资者情绪指标体系对市场情况进行预测供投资者参考,避免投资者因情绪导致对股价的估价过高或过低以及过度交易的投资行为。

  25.图1为本发明的基于情感分类模型的股市投资者情绪指标预测方法的流程图。

  26.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

  27.一种基于情感分类模型的股市投资者情绪指标选择方法,如图1所示,该方法包括:实时获取股评数据,对获取的股评数据进行预处理;将预处理后的数据输入到训练好的情感分类模型中,得到股评情感分类结果;将股评情感分类结果输入到构建好的投资者情绪指标预测模型中,预测下一个时间段中投资者的情绪指标;根据预测的投资者情绪指标对股市进行调控。

  28.对屏股数据进行预处理的过程包括:对股评初始数据集中的数据进行清洗,删除重复的数据;对清洗后的数据插入索引;根据索引对清洗后的数据进行抽取,得到抽取数据集;对抽取数据集中具有相同结构的数据进行合并,得到有效评估数据集;将有效评估数据集中的数据划分为训练集和测试集;训练集用于训练情感分类模型,测试集用于对训练好的情感分类模型进行测试。

  29.对清洗后的数据插入索引的过程包括:将情感词典和hownet词典合并,构成股票评论情感分类的金融情感词典;根据金融情感词典建立索引数据集;将索引数据集中的索引与清洗后的数据进行匹配,得到待索引的数据。

  30.根据索引对清洗后的数据进行抽取的过程包括:筛选出每个数据里的情感词,将筛选出的情感词作为数据的主要字段,抽取清洗后数据的所有字段,利用基于词典的语义分析方法对抽取的字段进行拆分,得到每一条数据的情感分类属性,根据情感分类属性判断评论数据的涨跌情绪倾向,并对当前数据的索引进行更新;抽取部分清洗后的数据作为实验数据,按照5:1的数据数量比建立机器学习的训练集和测试集,并记录抽取的数据;对记录抽取的数据进行随机取样,根据更新后的索引对随机取样得到的数据进行抽取,得到索引抽取数据集;对索引取样数据进行字典数据抽取,得到抽取数据集。

  31.对抽取数据集中具有相同结构的数据进行合并的过程包括:对抽取数据集中的数据进行记录合并、字段合并以及字段匹配,得到有效评估数据集;所述记录合并为将抽取数据集中两个结构相同的数据框合并为一个数据框,即在一个数据框中增加另一个具有相同结构数据框中欧给的记录数据;所述字段合并为将抽取数据集中同一个数据框中的不同列数据进行合并,形成新的列;所述字段匹配为采用merge函数对数据框中的数据进行匹配。

  32.根据索引对清洗后的数据进行抽取的过程包括:筛选出每个数据里的情感词,将筛选出的情感词作为数据的主要字段,抽取清洗后数据的所有字段,利用基于词典的语义分析方法对抽取的字段进行拆分,得到每一条数据的情感分类属性,根据情感分类属性判断评论数据的涨跌情绪倾向,并对当前数据的索引进行更新;抽取部分清洗后的数据作为实验数据,按照5:1的数据数量比建立机器学习的训练集和测试集,并记录抽取的数据;对记录抽取的数据进行随机取样,根据更新后的索引对随机取样得到的数据进行抽取,得到索引抽取数据集;对索引取样数据进行字典数据抽取,得到抽取数据集。

  33.一种基于情感分类模型的股市投资者情绪指标选择方法的具体实施方案,包括以下步骤:对于投资者情绪体系的构建,使用大数据策略对投资者情绪指标进行数据获取,通过数据清洗,清除与股票无关的数据和重复的股票评论数据;对于特殊的文本信息指标,利用机器学习和基于语义理解的情感词典匹配方法,采用对数调整和加法乘法合成的形式,将投资者情绪数据样本按各自的特性来分成不同的簇,并且要使簇与簇之间的区别尽可能的大,而簇内的数据的差异尽可能的小,进而构造出所需要的投资者情绪指标。然后对不同指标变量进行归一化处理,消除量纲的影响,进而使用主成分分析确定各指标的权重,建立相应的多元回归模型。利用所得到的模型对数据进行预测,通过对比预测函数和实例函数确定投资者情绪的滞后效应,并对当期市场表现进行修正,从而提升了预测模型的准确性。

  34.获取的股评数据包括封闭式基金折价率(cefd)、工业增加值(iav)、宏观经济景气指数(mbci)、单月新增投资者开户数、消费者价格指数(cpi)、股市情绪互联网关键词搜索频次指标(ebs)、投资者信心指数、ipo数量及首日收益率以及市场换手率。

  35.封闭式基金折价率(cefd)与开放式基金相比较,封闭式基金的基金份额是固定的,在封闭期间期限内未经法定程序认可不能增减。其交易价格主要受二级市场供求关系的影响,封闭式基金二级市场的交易价格与基金份额净值关系会随需求的旺盛或低迷出现溢价或折价现象。其公式表达式为:

  当单位市价大于基金份额净值时,溢价率>0时,称为溢价;当单位市价小于基金份额净值时,溢价率<0,成为折价。

  ipo数量是指当月ipo的个数。ipo数量可以很好地反映出市场的当前经济状况,为投资者情绪的重要变量。ipo首日收益率为投资者首日收盘价与发价的变动幅度。投资者情绪与ipo首日收益率之间有相互的正向影响。

  单月新增投资者开户数主要反映投资者对股市的投资需求,可以比较直接的对投资者情绪进行反映。开户数的增加反映了投资者情绪的高涨,减少则反映出投资者情绪的低迷。

  投资者信心指数为传统模式下投资者信心指数的数据,但是消费者信心指数不能精准的代表投资者情绪,因此,通过大数据技术来获取海量有关投资者信心指数的数据以供分析,更精准的刻画了投资者情绪。

  市场换手率反应股票流动性,股票的换手率越高,股票的交投越活跃,则股票流通性好,进出市场比较容易,具有较强的变现能力。投资者情绪与换手率呈正向影响,其公式为:

  消费者价格指数(cpi)是最重要的宏观经济指标,消费者价格指数既是测度通货膨胀水平的重要指标,也是用于评估居民生活成本的变化,从而为宏观经济调控提供操作依据。cpi的基本功能有度量通货膨胀,反应货币购买力变动、反应对职工实际工资的影响。cpi对股市的影响是:一般情况下,物价上涨,股价上涨;物价下跌,股价也下跌。

  增加值是国民经济核算的一项基础指标。各部门增加值之和即国内生产总值,它反映的是一个国家(地区)在一定期时期内所生产的和提供的全部最终产品和服务的市场价值的总和,同时也反映了生产单位或部门对国内生产总值的贡献。

  宏观经济景气指数即“企业家信心指数”,反映企业家对宏观经济环境的感受与信心,预测经济发展的变动趋势的指标。根据企业家对企业外部市场经济环境与宏观政策的认识、看法、判断与预期而编制。信心指数高,表明处于景气状态,经济运行向好的方向发展;信心指数低,则表明处于不景气状态,经济运行向不利的方向发展。

  关注者bsi指标,主要基于大数据爬虫收集获取股吧有关股票的相关评论中包含着发布者和评论者两方面的情感信息,利用情感倾向合成的方法构建投资者共同倾向指标。

  对股评初始数据集进行预处理的过程包括:对股评初始数据集中的数据进行清洗;对清洗后的数据插入索引;根据索引对清洗后的数据进行抽取,得到抽取数据集;对抽取数据集中具有相同结构的数据进行合并,得到有效评估数据集。

  在海量的原始数据中存在大量不完整、不一致、有异常的数据,严重影响数据分析结果;因此,需要对原始数据进行清洗,即处理缺失数据以及清除无意义的信息,即删除原始数据集中的无关数据、重复数据以及平滑噪声数据,并筛选出与分析主题无关的数据和处理缺失值、异常值。处理重复值的具体步骤为:(1)利用数据框dataframe中的删除重复数据函数duplicated返回一个布尔型的系列数据series,显示是否有重行;(2)在利用dataframe中的去重方法drop_duplicates返回一个移除了重复行的数据框dataframe。对缺失值进行处理包括缺失数据的识别和缺失数据的处理两个部分。对缺失数据的处理方式还包括:数据补齐、删除对应行、不处理等方法。

  优选的,根据索引对清洗后的数据进行抽取的过程包括:抽取清洗后的数据的字段,对抽取的字段进行拆分,得到每一条数据的情感分类属性,可用其判断评论数据的涨跌情绪倾向;根据字段拆分结果重置当前数据的索引;抽取所有清洗后的数据的部分数据作为实验数据,按照5:1的数据数量比,建立机器学习的训练集和测试集并记录抽取;对记录抽取的数据进行随机取样,根据更新后的索引对随机取样得到的数据进行抽取,得到索引抽取数据集;对索引取样数据进行字典数据抽取,得到抽取数据集。

  可选的,对抽取数据集中具有相同结构的数据进行合并的过程包括:记录合并、字段合并以及字段匹配;所述记录合并为将抽取数据集中两个结构相同的数据框合并为一个数据框,即在一个数据框中增加另一个具有相同结构数据框中欧给的记录数据;所述字段合并为将抽取数据集中同一个数据框中的不同列数据进行合并,形成新的列;所述字段匹配为采用merge函数对数据框中的数据进行匹配;字段匹配的命令格式为merge(x,y,left_on,right_on)。

  情感分类模型为的支持向量模型;对支持向量机模型中进行训练过程包括:采用

  语义分析情感词典匹配方法对训练集中的股评数据进行处理,得到标准化股评数据集;将标准化股评数据集的数据输入到支持向量机模型中,提取标准化股评数据集中数据的原始的特征空间;通过核方法将原始的特征空间映射至更高维的希尔伯特空间,令将数据集分为两类的作为决策边界的超平面为最优超平面,使得超平面与数据集边界(即支持向量)的间隔最大化,进而使得支持向量模型将股评数据分为两类;采用铰链损失函数计算数据的经验风险并在模型的求解系统中加入正则化项以优化结构风险,当结构风险最小时,完成模型的训练。具体的,将训练数据集输入到情感分类模型中进行训练的过程包括:

  s1:利用机器学习svm方法进行情感分类。其主要步骤包括:利用用分词软件对文本进行分词和词性标注,对文本进行预处理;采用向量空间模型表示文本;应用支持向量机svm算法分类器判断情感极性。

  s2:利用语义分析方法进行情感分类。其主要步骤包括:对股评数据集进行分词筛选然后将人工标注的情感词典和hownet词典合并,得到股评情感分类的金融情感词典,建立索引数据集;赋权匹配得到有效股评数据集。

  s3:通过分类结果中的召回率吧、准确率和f值等指标判定语义分析情感词典匹配方法和svm机器学习方法的优劣性,选用较优模型。

  投资者情绪指标预测模型对数据进行处理的过程包括:根据股评情感分类结果计算“发布者

  关注者”bsi指标对股评数据指标进行主成分分析,选取合适的指标;采用多元回归模型对选取的指标进行处理,得到下一个时间段中投资者的情绪指标。

  关注者”综合情感倾向值sv。其主要步骤包括:设定股评的投资者情感倾向劣于发布者,利用对数和比值的方法调整倾向权重;采用加法或乘法合成的方式合成情感倾向,最终构建出四种情感倾向值:

  其中:n表示该条评论受到多少其他投资者关注,即该条评论的关注度,在sv

  中1+n的设置确保当关注度为0时,对数值为0,且该条股票评论的整体情感倾向值为1,在sv

  中,e为自然对数底数,ln(e+n)的设置确保评论关注度为0时,对数值为1。

  关注者”bsi指标。其主要步骤包括:利用股评分类得到的积极倾向结果,采用比值、取对数、做差、求和等方式构建出3类投资者情绪指标bsi,其计算表达式

  三类bsi函数中的sv值可分别利用s1的四种情感倾向值,得到12个bsi指标:第一种情感倾向指标为bsi

  s3:根据回归实证研究的结果(贡献率和相关性)选取合适的bsi,综合股评数据指标,利用主成分分析确定权重,建立相应的多元回归模型进行预测。

  以上所举实施例,对本发明的目的、技术方案和优点进行了进一步的详细说明,所应理解的是,以上所举实施例仅为本发明的优选实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。