【华泰金工林晓明团队】基于BERT的分析师研报情感因子——华泰人工智能系列之四十一

来源：华泰金融工程

林晓明   S0570516010001    

              SFC No. BPY421    研究员

李子钰   S0570519110003    研究员

何康       S0570520080004   研究员

王晨宇    S0570119110038   联系人

报告发布时间：2021年1月18日

摘要

本文基于BERT模型构建分析师研报情感因子，因子在最近两年表现优秀

分析师研报对上市公司进行了多层面的研究分析，除了一些已经结构化的分析师因子，研报文字中对于上市公司发表的各种观点和判断也具有很大的挖掘价值。BERT是目前最先进的自然语言处理(NLP)模型，本文梳理了基于BERT的分析师研报因子的构建流程，并构建了研报情感因子senti及其调整因子senti_adj。在因子测试中，senti表现较好，而senti_adj更能体现研报情感因子的增量信息。最后，我们构建了研报情感因子TOP80组合，组合的绝对收益表现优秀，在2019年和2020年分别获得了51.61%和69.69%的绝对收益。

本文梳理了基于BERT的分析师研报情感因子的构建流程

基于BERT的分析师研报情感因子的构建流程为：(1) 下载预训练好的中文BERT模型。(2) 使用Wind有情感标注的金融舆情文本微调模型。(3) 将微调后的模型在无标注的分析师研报摘要上预测情感。(4) 通过摘要文本的情感分析结果构建选股因子。本文使用NLP模型可解释性工具LIT对研报情感分析的结果进行解读，可知BERT模型对于给定研报摘要的情感分析都是比较合理的，做出了与人类相似的判断。

本文构建了研报情感因子senti及其调整因子senti_adj

得到研报摘要中每个句子的情感预测概率后，我们在90个自然日的滚动窗口内，使用线性衰减加权的方式构建研报情感因子senti。考虑到分析师对上市公司的正面评价居多，我们给予负面情感文本更大权重，构建了调整因子senti_adj。为了对比研报情感因子和传统分析师因子，我们用类似的方法构建了研报评分因子report_score和研报数量因子report_num。senti和report_score及report_num的相关性都较高，而senti_adj和其他因子的相关性都较低。在2020年12月底，食品饮料、电子、通信行业的研报情感因子取值较高，说明这些行业的研报正面情感较突出。

因子测试：senti表现较好，senti_adj更能体现研报情感因子的增量信息

本文测试了senti和senti_adj因子及它们对report_score和report_num中性化后残差因子sent_res和senti_adj_res的表现。总体来看，senti在各个股票池内表现最好，但其残差因子senti_res表现最差，说明其大部分信息可被report_score和report_num因子所解释。而senti_adj及其残差因子senti_adj_res的表现相差不大，说明senti_adj因子更能体现出研报情感因子相比report_score和report_num因子的增量信息。senti_adj因子在沪深300、中证500、全A股的多头年化超额收益率分别为5.40%，6.26%，4.39%(回测区间：20100504~20201231)，在最近两年表现优秀。

绝对收益组合：基于研报情感因子的TOP80选股组合表现优秀

本文基于senti因子，构建TOP80组合并回测，构建方法如下：(1)样本空间：中证800成分股。(2)回测区间：2011年1月31日至2020年12月31日。(3)月频调仓，每个月最后一个交易日选择senti因子取值最高的前100只股票，按照流通市值加权的方法，在下一交易日按收盘价调仓，交易成本为双边千分之四。研报情感因子TOP80组合年化收益率为14.90%，组合在2019年和2020年表现优秀，分别获得了51.61%和69.69%的绝对收益。

风险提示：分析师研报情感因子的测试结果是历史表现的总结，存在失效的可能。本文假设金融新闻与分析师研报具有相似的语义结构，该假设是否完全成立本文尚未讨论。模型可解释性工具LIT可能存在过度简化的风险。

基于BERT的文本因子构建流程

本文是探索人工智能模型对于另类数据中信息提取的第二篇报告。在前期报告《舆情因子和BERT 情感分类模型》(2020.10.22)中，我们梳理了Wind的金融舆情数据并构建了高准确度的BERT情感分类模型，该模型可用于更多无标注金融文本的情感分类。

为了提取无标注文本中的Alpha信息，我们提出了图表1所示的基于BERT的文本因子构建流程。

1.  下载预训练好的中文BERT模型。

2.  使用Wind有情感标注的金融舆情文本微调BERT，得到用于判断金融舆情文本情感的模型。

3.  将微调后的BERT模型在无标注的文本上预测情感，本文重点研究的是分析师研报文本。

4.  使用传统的因子构建方法，通过文本的情感分析结果构建选股因子。

我们将在接下来的章节中对图表1中的流程进行详细说明。

基于BERT的金融文本情感分类模型训练

我们在前期报告《舆情因子和BERT 情感分类模型》(2020.10.22)中详细介绍了BERT模型的原理，本文不再赘述。本章主要展示训练数据的准备和训练结果。

预训练BERT模型准备

标准的BERT 模型BERT-base 层数多、参数量大、训练耗时多。本文使用了论文” A Large-scale Chinese Corpus for Pre-training Language Model”中提到的RoBERTa-tiny-clue 模型，该模型通过简化网络结构，在尽量保持BERT 模型优秀表现的前提下，很大程度地加快了模型训练的速度。

微调模型所需数据的说明和微调结果

本文使用Wind底层数据库中的金融新闻数据，该数据有两个特点：(1)每条金融新闻文本已和所涉及的股票对应上。(2)大量新闻已有正负面的情感标注。图表3为Wind金融新闻数据的2条原始数据样本。

我们获取了2017年1月至2020年9月的金融新闻数据，然后按照如下步骤构造训练数据：

1.  筛选出与A股个股相关的新闻。

2.  剔除行情类的新闻以及标题中含有“走强”、“涨”、“跌”、“拉升”和“封板”的新闻。

3.  由于新闻内容冗长且无效信息较多，只提取新闻的标题作为输入模型的文本。

4.  提取文本情感分类结果，将正面新闻打上标签1，将负面新闻打上标签0。

5.  进行随机欠采样，即对负面新闻进行随机抽样，使得正负面新闻数量相同。

6.  训练集样本数量总共有86503条，验证集样本总共有43252条，测试集样本总共有43251条。

训练时模型的主要参数如下：

微调完成后，模型在测试集上的准确率为0.9833，AUC为0.9762，具有很高的预测精度，说明BERT模型学会了如何判断金融文本的情感。

使用BERT模型预测分析师研报情感并构建因子

分析师研报中包含了分析师对上市公司多层面的研究分析，除了一些已经结构化的分析师因子，研报文字中对于上市公司发表的各种观点和判断也具有很大的挖掘价值。研报的各个组成部分中，摘要相比标题来说更加丰富，相比正文来说更加归纳凝练，因此我们将以研报中的摘要作为重点研究对象。

研报文本的预处理

我们从朝阳永续数据库的CMB_REPORT_RESEARCH表获取了2010年1月至2020年12月的研报文本数据，文本的预处理流程如下：

1.  筛选出与A股个股相关的研报，提取每篇研报的摘要部分。

2.  剔除摘要文本中的转义字符，并将摘要“风险提示”后的内容删除。

3.  将每篇研报的摘要按句号分割，使得每篇研报形成多个文本。

4.  将无实际意义的样本删除，例如以“数据来源”和“相关资料”等作为开头的文本。

BERT模型预测结果

在按上一节的步骤构造了测试数据后，我们使用训练好的BERT模型对摘要中每一句文本的情感得分进行预测。图表5展示了于2017年12月29日发布的研报《上汽集团(15.650, -0.08, -0.51%)投资主题：高股息率》的预测结果。

接下来，我们使用模型可解释性工具Language Interpretability Tool (LIT，GitHub地址：https://github.com/PAIR-code/lit)中的Salience Maps模块来理解BERT模型的预测结果，该模块可展示BERT模型在预测文本情感时重点关注哪些字符。

首先分析两条正面的研报文本。由下图可知，在预测正面文本1时，BERT模型认为“上升”等字符重要性较高；在预测正面文本2时，BERT模型认为“向好”、“稳健”等字符重要性较高。

接下来分析两条负面的研报文本。由下图可知，在预测负面文本1时，BERT模型认为“透支”、“不容乐观”等字符重要性较高；在预测负面文本2时，BERT模型认为“竞争加剧”、“下滑”等字符重要性较高。

由以上的案例可见，无论是从预测的准确性和可解释性上来看，BERT模型对于这篇研报摘要的情感分析都是比较合理的，做出了与人类相似的判断。

分析师研报情感因子构建

在朝阳永续数据库的CMB_REPORT_RESEARCH表中，研报文本数据有CREATE_DATE和INTO_DATE两个属性，前者为文本的创建时间，后者为文本进入数据库的时间，需要注意的是，文本只有在进入数据库之后才是可用的。获得研报摘要中每个句子的情感判断后，即可采用传统的因子构建方法构建因子，步骤如下：

1.  将BERT模型预测样本为正面的概率减去0.5后得到的值作为该样本的情感得分，使得中性文本的情感得分约为0。

2.  对于每个入库日t，若t为交易日，则取该日过去90个自然日的研报数据，否则跳过。

3.  在上述90个自然日的研报数据中，对于每个研报的创建日期c和每只个股i，将日期c中每篇研报摘要文本的情感得分取平均作为研报的情感得分，若个股i在当日有多篇研报，则对多篇研报的情感得分再进行平均，得到c当日每只个股i的情感得分Scorei,c，若个股i在c当日无研报则情感得分为空。

4.  按照时间先后对上述90个自然日的个股情感得分求线性衰减加权和(越靠近的情感得分权重越大)，得到当日的研报情感因子，该研报情感因子我们命名为senti。

然而，我们在分析BERT模型预测结果时发现，预测为正面情感的样本数量约为预测为负面情感的样本数量的3倍。这是一个比较合理的结果，因为总体上来说分析师对于上市公司的正面评价居多。考虑到该现象的存在，我们构建了一个调整后的研报情感因子senti_adj，因子的构建方法为：

将BERT模型预测样本为正面的概率减去0.5，如果取值小于0，则将该取值乘3倍，增大负面样本的权重；如果取值大于0，则不做处理。接下来按照senti因子的2、3、4步构造senti_adj因子。

为了对比研报情感因子和传统分析师因子，我们用类似的方法构建以下两个因子。

1.  研报评分因子report_score：

取CMB_REPORT_RESEARCH表中SCORE_ID字段(Go-Goal评级ID)，该字段是朝阳永续整理的研报评级，取值如图表11所示。然后按照研报情感因子的2、3、4步构造因子。

2.  研报数量因子report_num：

对每只股票，取其过去90个自然日的研报数据，在同一天内计算当天的研报总数，然后按照图表10的线性衰减加权方法计算因子值。

研报情感因子测试

本章我们对两个研报情感因子和两个对比因子进行系统的测试，测试框架如下。

研报情感因子的覆盖度

图表13为各成分股中研报情感因子的覆盖度，senti和senti_adj的覆盖度完全一致，可见沪深300成分股内覆盖度最高。

图表14展示了各中信一级行业中研报情感因子的逐年平均覆盖度和2010年以来的覆盖度均值。

研报情感因子的行业间差异

研报情感因子在各个行业的分布有差异性，在2020年12月底，食品饮料、电子、通信行业的senti因子和senti_adj因子取值较高，说明这些行业的研报正面情感较突出。

研报情感因子和其他因子的相关性

图表17为研报情感因子和其他因子的相关系数，这里我们加入了另外两个分析师一致预期因子一致预期ROE和一致预期EPS进行对比。可知，senti因子和report_score及report_num因子的相关性都较高，而senti_adj因子和其他因子的相关性都较低。

单因子测试方法简介

回归法

回归法是一种最常用的测试因子有效性的方法，具体做法是将第T期的因子暴露度向量与(T+1)期的股票收益向量进行线性回归，所得到的回归系数即为因子在T期的因子收益率，同时还能得到该因子收益率在本期回归中的显著度水平——t值。在某截面期上的个股的因子暴露度(Factor Exposure)即指当前时刻个股在该因子上的因子值。第T期的回归模型具体表达式如下。

回归模型构建方法如下：

1.  股票池：沪深300成分股、中证500成分股，全A股，剔除ST、PT股票，剔除每个截面期下一交易日停牌的股票。

2．回溯区间：2010/5/4～2020/12/31。

3．截面期：每个月最后一个交易日计算因子值，与该截面期之后一个月的个股收益进行回归。

4.  数据处理方法：

   a)  中位数去极值：设第T期某因子在所有个股上的暴露度向量为Di，DM为该向量中位数，DM1为向量|Di-DM|的中位数，则将向量Di中所有大于DM+5DM1的数重设为DM+5DM1，将向量中Di所有小于DM-5DM1的数重设为DM-5DM1；

   b)  中性化：以行业及市值中性化为例，在第T期截面上用因子值(已去极值)做因变量、对数总市值因子(已去极值)及全部行业因子(0/1哑变量)做自变量进行线性回归，取残差作为因子值的一个替代，这样做可以消除行业和市值因素对因子的影响；

   c)  标准化：将经过以上处理后的因子暴露度序列减去其现在的均值、除以其标准差，得到一个新的近似服从N(0,1)分布的序列，这样做可以让不同因子的暴露度之间具有可比性；

   d)  缺失值处理：因本文主旨为单因子测试，为了不干扰测试结果，如文中未特殊指明均不填补缺失值(在构建完整多因子模型时需考虑填补缺失值)。

5.  回归权重：由于普通最小二乘回归(OLS)可能会夸大小盘股的影响(因为小盘股的财务质量因子出现极端值概率较大，且小盘股数目很多，但占全市场的交易量比重较小)，并且回归可能存在异方差性，故我们参考Barra手册，采用加权最小二乘回归(WLS)，使用个股流通市值的平方根作为权重，此举也有利于消除异方差性。

6.  因子评价方法：

   a)  t值序列绝对值均值——因子显著性的重要判据；

   b)  t值序列绝对值大于2的占比——判断因子的显著性是否稳定；

   c)  t值序列均值——与a)结合，能判断因子t值正负方向是否稳定；

   d)  因子收益率序列均值——判断因子收益率的大小。

IC值分析法

因子的IC值是指因子在第T期的暴露度向量与T+1期的股票收益向量的相关系数，即

ICT=corr(rT+1，XT)

上式中因子暴露度向量XT一般不会直接采用原始因子值，而是经过去极值、中性化等手段处理之后的因子值。在实际计算中，使用Pearson相关系数可能受因子极端值影响较大，使用Spearman秩相关系数则更稳健一些，这种方式下计算出来的IC一般称为Rank IC。IC值分析模型构建方法如下：

1.  股票池、回溯区间、截面期均与回归法相同。

2.  先将因子暴露度向量进行一定预处理(下文中会指明处理方式)，再计算处理后的T期因子暴露度向量和T+1期股票收益向量的Spearman秩相关系数，作为T期因子Rank IC值。

3.  因子评价方法：

   a)  Rank IC值序列均值——因子显著性；

   b)  Rank IC值序列标准差——因子稳定性；

   c)  IC_IR(Rank IC值序列均值与标准差的比值)——因子有效性；

   d)  Rank IC值序列大于零的占比——因子作用方向是否稳定。

分层回测法

依照因子值对股票进行打分，构建投资组合回测，是最直观的衡量因子优劣的手段。分层测试法与回归法、IC值分析相比，能够发掘因子对收益预测的非线性规律。也即，若存在一个因子分层测试结果显示，其Top组和Bottom组的绩效长期稳定地差于Middle组，则该因子对收益预测存在稳定的非线性规律，但在回归法和IC值分析过程中很可能被判定为无效因子。分层测试模型构建方法如下：

1.  股票池、回溯区间、截面期均与回归法相同。

2.  换仓：在每个截面期核算因子值，构建分层组合，在截面期下一个交易日按当日收盘价换仓，交易费用以双边千分之四计。

3.  分层方法：因子暴露度向量XT先用中位数法去极值，然后进行市值、行业中性化处理(方法论详见上一小节)，将股票池内所有个股按因子从大到小进行排序，等分N层，每层内部的个股等权配置。当个股总数目无法被N整除时采用任一种近似方法处理均可，实际上对分层组合的回测结果影响很小。

4.  多空组合收益计算方法：用Top组每天的收益减去Bottom组每天的收益，得到每日多空收益序列r1,r2,…,rn，则多空组合在第n天的净值等于(1+r1)(1+r2)…(1+rn)。

评价方法：全部N层组合年化收益率(观察是否单调变化)，多空组合的年化收益率、夏普比率、TOP组合信息比率、月胜率等。

研报情感因子测试结果

本章将展示senti和senti_adj因子的测试结果，为了分析它们相对report_score和report_num因子是否有增量信息，将senti因子与report_score和report_num因子回归取残差得到senti_res因子，将senti_adj因子与report_score和report_num因子回归取残差得到senti_adj_res因子。考虑到篇幅的限制，本节不展示report_score和report_num因子的测试结果，感兴趣的读者可参见附录。

回归法和IC值分析法

图表18展示了研报情感因子及其残差因子的回归法和IC值分析法结果。总体来看，senti在各个股票池内表现最好，但其残差因子senti_res表现最差，说明其大部分信息可被report_score和report_num因子所解释。而senti_adj及其残差因子senti_adj_res的表现相差不大，且优于senti_res，说明senti_adj因子更能体现出研报情感因子相比report_score和report_num因子的增量信息。

分层测试法

图表19~图表25展示了研报情感因子及其残差因子的分层测试结果。从各项指标来看，分层测试的结论与回归法和IC值分析法一致。

图表26~图表28展示了残差因子的TOP组合相对等权基准的超额收益，可知在各个股票池内senti_adj_res表现都优于senti_res。

研报情感因子的行业内选股效果

图表29和图表30分别展示了senti和senti_adj因子在行业内选股的测试结果。由于综合行业和综合金融行业因子覆盖度太低，不做测试。

基于研报情感因子的TOP80选股组合构建

本章基于senti因子，构建TOP80组合并回测，构建方法如下：

1.  样本空间：中证800成分股。

2.  回测区间：2011年1月31日至2020年12月31日。

3.  月频调仓，每个月最后一个交易日选择senti因子取值最高的前100只股票，按照流通市值加权的方法，在下一交易日按收盘价调仓，交易成本为双边千分之四。

图表31~图表33为回测结果，研报情感因子TOP80组合在2019年和2020年表现优秀，分别获得了51.61%和69.69%的绝对收益。

总结和展望

本文是探索人工智能模型对于另类数据中信息提取的第二篇报告，总结如下：

1.  本文梳理了基于BERT的分析师研报情感因子构建流程。该流程为：(1) 下载预训练好的中文BERT模型。(2) 使用Wind有情感标注的金融舆情文本微调模型。(3) 将微调后的模型在无标注的分析师研报摘要上预测情感。(4) 通过摘要文本的情感分析结果构建选股因子。本文使用NLP模型可解释性工具LIT对研报情感分析的结果进行解读，可知BERT模型对于给定研报摘要的情感分析都是比较合理的，做出了与人类相似的判断。

2.  本文构建了研报情感因子senti及其调整因子senti_adj。得到研报摘要中每个句子的情感预测概率后，我们在90个自然日的滚动窗口内，使用线性衰减加权的方式构建研报情感因子senti。考虑到分析师对上市公司的正面评价居多，我们给予负面情感文本更大权重，构建了调整因子senti_adj。为了对比研报情感因子和传统分析师因子，我们用类似的方法构建了研报评分因子report_score和研报数量因子report_num。senti和report_score及report_num的相关性都较高，而senti_adj和其他因子的相关性都较低。在2020年12月底，食品饮料、电子、通信行业的研报情感因子取值较高，说明这些行业的研报正面情感较突出。

3.  因子测试：senti表现较好，senti_adj更能体现研报情感因子的增量信息。本文测试了senti和senti_adj因子及它们对report_score和report_num中性化后残差因子sent_res和senti_adj_res的表现。总体来看，senti在各个股票池内表现最好，但其残差因子senti_res表现最差，说明其大部分信息可被report_score和report_num因子所解释。而senti_adj及其残差因子senti_adj_res的表现相差不大，说明senti_adj因子更能体现出研报情感因子相比report_score和report_num因子的增量信息。senti_adj因子在沪深300、中证500、全A股的多头年化超额收益率分别为5.40%，6.26%，4.39%(回测区间：20100504~20201231)，在最近两年表现优秀。

4.  绝对收益组合：基于研报情感因子的TOP80选股组合表现优秀。本文基于senti因子，构建TOP80组合并回测，构建方法如下：(1)样本空间：中证800成分股。(2)回测区间：2011年1月31日至2020年12月31日。(3)月频调仓，每个月最后一个交易日选择senti因子取值最高的前100只股票，按照流通市值加权的方法，在下一交易日按收盘价调仓，交易成本为双边千分之四。研报情感因子TOP80组合年化收益率为14.90%，夏普比率为0.58，组合在2019年和2020年表现优秀，分别获得了51.61%和69.69%的绝对收益。

基于BERT的分析师研报因子构建流程依然有改进的空间：

1.  该流程的假设是金融新闻与分析师研报具有相似的语义结构，才能将模型在不同的数据间迁移，该假设是否完全成立本文尚未讨论。未来可以参考迁移学习中的领域自适应方法(domain adaptation)进行改进。

2.  不同行业上市公司的研报可能有不同的语义特征，训练针对单行业的NLP模型或许是改进方向。

风险提示

分析师研报情感因子的测试结果是历史表现的总结，存在失效的可能。本文假设金融新闻与分析师研报具有相似的语义结构，该假设是否完全成立本文尚未讨论。模型可解释性工具LIT可能存在过度简化的风险。

附录: report_score和report_num因子测试结果

图表34~图表35为report_score和report_num因子的回归、IC、分层测试结果。

免责声明与评级说明

公众平台免责申明

本公众号不是华泰证券(17.620, -0.03, -0.17%)股份有限公司（以下简称“华泰证券”）研究报告的发布平台，本公众号仅供华泰证券中国内地研究咨询服务客户参考使用。其他任何读者在订阅本公众号前，请自行评估接收相关推送内容的适当性，且若使用本公众号所载内容，务必寻求专业投资顾问的指导及解读。华泰证券不因任何订阅本公众号的行为而将订阅者视为华泰证券的客户。

本公众号转发、摘编华泰证券向其客户已发布研究报告的部分内容及观点，完整的投资意见分析应以报告发布当日的完整研究报告内容为准。订阅者仅使用本公众号内容，可能会因缺乏对完整报告的了解或缺乏相关的解读而产生理解上的歧义。如需了解完整内容，请具体参见华泰证券所发布的完整报告。

本公众号内容基于华泰证券认为可靠的信息编制，但华泰证券对该等信息的准确性、完整性及时效性不作任何保证，也不对证券价格的涨跌或市场走势作确定性判断。本公众号所载的意见、评估及预测仅反映发布当日的观点和判断。在不同时期，华泰证券可能会发出与本公众号所载意见、评估及预测不一致的研究报告。

在任何情况下，本公众号中的信息或所表述的意见均不构成对任何人的投资建议。订阅者不应单独依靠本订阅号中的内容而取代自身独立的判断，应自主做出投资决策并自行承担投资风险。订阅者若使用本资料，有可能会因缺乏解读服务而对内容产生理解上的歧义，进而造成投资损失。对依据或者使用本公众号内容所造成的一切后果，华泰证券及作者均不承担任何法律责任。

本公众号版权仅为华泰证券所有，未经华泰证券书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人等任何形式侵犯本公众号发布的所有内容的版权。如因侵权行为给华泰证券造成任何直接或间接的损失，华泰证券保留追究一切法律责任的权利。华泰证券具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J。

华泰金工深度报告一览

扫二维码 领开户福利！

免责声明：自媒体综合提供的内容均源自自媒体，版权归原作者所有，转载请联系原作者并获许可。文章观点仅代表作者本人，不代表新浪立场。若内容涉及投资建议，仅供参考勿作为投资依据。投资有风险，入市需谨慎。

海量资讯、精准解读，尽在新浪财经APP