作者来自瑞士日内瓦的RAM Active Investments的Systematic Equities Team。论文探讨了如何对大型语言模型（LLMs）进行微调，以利用财经新闻流来预测股票回报。股票回报预测对于量化投资任务，如投资组合构建和优化，是基础且重要的。
Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow
https://aclanthology.org/2024.emnlp-industry.77.pdf
作者提出了比较仅编码器（encoder-only）和仅解码器（decoder-only）的LLMs，因为它们以不同的方式生成文本表示。这些不同表示对回报预测的影响是一个尚未解决的问题。论文比较了两种简单的方法，将LLMs的token级表示集成到预测模块中。
- 来自LLMs的token级嵌入的聚合表示通常可以产生增强长期和短期投资组合性能的回报预测。
- 在相对较大的投资领域中，基于解码器LLMs的预测模型导致更强的投资组合，而在较小的领域中，没有一致的胜者。
- 从LLMs的文本表示中派生的回报预测是构建投资组合的强信号，表现优于传统的情绪分数。
论文出发点
近年来，随着自然语言处理（NLP）技术的进步，文本数据在量化投资中的使用显著增长。特别是，LLMs在各种语言理解和生成任务中表现出色。
量化投资依赖于从市场价格、经济指标、财务文本等多种数据源中提取定量特征或信号，以构建和优化投资组合。
传统的财经新闻应用于选股涉及多步骤的提取和验证过程，包括制定数值特征（如情绪、流行度等），开发特征提取过程（如训练财务情绪分类模型），并通过统计分析或构建预测模型来验证提取特征的预测能力。
LLMs生成的文本数值表示（或嵌入）能够捕捉语义关系，这些表示可以自然地作为预测任务的特征。
大模型与量化投资
LLMs的出现为使用文本数据进行量化投资预测任务提供了新的强大方法。仅编码器模型（如BERT和DeBERTa）专注于学习输入文本的上下文嵌入，而仅解码器模型（如GPT-3和Mistral）则通过预测序列中的下一个token来生成文本。
LLMs在大量文本数据上进行预训练，以学习通用的语言模式。提示技术（prompt technique）是通过设计特定输入来引导预训练的LLM产生所需输出，而无需修改LLM的参数。微调技术则调整预训练LLM的参数，以适应特定任务。
最近的一些工作使用LLMs作为特征提取器，从文本中获得预测信号。例如，通过微调预训练的LLMs来提供更准确的财务情绪分析，或者通过提示从财经新闻和价格历史中提取因子。
论文思路
问题建模
- 投资宇宙：假设一个由一组股票 组成的投资宇宙，其中 代表股票索引。在量化投资中，股票选择过程基于定量标准从宇宙中选择一个子集作为投资组合。
- 股票选择过程：随着市场条件和各种信息的变化，股票选择过程会定期（例如，每周、每月等）重复执行，以更新或重新平衡投资组合。
- LLMs基础回报预测模型：模型包括一个文本表示模块和一个预测模块。目标是通过联合微调预训练的LLM 和训练一个密集层 来实现方程 $ \hat{r}{s,t+\ell} = f \circ g(X{s,<t}) X_{s,<t} W $ 内可用的新闻文本。
设计方法
- LLMs的分类：LLMs可以分为三类：仅编码器、仅解码器和混合编码器-解码器。这些LLMs将文本转换为高维向量表示，但它们的不同预训练目标导致具有不同含义的文本表示。
- 仅编码器与仅解码器LLMs：仅编码器LLMs（如BERT和DeBERTa）主要基于掩码语言建模进行预训练，而仅解码器LLMs（如GPT-3和Mistral）则通过预测序列中的下一个token进行预训练。
- 瓶颈与聚合表示：由于LLMs输出token级别的向量表示，为了获得编码序列的表示，瓶颈表示的思想是在微调期间推动LLMs将序列信息压缩到单个向量表示中。另一种简单的替代方法是允许预测模块聚合所有token的表示，例如通过平均或注意力机制。
具体实现
实验中使用了一种仅编码器LLM DeBERTa和两种仅解码器LLMs，Mistral-7B和Llama3-8B基础模型，并使用均方误差（MSE）作为损失函数。
实验与对比
实验数据
- 使用了2003年至2019年的公司级财经新闻流数据，这些数据由一家金融数据供应商提供。每条新闻都有一个属性，包括新闻主要涉及的公司标识符。
- 同时，研究者们拥有北美（NA）、欧洲（EU）和新兴市场（EM）三个投资宇宙的数据集。
模型思路
- 构建长期投资组合时，选择预测排名在前9%（第9个十分位数）的股票。
- 构建长短仓投资组合时，选择预测排名在前9%（第9个十分位数）和后1%（第0个十分位数）的股票。
- 通过月度再平衡来评估投资组合的表现，并比较不同LLMs构建的投资组合，并与基于FinBERT和FinVADER的情感分析构建的情感投资组合进行比较。
评价指标
- 报告了与下游场景一致的三个十分位数指标：十分位数RMSE、十分位数精度和十分位数回报。
- 对于投资组合回测，报告了累积回报图表和测试期间的年化回报和夏普比率等性能统计数据。
结果分析
- 瓶颈与聚合表示：通过十分位数RMSE、精度和回报比较了三种LLMs在北美宇宙中的瓶颈和聚合表示。结果显示，聚合表示模型通常产生更高的回报，有利于长期投资组合，除了Llama。
- 编码器与解码器LLMs：比较了编码器和解码器LLMs在北美宇宙中的适当表示，即DeBERTa和Mistral的聚合表示，以及Llama的瓶颈表示。解码器LLMs（Mistral和Llama）在前9个十分位数产生高回报，在后1个十分位数产生低回报，从而领先于长短仓投资组合。
- 预测基础与情感基础投资组合：比较了基于预测的投资组合与传统基于情感的投资组合。基于预测的投资组合在回报和夏普比率上优于基于情感的投资组合。
论文总结
- 来自LLMs的token级嵌入的聚合表示通常产生增强投资组合表现的回报预测；
- 在相对较大的投资宇宙中，基于解码器LLMs的预测模型导致更强的投资组合，而在较小的宇宙中，没有一致的胜者；
- 从LLMs的文本表示中派生的回报预测是构建投资组合的强信号，表现优于传统情感分数。
