《金融大数据分析》-课件 第17章 其他另类数据的处理

第17章其他另类数据的处理学习目标理解图像数据在金融市场的应用了解如何使用神经网络对图片进行分析了解音频信息在金融市场中的作用了解如何使用程序进行简单的图片数据分析处理另类数据的意义私有信息对获得超额收益非常重要，但是往往存在合法合规问题公开信息往往已经被反映在资产价格中对已有的数据进行更精细的处理，以获得其他投资者难以获得的信息处理另类数据的意义虽然文本在金融市场中起了非常重要的作用，但是许多公司以及媒体都大量使用文字以外的方式来传播有效的信息卫星图像以及无人机影像都可以给我们提供重要的经济表现的信息公司管理层接受采访都会留下视频以及声音信息可以供我们进行分析有必要使用机器学习方法处理图像、声音等另类数据图像数据及处理图像可以传递多种信息例：库存清点仓库的图像可以让我们快速验证库存数据的准确性首先需要在照片中识别库存物品的种类可以对每一个库存商品进行拍照，并用机器学习的方法对库存的品类进行识别。使用卷积神经网络处理图片使用机器学习方法识别图片生成一个5×5的矩阵，矩阵中0代表白色而1代表黑色。我们可以用左图所示的矩阵来代表字母𝑂，而右图则可以代表字母𝑋。卷积神经网络（CNN）最简单的卷积神经网络有三个主要的结构：卷积层、池化层、全连接层使用卷积神经网络处理图片卷积层有一个或多个卷积核（Kernel），每一个卷积核都是为了检测图中的一些特征卷积核实际上是一个小矩阵，这个矩阵中的的参数先由随机生成，并通过训练不断更新这个矩阵中的参数卷积神经网络（CNN）最简单的卷积神经网络有三个主要的结构：卷积层、池化层、全连接层使用卷积神经网络处理图片卷积层运算步骤将这个卷积核覆盖的区域与卷积核进行点相乘将这个2×2的卷积核矩阵不断的在输入矩阵上移动，从左上角开始慢慢向右下方移动，每次覆盖的区域都进行上述点相乘，然后再加上一个误差项完成这一步骤后，我们会得到一个新的4×4的矩阵，即特征图可以使用ReLU函数对特征图进行进一步处理使用卷积神经网络处理图片每一个卷积核都是为了检测图中的一些特征比如说代表𝑋的矩阵在2×2的空间中会展现出大量对角线的图样，而代表𝑂的矩阵则会有更多垂直即平行的图样值得注意的是，卷积核以及池化窗口往往采用的长与宽都是奇数，此处为了解释方便，使用了更小的2×2的窗口使用卷积神经网络处理图片用池化层（PoolingLayer）来处理特征图中的数据定义一个小的范围（例如2×2），称为池化窗口，并将这个池化窗口放置于特征图上，对这个窗口中的数据进行池化如图17.4，我们在特征图中生成了四个池化窗口，每个池化窗口覆盖了1/4的特征图。池化的过程主要是为了达到减少处理的运算量的效果使用卷积神经网络处理图片池化的方法有两种：最大池化：即取这个2×2区域中的最大值平均池化：即取池化窗口的所有元素的平均值与卷积层不同，池化窗口不应该有任何重叠此处采用最大池化操作，得到一个2×2的矩阵，如图17.5所示使用卷积神经网络处理图片将池化后的数据输入一个全连接层全连接层可以是一个前馈神经网络这个前馈神经网络会输出分类概率的预测将池化层输出的这个4个元素作为全连接层神经网络的特征，并要求该神经网络输出对于图像分类的预测。CNN训练方法：与前馈神经网络相同，参数的训练是用反向传播来进行的将图片转化成矩阵，并将图片分类作为标签来训练我们的模型。使用卷积神经网络处理图片色彩、复杂的物体、复杂的场景需要复杂的模型处理复杂的模型——AlexNetAlexNet是一个经典的基于卷积神经网络的图片识别模型，由Hinton教授和两名博士生于2012年提出右侧为AlexNet结构介绍使用卷积神经网络处理图片例：库存清点需要取得每一件库存的的图片，并用图片识别程序进行识别该做法的问题是需要拍摄大量的库存照片，费时费力有没有办法对每个货架进行拍摄，并让程序对里面的所有物品进行识别呢？多物体识别R-CNN：进行多物品识别时，先找到图片中的不同物体，并用一个矩形边框来选择物体。在第二步，我们使用算法来识别物体。YOLO模型：进行多物品识别时，将上述两步合二为一，执行效率更高声音信息及处理语音信息转化为文字信息+文本分析/大语言模型文本转录，如OpenAI的Whisper模型希望从语音中的非语言信息得到一些情绪方面的信息对声音情绪进行分析的算法，如LVA模型LSTM与CNN基于Transformer的模型知识拓展：用图片来预测股市回报技术分析：从业人员试图通过股市回报的图表来对回报进行预测Lo,Mamaysky和Wang(2000）通过对股票图形的研究发现确实有几种可以获得额外收益的技术分析方法Jegadeesh与Titman的动量信号，Han，Zhou，Zhu（2016）年的论文发现了趋势信号可以预测回报参考文献AndrewWLo,HarryMamaysky,andJiangWang.Foundationsoftechnicalanalysis:Computationalalgorithms,statisticalinference,andempiricalimplementation.TheJournalofFinance,55(4):1705–1765,2000.NarasimhanJegadeeshandSheridanTitman.Returnstobuyingwinnersandsellinglosers:Implicationsforstockmarketefficiency.TheJournalofFinance,48(1):65–91,1993.YufengHan,GuofuZhou,andYingziZhu.Atrendfactor:Anyeconomicgainsfromusinginformationoverinvestmenthorizons?JournalofFinancialEconomics,122(2):352–375,2016.知识拓展：用图片来预测股市回报Jiangetal.(2023)直接使用股票图表对未来股票回报进行预测使用卷积神经网络对股票走势图片分析，通过图片中发现的模式与未来股价涨跌之间的关系来训练神经网络发现该神经网络能发现许多使用股价数据本身无法发现的预测未来回报的信号，并有助于获得超额收益JingwenJiang,BryanKelly,andDachengXiu.(re-)imag(in)ingpricetrends.TheJournalofFinance,78(6):3193–3249,2023知识拓展：用图片来预测股市回报程序：图像识别导入库程序：图像识别创建字典，为字典添加类别和对应的名称，这里的类别是数字编码，名称是对应的物体类别程序：图像识别加载预训练的FasterR-CNN模型（ResNet50），设置模型为评估模式，即不进行学习操作，仅进行预测操作定义图像预处理的操作，将图像转换为张量形式程序：图像识别使用PIL库打开一张图片，并转换为PyTorch张量形式，保存在变量img中为图像添加一个维度，使其符合模型输入的形式（模型需要的是batch形式的输入）设置模型执行模式为推理模式，即不进行反向传播学习操作程序：图像识别定义函数show_detections显示输入图像及其预测的检测结果创建一个新的图形和轴显示输入的图像遍历预测结果的边界框、分数和标签将每个检测到的元素边界框绘制在图像上在每个边界框上方，将标签和分数文本绘制在图像上使用plt.show()显示图像程序：图像识别打开名为“shelf1.jpg”的图像文件，并将其作为输入图像传递给show_detections函数习题请思考哪些语音以及图片数据有助于帮助投资者预测公司盈利请回答我们的程序需要从这些图片或语音中提炼到哪些信息请在附近的电器超市中照一张照片，并用本章中的程序分析照