《数据处理与智能决策》课程设计报告
设计题目： 基于ANN算法的数据仓库分析
专 业： 物联网工程
指导教师： 刘帅、娄鑫坡、苏靖枫
学 号：
姓 名：
同组人员：
 |
计算机与数据科学学院
2019 年 12月 20日
目录
4.2.1 调用返回随机数生成器的值......................................................................... 11
4.2.4 计算输出层和隐藏层误差............................................................................ 12
目前，股票已成为最常见的投资之一。股票市场上的直接融资行为与银行储蓄的间接融资相比，有着更高的效率与灵活性:与保守的股票投资策略相比，收益和风险博弈的积极型股票投资策略，对促进经济发展有着更加明显、更大的意义。在经济发展方面，股票交易可以广泛动员和聚集社会闲散资金，发挥市场机制的作用，打破地区壁垒，促进资源的优化配置，从而促进经济的发展;对企业而言，提高股票交易市场监管与自律，同时企业自身提高管理能力，从广大投资者中满足自身长期资金需求;对于投资者来说，股票交易无疑为其提供了多元的投资选择，拓宽了投资渠道:股票是经济的晴雨表，股市的表现能预示一定时间段内未来经济的发展。因此，对于国家而言，对股票进行预测，能一定程度上地反映未来的国民经济形势:对于投资者而言，获取收益的同时需要一种方法来控制和规避风险，这种方法就是股价预测。
股价预测在人们生活中发挥着越发越重要的作用，国内外许多学者都已致力于股价预测的研究。从宏观经济和微观企业着手进行分析的经济学家们，已经不断深入探讨社会经济形势和企业经营状况，用于预测股票的未来趋势:股票投资者们也从投资的收益风险比的角度对股票价值进行了分析，以确定某个股票的商业价值和商业机会:学术研究领域，无论是基于理论的角度和还是实证股票研究，都在探寻着股票市场运行机制，总结股价运行规律，并期望预测股票价格的走势。
实践证明，股价变化具有一定的可预测性。因此，如何找到一个更准确的预测方法已成为股市领域最重要也最惹人关注的研究方向。本文尝试运用一种基于BP神经网络建立的综合股价预测模型，并用此模型预测股价的涨跌情况。
在股市选股和股价预测时，绝大部分研究人员依据上市公司财务数据对该股票进行估值，或者运用传统统计回归方法针对交易数据对股价短期涨跌情况进行预测。本文拟建立一种综合股价预测模型，全面分析影响股价的市场面因素，运用主成分分析方法对影响股价因素进行筛选，再运用思维进化算法优化基于BP神经网络的综合模型的初始权值和國值，此模型能为投资者在基于基本面选择适当股票后，从市场面判断该只股票未来价格的涨跌情况，对股票短线投资具有一定的参考价值。
股价，指股票的交易价格。影响股票价格变动的因素众多，大致可分为两类:市场面因素、基本面因素。市场面因素主要指股市的供给情况，即股市中资金面和筹码面的相对比例。可由与股票交易相关的各类交易数据，以及由交易数据衍生出来的统计技术指标反映。一只股票价格的涨落，最直接的推动原因是该股票需求的增长或减弱，越来越多的投资者都加大力地购买这只股票会推动股价的上涨，反之亦然。另一方面，众所周知，股价围绕着内在价值上下波动。而股票的内在价值背后要考量的正是影响基本面的各因素。体现在宏观方面，一些能够引起股价变化国内外重大活动以及政府的政策、措施、法令等重大事件。体现在中观上，是该行业的景气度、发展前景产业结构等。体现在微观上，则是一家公司的财务和经营管理状况。
运用基本面因素分析股价，其原理是分析一般经济情况和公司经营管理状况、产业动态等因素来衡量一只股票价格是高或低。市场面因索指的是引起股价升降的直接因素，运用市场面因素来分析股价，是指透过图表或技术指标，研究股票市场的行为及反应，以预测短期内股价的变动。因此本文基于市场面因素，从股票价格、成交量、根据股市历史数据计算得到的技术指标以及大盘指数四个方面选取股价预测的评价指标。具体介绍如下:
（1）股票开盘价格
（2）最高价
（3）最低价
（4）收盘价
（5）成交量
（6）成交价格
对股市股票进行预测的时候，首先要对股市进行投资分析，这是不能省略的重要部分。在投资的整个过程中，也是最重要的一部分。第一，想要在投资的过程中成功规避风险，进行股票投资分析是必不可少的一方面。在投资人购买股票的期间，持有股票的过程中，会获得相应的股票回报，这和它所承担的风险是成正比的。风险和回报并存，是股市的特点所在，同时风险和回报是一种正比关系，想要投资收益越多，就要承担与此成正比的投资风险。其次，如果想在证券市场进行股票买卖，也必须对股票市场的行情有所了解，也需要投资分析。在准备购买某上市公司股票之前，必须首先明确这支股票的各方面的性能，例如时间性、风险性、收益性和流动性等等。
影响证券市场股票价格波动的因素有很多，并且共同作用相当复杂。如何能够最大化的降低投资风险,使得投资者的利益能够实现最大化是吸引所有研究者共同研究的问题。所以需要选择合适的证券分析方法，规避不利因素的影响实现利益最大化。
目前阶段，对股票价格走向预测主要存在如下一些问题:
(1)股价数据中含有较多噪声
股价数据中存在有较多噪声主要有如下一些方面引起，较大上市公司对股市的操控和诸多不确定因素，以及股指编制的不合理性，使得股市股价存在较多的噪声。股市剧烈波动点的存在，在很大程度上会影响数据的收敛效果，造成数据很大程度的偏离预测值，出现震荡，如果这样预测效果大大降低。在非线性的条件下，不可能对其像线性数据一样进行滤除，也不能进行轻率的处理。如果处理，可能代表一类模式或结构变化的前兆。所以要求预测系统要有很强的鲁棒性。
(2)股价的非线性特性
股票股价需要有很强大的处理非线性系统的能力,是由影响股价波动的诸多不同变量因素所造成的，这些变量具有不确定性。在现在研究发展阶段，已经形成了比较成熟的解决简单变量的非线性问题和线性问题的技术。缺乏有效的工具对复杂的、一般性的变量较多的非线性问题分析的工具。如果确定了非线性关系，将会产生混沌。如果确定线性关系，将产生简单的行为。对于股价的预测，是一个复杂的、多变量的非线性问题。虽然一些耗散理论以及非线性数学的理论为其预测提供了一些数学工具，但是在实际应用的角度，仍然会存在大量的问题。
与其他的预测方法相比较，神经网络模拟人的处理能力，适应能力非常强，通过网络自身的学习和训练，变量之间的规律就能够被发现。在线性回归中，当求解逆矩阵间的病态会产生很大的误差，在相关性很强的数据中，运用神经网络模型就不会产生这个方面的问题。非线性回归模型对误差的分布没有规则，具有随机性，并且数据不完全。线性回归的误差项要求具有严格的对应关系。进行预测的目的，就是要从这些数据中找出规律，得到统计的方法。在传统的预测中，一段时间内的大趋势是可以预测的，但是短时间内的跳跃，往往是研究者和投资者更为关注的焦点。
传统的分析工具中，有几种分析方法受到人们的青睐，比如K线图法，平均线图法等等，这些方法简单易懂，很容易被决策者采用。但是这些方法也存在着缺陷，预测、分析数据是不够准确的，而且人与人之间在知识、阅历、经验、能力方面也;存在着很大的差异，就是通过图形的走势来研究股票价格的波动情况,这种差异直接影响人们的预测结果,所以说即便是一些金融专家和股市专家对于一些复杂的股市情况，也很难得出正确的结论。
这些应用于股市中，已经取得了很好的效果。神经网络的优越性可以从它的学习能力和训练数据，掌握数据中看出来，这比以往的传统预测方法和数学模型的推导，参数最优解得探寻，都有很大的优势，这种优势，在金融股票预测中可以完全体现出来。人工神经网络通过对样本数据的训练和学习，对于非线性函数可以无条件逼近，从而得出样本数据的变化规律。通过变化规律对未来发展形势进行预测运算，并且预测结果在很大程度上达到满意的效果。在复杂的数据中，神经网络通过自身的学习，发觉隐含的学习规律。
股票价格的走势呈现出来的是高度的随机性和不确定性，在这些数据中，又隐含着大量的内在规律,和变化法则，这些特点可以通过对历史数据的学习来掌握，虽然预测方法不同，但是想要达到的目的是一致的，都是通过运算来发觉规律探究发展，线性回归模型和人工神经网络预测模型的比较来看，这两种方法都是要找到误差平方的最小值。人工神经网络可以通过逐步逼近目标数据，来达到预测目的。
如果运用人工神经网络的方法进行预测运算，假如数据的相关性很差的话，就会在运算过程中产生较大误差。反过来如果数据关联性强，则会对预测结果有利。在预测过程中，人们利用变量的变化，可以将非线性问题转化为一个线性问题。这种问题的转化，依赖于建模者的经验和能力。如果数据残缺不全，那么人工神经网络预测模型也是可以处理的，这点是线性回归无法达到的。找出变量的变换方法很不容易，尤其是当模型涉及到多个自变量的时候。但是人工神经网络由很强的适应性，可以根据自身的学习过程，来探索学习到变量之间的规律。
由上述可以看出，人工神经网络模型与线性模型相比有很强的优势，适应能力广泛，学习能力强和非现行映射能力强，数据之间的关系可以通过学习和训练来获得，在股市预测中数学模型的对规律的探测预测方法常被用到。在神经网络模型中，最常用的就是BP神经网络，也是本文所选用的预测网络。
1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出人工神经网络，其中包括感知器和自适应线性元件等。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算 能量”概念，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart,Hinton, Williams发展了BP算法。人工神经网络的研究受到了各个发达国家的重视， 美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在 日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。
人工神经网络(artificial neural networks,ANN)模型系统出现在20世纪40年代后期，人工神经网络里面有很多相互连接的神经元，连接神经元之间的权值可以调节，形成网络模型。这个模型具有优良的自组织自学习的能力，并且能进行大规模的数据处理，对于模式识别，也能达到令人满意的效果。这个模型在多个层面越来越多得到了广泛地应用，如智能控制、信息处理、模式识别等建模领域。在训练之前，需要提供一组学习数据，利用这些规律相互迭代训练，来掌握两者之间存在的规律。这些样本数据之间的迭代过程,学习和分析的过程，被叫做“训练”。人工神经网络具有其他预测方法不具有的优点，就是自学习能力和自适应能力。人工神经网络在现在为解决一些传统方法不能解决的难题提供了有效途径，因为它具有记忆和推理的功能，对复杂模式就行联想的功能。图3.1表示了作为神经网络的基本单元的神经元模型。
图3.1 神经元模型
在理论上已经证明，无论已知函数具有怎样的形式，人工神经网络都可以根据规律刻画出样本函数并逼近数据,并且在股市股价的预测中取得了令人满意的成绩。跟传统的预测方法相比较,人工神经网络模型在股市预测中体现出了一系列的优越性。以往的传统方法依靠数学模型的推导，参数需要找出最优解并且要求非常精确，所以局限了算法，而神经网络是通过学习，来掌握数据直接的内在关系，与传统方法相比有很大的优势。
数据间的依存关系为实现股市的预测提供了可能性。在这些复杂多变的数据中，股票股价的走势呈现高度的不定性和非线性，还有大量的决定股价走势的各方面因素，规律和特点。利用参数之间的规律和特点，神经网络可以有效预测股票价格。
BP神经网络模型是目前应用最为广泛的一种神经网络模型。BP神经网络可以把大量的输入一输出数据的映射关系存储在神经网络之中,这些映射关系不需要再训练之前描述出来。它采用最快下降法进行训练迭代、拟合，通过反向调节的过程，神经元之间的阈值和权值经过神经网络的学习和训练可以进行调节和调整，目的是将网络的误差平方达到最小的值。BP神经网络模型的拓扑结构有三层组成一是输入层、隐含层、输出层。
经过了非线性的变换训练和学习，输入节点X;经过训练和迭代，经过隐含层。神经元的作用，从而产生了输出节点Yk。人工神经网络的拟合过程中，会出现网络实验输出值Y和期望输出数值之间的误差，而且还会产生输入数据向量X和期望输出的数值之间的偏差。如果需要存在的误差，降低到最低值，那就需要随时调节阈值和输出节点和隐含层节点之间的连接强度Tj，以及隐含层之间的连接节点Wj,只有经过拟合训练，才能到到期望输出值。从而使误差沿着梯度方向，降低到最小值，到此，训练过程结束。BP神经网络可以自行处理误差值的变换，需要经过大量的学习和训练，将非线性映射转换为线性映射。
BP神经网络只有经过训练和学习，才有了预测的能力，才能适应预测要求，获得学习知识的结构，将非线性映射转换为线性映射。上述可以看出，BP神经网络是一种单项传播的网络。一般情况下，BP神经网络由三层或者三层以上的神经元组成的层组成，输入层、输出层和至少一个隐含层。如下图3.2所示结构图。
图3.2 BP神经网络结构
BP神经网络的学习，是有导师学习的一种。也就是说，通过网络外部“示教者”来学习训练。对于确定的输入模式，当期望输出和实际训练的输出之前存在误差的时候，神经网络可以利用自身自动调节连接强度的功能，来调节连接强度，连接强度自动向着较少误差的方向改变。经过数次训练，当最后的输出结果和正确的结果相一致的时候，BP神经网络的学习过程终止。其他方法可以和人工神经网络相结合，扬长避短，这样可以推动人工智能信息技术向前发展，比如与遗传算法、进化机制、模糊系统相结合,形成了人工智能一个重要的发展方向。由此可以得出，BP神经网络是一种一边向后传播学习过程修改权值和系数的过程，网络同时包括正向学习和反向误差传播两个过程。下图3.3就是神经网络学习的原理图。
图3.3 BP网络学习过程原理图
BP神经算法产生之后才获得了BP神经网络。BP神经网络算法的运算需要有两个过程，信息的正向传递和误差的反向传播。BP神经算法是一种有效地监督式学习算法，是属于δ算法的一种。
BP神经网络进行实验的时候，正向运算学习需要把输入数据经过输入层，经过隐含层，最后从输出层将数据输出。各层神经元之间的学习状态会影响到下一层的神经元训练。最终从输出层输出的数据如果和期望数据之间存在误差的话，需要反向传播来修改各层与层之间的参数值。神经网络会将反向传播的信号再沿着正向传播的过程传播回去，并且修改各层神经元的权值。当达到期望的输出目标的时候，误差信号趋向最小值。
BP神经网络算法的基本思想和学习过程，有两方面组成，就是数据的正向传播学习训练和逐层反转学习训练。如果实验的输出数据和期望数据之间存在差值，不相符的时候，就开始反向训练，将误差的差值平均分配给各个神经元。这个双向学习训练的过程是BP神经网络的优势所在，比线性预测更准确。网络模型周而复始的进行信号正向传播还有反向传播的过程，对于权值逐层修改和训练。在此过程中获取各层单元的误差信号，这个信号也是修改各层神经元权值的依据。正向传播，顾名思义就是输入层开始，通过隐含层神经元，得出输出变量的过程。直到输出变量的误差达到可以接受的范围之内，学习训练过程结束。
下图3.4是最常用的三层网络的拓扑结构。这种拓扑结构的特点有如下几点,
相邻的神经元之间有连接,层内的神经元与神经元之间没有任何连接，并且没有
任何反馈。在输出层采用纯线性作用的函数。BP神经网络的拓扑模型中，隐含
层的数目可以有-层或者多层。隐含层神经元的激活函数采用Sigmoid函数。在下图中，描述了一个只具有一层隐含层的BP神经网络模型，用这个模型可以逼
近非线性函数。
图3.4 BP网络结构
|
图4.1 程序流程图
privatevoid randomSizeWeights(double[][] matrix) {
for(int i = 0, len = matrix.length; i != len; i++)
for(int j = 0, len2 = matrix[i].length; j != len2; j++) {
//方法调用返回下一个从这个随机数生成器的序列中均匀分布的0.0和1.0之间的double值
doublereal = random.nextDouble();
matrix[i][j]= random.nextDouble() > 0.5 ? real : -real;
}
}
可以加大训练次数来提高准确率，神经网络会根据传入的训练集不断反馈错误，从而调整权重矩阵，所以训练次数越多，准确率越高。对于任意的整数，在经过训练之后，能够准确地判断出它是奇数还是偶数，正数还是负数。首先对于训练的样本（是随机生成的数字），将它转化为一个32位的向量，向量的每个分量就是其二进制形式对应的位上的0或1。将目标输出视作一个4维的向量，[1,0,0,0]代表正奇数，[0,1,0,0]代表正偶数，[0,0,1,0]代表负奇数，[0,0,0,1]代表负偶数。
publicstatic void main(String[] args) throws IOException {
BPbp = new BP(32, 15, 4);
//随机生成1000个数放入数组
Randomrandom = new Random();
List<Integer>list = new ArrayList<Integer>();
for(int i = 0; i != 1000; i++) { //训练样本为1000个
intvalue = random.nextInt();
list.add(value);
}
for(int i = 0; i != 200; i++) { //学习200次
for(int value : list) {
//real数组存放value最终结果 [1,0,0,0]代表>0奇数，[0,1,0,0]代表>0偶数，[0,0,1,0]代表<0奇数，[0,0,0,1]代表<0偶数。
double[]real = new double[4];
if(value >= 0)
if((value & 1) == 1)
real[0]= 1;
else
real[1]= 1;
elseif ((value & 1) == 1)
real[2]= 1;
else
real[3]= 1;
double[]binary = new double[32];// 将value数字转化为32位二进制向量
intindex = 31;
do{
binary[index--]= (value & 1);
value>>>= 1; // >>>= 右移赋值，左边空出的位以0填充
}while (value != 0);
for(int j = 0; j < binary.length; j++) {
System.out.println("binary"+j+":"+binary[j]+"\n");
}
for(int j = 0; j < real.length; j++) {
System.out.println("real"+j+real[j]+"\n");
}
bp.train(binary,real);
}
}
//构造函数 默认 eta =0.25 and momentum = 0.3.
publicBP(int inputSize, int hiddenSize, int outputSize) {
//用this方法调用类中的构造方法
this(inputSize,hiddenSize, outputSize, 0.25, 0.3);
}
/*publicBP(int inputSize, int hiddenSize, int outputSize,double eta,
doublemomentum) {
this(inputSize,hiddenSize, outputSize,eta,momentum);
}*/
/**
*Entry method. The train data should be a one-dim vector.
* 录入方法。训练数据是一维向量
* trainData 训练数据
* target 目标
*/
publicvoid train(double[] trainData, double[] target) {
loadInput(trainData);
loadTarget(target);
forward();
calculateDelta();
adjustWeight();
}
// Load the targetdata. 加载目标数据
privatevoid loadTarget(double[] arg) {
if(arg.length != target.length - 1) {
thrownew IllegalArgumentException("Size Do Not Match.");
}
System.arraycopy(arg,0, target, 1, arg.length);
}
//Load the training data. 加载训练数据
privatevoid loadInput(double[] inData) {
if(inData.length != input.length - 1) {
thrownew IllegalArgumentException("Size Do Not Match.");
}
//把一个数组中某一段字节数据放到另一个数组中。
//把一个数组中的某一段字节数据放到另一个数组中，
//至于从第一个数组中取出几个数据，放到第二个数组中的什么位置都是可以通知这个方法的参数控制的。
System.arraycopy(inData,0, input, 1, inData.length);//参数分别代表：源数组、源数组的要复制的起始位置、目的数组、目的数组放置的起始位置、复制的长度
}
//计算输出层误差
privatevoid outputErr() {
doubleerrSum = 0;
for(int idx = 1, len = optDelta.length; idx != len; ++idx) {
doubleo = output[idx];
optDelta[idx]= o * (1d - o) * (target[idx] - o);
errSum+= Math.abs(optDelta[idx]);
}
optErrSum= errSum;
}
//计算隐藏层误差
privatevoid hiddenErr() {
doubleerrSum = 0;
for(int j = 1, len = hidDelta.length; j != len; ++j) {
doubleo = hidden[j];
doublesum = 0;
for(int k = 1, len2 = optDelta.length; k != len2; ++k)
sum+= hidOptWeights[j][k] * optDelta[k];
hidDelta[j]= o * (1d - o) * sum;
errSum+= Math.abs(hidDelta[j]);
}
hidErrSum= errSum;
}
//计算所有层误差
privatevoid calculateDelta() {
outputErr();
hiddenErr();
}
如图4.2是对输入的数据训练后生成的结果图：
图4.2 训练数据图
如图4.3是对数据进行预测后的结果图：
图4.3 预测结果图
神经网络是一种很好的时间序列预测方法。BP网络是目前最常用的神经网络。由于BP网络具有逼近任意复杂连续函数关系的能力，因此非常适用于对时间序列进行预测，在具体使用中，仅用一个BP网络来拟合该时间序列即可。因此，本文在对传统改进BP神经网络的结构及其算法的特点进行研究和分析的基础上，提出了一种改进的BP算法，即基于BP神经网络模型，并将其应用到股票预测中，并进行了有效地实证分析。通过对常用的股票预测方法进行分析比较,针对BP算法本身存在收敛速度慢、精度不高等问题，给出了传统改进的BP算法，重新选取激活函数，使网络在调整权值w的基础上，通过对单个神经元的更一般形式tan.sigmoid转换函数的缩放系数几位移参数白的动态调整，以缩小饱和区间，加快网络收敛，有效地避免了神经网络易于陷入局部最小点的问题。这次课设对于我们来说很有难度，毕竟以前没深入了解，但是这样却激发了我们对知识的渴望，在我和我们队友的积极讨论下，又通过上网查资料学习，了解掌握了一种新的数据处理方法。通过本次课设，进一步了解掌握神经网络强大的自学习能力和适应能力，以及对复杂问题的解决能力，也激发了进一步深入学习神经网络知识的热情。根据我们在课程设计中遇到得问题，我们将在以后的学习过程中注意以下几点：1、专业课不能放下，要扎实基础。2、团队精神很重要。3、编写程序的时候要细心，有耐心，切勿浮躁。
[1]胡守仁.神经网络应用技术.长沙:国防科技大学出版社,1993
[2]焦李成.神经网络系统理论.西安:西安电子科技大学出版社.1992
[3]EIman JL.FindingStnlctureinTirac.CognitiveScience.1990(14):179-211
[4]楼顺天，旌阳.基于MATLAB的系统分析与设计一神经网络.西安:西安电子科
技大学出版社.1998
[5]施彦,韩力群,廉小亲.神经网络设计方法与实例分析[M].北京:北京邮电大学出版社,2009
[6]史忠植.人工神经网络[M].北京:高等 教育出版社2009.
[7]王行愚. RBF神经网络在股市趋势预测中的应用[].华东理工大学学报,2002,28(5):5-7
[8]王晓原,李军，灰色GM(1,1)模型在区域物流规模预测中的应用[I].武汉理工大学报(交通科学与工程版),2005
联系客服
