关于神经网络归一化的讨论

1、数据归一化处理1.我有一个问题不太明白，神经网络在训练时，先对数据进行归一化处理，按照常理训练完之后应该对数据再进行反归一化啊，可是再很多资料上根本就看不出有反归一化这个步骤，而且很多时候训练效果不是很好。请问，哪个大侠能帮帮我啊看一下里的函数和函数它们一个是归一一个是反归一3.并不是归一化的数据训练效果就好我也遇到过类似的问题有篇论文就是用函数效果不好可能是样本数据不太准可以采用标准化s效果很好。样本数据和测试数据是否放在一起归一化？应该将样本数据和测试数据放在一起归一化，不然如果测试数据中有的值比样本数据最大值还大，岂不是超过1了？神经网络训练的时候，应该考虑极值情况，即归一化的时候要考虑

2、你所需要识别参数的极值，以极值作分母，这样可能效果更好一点。激发函数如果选用的是倒型函数，应不存在归一化的问题吧我想问大家一下在神经网络中只有一个函数即这个函数对训练的输出数据不用归一化而象和函数都要归一化如果数据范围不在或之间那既然用函数可以不用归一化为何又是还用归一化呢用神经网络里的等函数归一化和直接用这个函数有什么区别啊我作负荷预测时象不用归一化的效果很好呀没有作归一化啊你用和作为神经元激励函数输出范围自然限制在或之间了我所知道的关于归一化：归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便

3、，其次是保正程序运行时收敛加快。在里面，用于归一化的方法共有三中，（1、（2、（）是用语言自己编程。指的是归一到一归一到单位方差和零均值。（）关于自己编程一般是归一到具体用法见下面实例。为什么要用归一化？为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。下面举例：其中的第五列数据相对于其他列数据就可以成为奇异样本数据（下面所说的网络均值）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。具体

4、举例：建模原始数据归一化定义网络输入和期望输出设置网络隐单元的神经元数（5验3证0后5个最好）建立相应的网络训练网络调用算法训练网络对网络进行仿真程序说明：所用样本数据（见）包括输入和输出数据，都先进行归一化，还有一个问题就是你要进行预测的样本数据见本例在进行仿真前，必须要用函数进行事先归一化处理，然后才能用于预测，最后的仿真结果要用进行反归一，这时的输出数据才是您所需要的预测结果。个人认为：、是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法。se是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法说的有问题若用将输入输出归一化其输出值在

5、之间若输出层传函为则无论怎么训练输出值都不可能在之间我感觉如果激发函数是型函数，应该不用规一化处理，但是效果不如规一化处理的好，不知道为什么？14我.认为有可能是数据太大或太多，将其归一化之后，有利于快速的调整神经网络的网络结构，或者如同所说存在奇异值也肯定有影响。当然，效果好就选谁！15如.果输入数据中含有频率、幅值、相位以及其他一些不同类型的数据，需要对他们进行什么处理，才能用于网络的训练？只是简单的归一化就行吗？如果数据的维数太多，可以考虑用进行主元分析，不知道所说的简单的归一化是什么意思？我现在还不知道其他预处理方法？什么事都得试一下，试过了就知道，你可可以拿出具体问题一起讨论！我认为

6、讨论之前要搞清一个数学问题，就是每种激励函数的定义域和值域，我们都知道的定义域是任意实数，值域为（一，）、定义域和值域都是任意实数、定义域任意实数，值域是（，）。所以在具体实际中使用用事先考虑好这个问题，的值域是（，），当然不可能使输出在（一，）了。我所说的：、是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法我并没说没有间接关系。如果输入样本的数据组成为频率幅值相位我只用对进行归一化，训练网络，得到一个目标输出，其数据组成也为频率幅值相位。这样子可以吗？总觉得把不同类型的数据放一起有点不妥。19完.全可以，不过在输入数据和输出数据啊安排上可能要以时间序列的方式来安

7、排。例如，用第1，2，3，4时刻的数据预测第5时刻的数据，用第2，3，4，5时刻的数据预测第6时刻的数据，依次类推，可以组成一定的输入输出对，以上只是举个例子，只是说明这种数据组织方法，在实际中可以根据自己的要解决的问题，自己确定，我只是提供一个参考方法。有问题再讨论！目前在我的项目中，我是这样子来训练网络的。在变频器输出频率为之间，采集电机的转矩、转速和另外一个目标量L然后我对这些数据进行变换，得到他们前几次谐波的幅值和相位。归一化。然后我利用两个网络分别训练幅值和相位。（下面表示幅值，表示相位，即、表示在时电机的转矩前几次谐波幅值）网络：网络2：然后利用所训练的网络去测试其他频率下的数据。

8、这样进行网络的训练行不行，还是把幅值和相位放在一个网络内训练的效果好？在神经网络网的预测中，对数据进行归一化处理，完了输出再反归一化。如果是单入单出系统好办,如果是多入单出系统，那么反归一化时，最大值和最小值怎么确定呢？你可以自己指定，或者使用在训练网络时候确定的最大值和最小值请问是输入样本它的功能是做归一化吗，在里面谢谢!24.我认为，如果各维的数据不进行归一化处理，那么各维对误差函数的影响差异会很大。从而会影响学习性能。不知道对不对？25那.样本数据测试数据预测数据期望数据要一起进行归一化吗?26我.所知道的关于归一化：归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理

9、后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。在里面，用于归一化的方法共有三中，（）、（）、S）是用语言自己编程。指的是归一到一归一到单位方差和零均值。C）关于自己编程一般是归一到具体用法见下面实例。为什么要用归一化？为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。下面举例：其中的第五列数据相对于其他列数据就可以成为奇异样本数据（下面所说的网络均值）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据

10、集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。具体举例：程序说明：所用样本数据（见）包括输入和输出数据，都先进行归一化，还有一个问题就是你要进行预测的样本数据见本例在进行仿真前，必须要用函数进行事先归一化处理，然后才能用于预测，最后的仿真结果要用进行反归一，这时的输出数据才是您所需要的预测结果。个人认为：、是网络结构的传递函数，本身和归一化没什么直接关系，归一化只是一种数据预处理方法。你好我用了你的归一化方法但当数据取比这些数大很多的值时，好像就不行了，出现了这样的问题，是不是数值超出了最大值的原因？我用的是网络而且预测值受样本期望输出的最大值限制，这个问题我提出来

11、很多天了，为什么没有人表示意见呢，是这个问题本身就是神经网络的，还是，我走的路偏了，对神经网络本质误解所致，大家多多指教阿，我在这等很久了呀！非常不好意思，请教一问题：利用归一化后的数据建了网络，但最后预测值在反归一化前却超出了，不知问题出在哪？32小.波神经网络对于时间序列预测在文献上报道得神乎其神，据称预测精度相对偏差平均达5%以下。鄙人尝试后认为，小波神经网络只是加快了收敛速度，而预测精度决定于问题本身，很多数据预测结果并不能达到以上效果。欢迎各位仁兄讨论改进方法。有.个问题：归一化的时候我认为应该考虑数据的物理含义34.为什么我的简单的归一化程序总是错的?谢各位大虾指点共.5.行.;t=0.71.9;0.6共110行.79;8;