利用交叉表和缓冲技术提高获得建模样本数据的效率

1、利用交叉表和缓冲技术提高获得建模样本数据的效率    摘要：在分析建模的过程中需要对大量的历史测量数据进行计算和处理，运算过程中会消耗大量的计算机资源，处理不好会造成等待时间过久，计算机死机。本文介绍了DSIMS4.0大坝安全信息管理网络系统在分析建模的过程中如何利用交叉表和缓冲技术提高获得建模样本数据的效率。关键字：DSIMS4.0；交叉表；缓冲；建模；样本0 引言随着大坝安全监测技术的进一步发展，模型分析的方法已被广泛应用于安全评判和测值预报中。DSIMS4.0大坝安全信息管理网络系统可采用最小二乘、全回归和逐步回归的方法，快速生成统计模型、确定模型

2、和混合模型。在分析建模的过程中需要对大量的历史数据进行样本的提取和运算，利用常规方法，在数据样本的提取和运算过程中会消耗大量的计算机资源，占用很长计算的时间，DSIMS4.0管理系统充分利用数据库交叉表技术和数据缓冲技术，减少建模数据的准备时间，减少了计算机系统资源的消耗，极大的提高了建模的效率。1 交叉表技术1.1交叉表查询(Crosstab)交叉表是用来显示源于表中某个字段的总结值（合计、计数以及平均值等）。并将它们分组放置在查询结果中，一组列在数据表的左侧一组列在数据表的上部。通常交叉表的数据都是从其它非直观性表中转换而成左侧和上部的数据可以互换交叉形成不同的用户需求格式交叉表形式(Cr

3、osstab）经常用于总结报表中。1.2交叉表的结构设计(1)原有的测点表结构第一列是测点，第二列是时间，最后一列是测量数据的最终成果，我们可以知道这样的数据表结构一点也不直观，在“观测时间”列中，因为有的观测点与观测时间都是相同的，这样的数据表结构明显的造成了时间字段的冗余。(2)通过交叉表技术形成的数据表结构通过交叉处理后，提取样本的效率会有所提高，但还不明显，当我们对测量数据以日为单位进行提取时就能看到明显的效果，以日为单位提取样本时，就要按日对测量数据进行平均，通常的处理办法是把数据提取出来，然后通过后台程序来进按日求平均，生成新的数据表，而通过数据库交叉表技术，只用一个SQL语句，就

4、能从数据库中得到测量数据按日平均的交叉表同样的我们还可以利用交叉表技术取到按月，按年，统计出来平均值、最小值、最大值等特征值数据，在DSIMS4.0大坝安全信息管理网络系统中，交叉表技术不仅应用在数据建模的过程中，也充分应用在了表格数据的显示中。1.3利用cub语句来实现与别的地方的交叉表技术有所不同，我们使用的交叉表不是用程序在后台形成的，而是通过一个sql语句完成的，所以极大提高的建模数据样本准备的效率，sql的cub语句可以完成对数据库的一次查询而形成交叉表。2 数据缓冲技术2.1样本处理过程中存在问题提取历史数据只是样本处理的第一步，在建模拟定模型因子的过程中，我们经常用到的是上游水位

5、的1到4次方，以及上游水位中的承前因子(如前第20天到前第30天的平均水位)。对同样是上游水位的测量数据，因为存在多个上游水位的因子，及承前因子的存在，那么对同一影响量数据，就存在多次处理，每处理一次都要到访问历史数据，尤其是对承前的处理，将会更频繁的去访问历史数据，处理不好将会造成频繁的访问数据库。通过数据的数据缓冲技术，可以减少对数据库的重复访问。2.2缓冲器的结构设计缓冲器是通过后台的程序来实现，第一步，我们通过交叉表取到测点的历史数据，第二步，我们要来处理这些历史数据，以生成样本数组，我们设计了一个缓冲器用来接收这些数据，通过交叉表技术取得历史数据后，缓冲器接收这些历史数据，在样本处理

6、的过程中程序直接访问缓冲器，而无需再去访问数据库。缓冲器结构如图4 图4每一个影响量对应一个承前缓冲(MeaVAheadBuff)，承前缓冲中又包含一个数据缓冲(CycFloatBuf)，在承前缓冲中_Pid 记录了测点的标号，_Vtype 记录了测值的类型，通过_Pid、_Vtype确定了唯一的测点监测量，LastDayCount上次数据时间的日子数（自1900年以来的日子数），_AheadDay记录了承前的天数，数据缓冲中DataS数组就具体测量数据的缓冲他的大小是由承前天数的多少来决定的，如果没有承前因子，Datas就保留一个数据成员，为当前测量时间点的测值。数据缓冲(CycF

7、loatBuf)中_CurReadPos记录当前的读位置，类似于游标的作用；_TopReadPos记录第一个可以读的位置；_WritePos记录写位置，数组中写位置的索引号。通过这三个索引，缓冲Datas可以反复的接收数据，无需再新建数组，从而减少了对类存的占用，通过GetAvgValue()方法可以求得缓冲中有效值部分的平均值。利用这种结构的缓冲器，充分起到了减少数据对计算机内存的占用，减少了程序对数据库的访问，极大的提高了获得建模样本数据的效率。3 结语通过交叉表技术的应用，使得到测量数据表显得简捷而直观，减少了数据的冗余。数据缓冲的应用，减少了程序对数据库的访问。DSIMS4.0大坝安全信息管理网络系统在分析建模 的过程中充分利用交叉表和缓冲技术提高了获得建模样本数据的效率。参考文献：王学萌，张继中，王荣.灰色系统分析