数据格式的转换和其他工具的使用课件

数据格式的转换和其他工具的使用数据格式的转换和其他工具的使用1第十一课：数据格式的转换和其他工具的使用第十一课：数据格式的转换和其他工具的使用2数据格式的转换和其他工具的使用课件3数据格式的转换和其他工具的使用课件4范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到集团公司。渭河电厂的数据库类型sqlserver2000，表结构数据表名称数据项名称数据类型 长度 备注Yc_tableYc_nameChar32 实时数据名称Yc_noSmall2 实时数据编码Yc_valReal4 实时数据的值目前表中的数据：，yc_no为2时表示1号机组，3时表示2号机组范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到5范例说明集团公司的表结构RT_J_POWERNUMRTDATACURR

POWER_PLANT_CODEVARCHAR2(20)电厂编码

MACHINE_NONUMBER(10)机组编号

GROUP_RT_DATA_CODENUMBER(10)指标编码

POWER_NUM_VALUENUMBER(15,4)指标值

VALUE_TYPEINTEGER数据类型

VALUE_DATEDATE数据时间范例说明集团公司的表结构6建立组件间的联系建立组件间的联系7建立组件间的联系在下面的窗口中选择Funclet分页。在Funclet分页的左边选择相应的函数，将其拖到右边的工作区域，并配置。下图是配置好的电厂编码。使用的是String函数中的Constant函数。建立组件间的联系在下面的窗口中选择Funclet分页。8建立组件间的联系下图是机组编号的配置，Machine_no=Yc_no-1。建立组件间的联系下图是机组编号的配置，Machine_no=9Mapper中的函数Fiorano在数据整合中的功能之所以这么强大，是与提供了丰富的函数有关。Fiorano提供的函数很多，不可能详细介绍，对于大部分函数的使用还需要通过查看帮助文件。Fiorano中的函数大体分为：算术函数：Arithmetic字符函数：String逻辑函数：Boolean控制函数：Control时间函数：Date-Time数学函数：Math……Mapper中的函数Fiorano在数据整合中的功能之所以这10Mapper其他功能Mapper工具可以将连接线配置通过另存保存成为一个文件。这可以成为备份连接线配置的一种方法。Mapper提供一个按钮进行语法检查。通过这个按钮可以检查语法是否存在问题，但是这种检查并不会查看连接线与组件间的连接参数是否匹配。如果连接线与DB组件间的参数不匹配，Mapper会出现相应的提示信息，对于这种情况就需要重新配置连接线,一般这只会在刚打开Mapper时检查。Mapper其他功能Mapper工具可以将连接线配置通过另存11上周范例回顾上周范例回顾12范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也可以通过通过SQL语句进行。下面的SQL语句在sqlserver中执行，得到的数据将直接转换为我们需要的类型。select'0910007'asPOWER_PLANT_CODE,t.Yc_no-1asMACHINE_NO,'20047'asGROUP_RT_DATA_CODE,t.Yc_valasPOWER_NUM_VALUE,

1

asVALUE_TYPE,

getdate()

asVALUE_DATEfromdbo.yc_tablet范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也13范例回顾执行的结果。范例回顾执行的结果。14使用上面的SQL配置使用上面的SQL语句配置DB3。使用上面的SQL配置使用上面的SQL语句配置DB3。15连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要的形式。连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要16新的程序DB1是上课中所编写的取数据组件，取数据时按照源数据存储的类型直接将数据取出来。DB2是利用SQL将数据转换后取出来。新的程序DB1是上课中所编写的取数据组件，取数据时按照源数据17拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。18说明这两种方法都可以得到我们需要的数据，但是是有区别的。对于在连接线中完成转换的情况，这种转换工作，是由前面的组件所在的节点服务器（FPS）完成。对于后面的通过SQL转换的情况来说，转换的工作并不是fiorano完成，而是数据库完成。也就是说上面的两种情况，转换的工作放在不同的地方进行，在工作量较小的时候，这种差别并不是很明显，但工作量很大时，就需要权衡数据库服务器和节点服务器的情况综合考虑。说明这两种方法都可以得到我们需要的数据，但是是有区别的。19第三个例子：数据格式的简单转换第三个例子：数据格式的简单转换20范例说明以户县二厂为例。渭河电厂的数据还是以编码的方式储存，Yc_no为2时表示1号机组的有功，yc_no为3时表示2号机组的有功。户二的有功和开关量是以字段的方式储存的。表名RT_ZC，以下为一些字段的说明。数据表名称数据项名称数据类型单位备注RT_ZCTIMESTAMPDATE时间DCS110001NUMBER单位：MW1号机组有功DCS210001NUMBER单位：MW2号机组有功DCS17753NUMBER单位：Mvar无功DCS27753NUMBER单位：Mvar无功NCS1001NUMBER0表示“合”开关量1NCS1032NUMBER0表示“合”开关量2范例说明以户县二厂为例。数据表名称数据项名称数据类型单位备注21范例说明户二电厂表RT_Z字段的定义。源数据库使用的是99上面的数据库，而不是户二的数据库。范例说明户二电厂表RT_Z字段的定义。22程序设计取表中DCS110001为#1机组有功。取表中DCS210001为#2机组有功。还是使用前面说过的双组件结构，第一个组件用于取数据，第二个组件用于存数据。取数据时不进行转换，所有的转换工作在线上进行。程序设计取表中DCS110001为#1机组有功。23配置第一个组件配置第一个组件24配置第一个组件连接的是10.81.12.99上面的oracle。配置第一个组件连接的是10.81.12.99上面的oracl25配置第一个组件SQL语句，选中所有的字段。配置第一个组件SQL语句，选中所有的字段。26配置第一个组件只执行一次：配置第一个组件只执行一次：27配置第一个组件配置第一个组件28配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以直接将范例2中的DB2组件复制过来。另一种方法是在这个程序中引入一个外部的也就是范例2中的组件DB2，这种方式引入的组件物理上并不是独立，数据将会被传往被引入的DB2组件。在工作面板上使用鼠标右键。配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以29配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一步配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一30配置第二个组件在程序范例2中选择组件DB2，按Finish结束。配置第二个组件在程序范例2中选择组件DB2，按Finish结31配置第二个组件导入的其他程序中的组件，它的图标是不一样的。导入后的图示：配置第二个组件导入的其他程序中的组件，它的图标是不一样的。32配置连接配置连接33未配置的连接线未配置的连接线34连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我们需要的是DCS110001——#1机组有功；DCS210001——#2机组有功。这样的配置，会将一条记录拆分成多条记录。连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我35配置#1机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为1。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS110001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。配置#1机组电厂编码：power_plant_code赋以户36配置#1机组配置完的连接线：配置#1机组配置完的连接线：37配置#2机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为2。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS210001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。配置#2机组电厂编码：power_plant_code赋以户38配置#2机组将sel出来，再次拖到ins上面的ZEROMANY。按下弹出的按钮Duplicatethisnode，就可以在后面的组件新增加一组入口参数。这组入口参数事实上也是传往后面组件名为ins的SQL语句的配置#2机组将sel出来，再次拖到ins上面的ZEROMA39配置#2机组双击ZEROMANY展开：配置#2机组双击ZEROMANY展开：40配置#2机组配置完的连接线：配置#2机组配置完的连接线：41发布运行发布运行42发布和运行将DB1发布到fps99后设置断点然后运行。DB2事实上是范例2中的组件DB2，已在范例2中发布。本例中引用了范例2中的组件，所以这个程序要正常运行的话，范例2必须处于运行状态，否则会出问题。发布和运行将DB1发布到fps99后设置断点然后运行。本例中43察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的方式。察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的44用SQL解决转换的问题用SQL解决转换的问题45用SQL转换select'02911'asPOWER_PLANT_CODE,

1asMACHINE_NO,

'20047'asGROUP_RT_DATA_CODE,

t.dcs110001asPOWER_NUM_VALUE,

1asVALUE_TYPE,

t.timestamp

asVALUE_DATE

fromrt_zct

union

select'02911'asPOWER_PLANT_CODE,

2asMACHINE_NO,

'20047'asGROUP_RT_DATA_CODE,

t.dcs210001asPOWER_NUM_VALUE,

1asVALUE_TYPE,

t.timestamp

asVALUE_DATE

fromrt_zct用SQL转换select'02911'asPOWER_46工具FLM的使用工具FLM的使用47工具的启动可以通过开始所有程序来启动。FLM启动时不需要输入用户名，密码。工具的启动可以通过开始所有程序来启动。48启动后的页面启动后的页面49启动后的页面左侧部分是现有的许可证文件，和该文件分别对servers（FES、FPS、FMQ）、Adapters（组件）、Tools（工具）的权限。启动后的页面左侧部分是现有的许可证文件，和该文件分别对ser50启动后的页面右侧部分是具体的授权信息。两条红线分别是开始时间和结束时间。启动后的页面右侧部分是具体的授权信息。51导入许可证文件FLM察看的文件是本地的Fiorano上的许可证文件，导入的许可证文件的位置也是本地的Fiorano。导入许可证文件FLM察看的文件是本地的Fiorano上的许可52导入许可证文件选择需要的文件导入。导入许可证文件选择需要的文件导入。53工具FSSM的使用工具FSSM的使用54FSSM介绍FSSM的作用有两个，一个是前面介绍的对组件的管理。另一个是对权限的管理。FSSM介绍FSSM的作用有两个，一个是前面介绍的对组件的管55修改用户的密码修改admin的密码，右键->ChangePassword修改用户的密码修改admin的密码，56工具Studio的使用工具Studio的使用57Studio介绍前面提到的修改Fiorano节点名和连接地址的方法都是使用修改配置文件的方式，Fiorano提供了Studio对FPS和FES的属性作简单的修改。Studio可以连接到运行着的FES和FPS修改相应的程序，也可以在FES、FPS不运行时修改本地的配置文件。Studio介绍前面提到的修改Fiorano节点名和连接地址58Studio启动可以通过开始，所有程序来启动。Studio启动可以通过开始，所有程序来启动。59Studio启动正在启动Studio启动正在启动60Studio启动启动后的页面Studio启动启动后的页面61修改节点名当本地的节点不在线时，可以通过导入配置文件，修改节点的节点名和连接的FES的IP地址。打开配置文件，在Profilesmanager中按右键。修改节点名当本地的节点不在线时，可以通过导入配置文件，修改节62修改节点名选择配置文件的文件夹后打开：C:\ProgramFiles\Fiorano\SOA2006SP2\esb\fps\profiles\FPS修改节点名选择配置文件的文件夹后打开：63修改节点名已打开的配置文件修改节点名已打开的配置文件64修改节点名ProfileName即为节点名，将其修改为lchen修改节点名ProfileName即为节点名，将其修改为lc65修改节点名保存修改信息修改节点名保存修改信息66修改节点名关闭配置文件修改节点名关闭配置文件67修改节点名启动FPS，节点名已修改修改节点名启动FPS，节点名已修改68修改连接的FESFiorano-〉esb-〉peer-〉Transport-〉enterprisebus->enterpriseserver将连接地址修改为10.81.12.99修改连接的FESFiorano-〉esb-〉peer-〉Tr69修改连接的FES保存后，启动FPS。修改连接的FES保存后，启动FPS。70数据格式的转换和其他工具的使用数据格式的转换和其他工具的使用71第十一课：数据格式的转换和其他工具的使用第十一课：数据格式的转换和其他工具的使用72数据格式的转换和其他工具的使用课件73数据格式的转换和其他工具的使用课件74范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到集团公司。渭河电厂的数据库类型sqlserver2000，表结构数据表名称数据项名称数据类型 长度 备注Yc_tableYc_nameChar32 实时数据名称Yc_noSmall2 实时数据编码Yc_valReal4 实时数据的值目前表中的数据：，yc_no为2时表示1号机组，3时表示2号机组范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到75范例说明集团公司的表结构RT_J_POWERNUMRTDATACURR

POWER_PLANT_CODEVARCHAR2(20)电厂编码

MACHINE_NONUMBER(10)机组编号

GROUP_RT_DATA_CODENUMBER(10)指标编码

POWER_NUM_VALUENUMBER(15,4)指标值

VALUE_TYPEINTEGER数据类型

VALUE_DATEDATE数据时间范例说明集团公司的表结构76建立组件间的联系建立组件间的联系77建立组件间的联系在下面的窗口中选择Funclet分页。在Funclet分页的左边选择相应的函数，将其拖到右边的工作区域，并配置。下图是配置好的电厂编码。使用的是String函数中的Constant函数。建立组件间的联系在下面的窗口中选择Funclet分页。78建立组件间的联系下图是机组编号的配置，Machine_no=Yc_no-1。建立组件间的联系下图是机组编号的配置，Machine_no=79Mapper中的函数Fiorano在数据整合中的功能之所以这么强大，是与提供了丰富的函数有关。Fiorano提供的函数很多，不可能详细介绍，对于大部分函数的使用还需要通过查看帮助文件。Fiorano中的函数大体分为：算术函数：Arithmetic字符函数：String逻辑函数：Boolean控制函数：Control时间函数：Date-Time数学函数：Math……Mapper中的函数Fiorano在数据整合中的功能之所以这80Mapper其他功能Mapper工具可以将连接线配置通过另存保存成为一个文件。这可以成为备份连接线配置的一种方法。Mapper提供一个按钮进行语法检查。通过这个按钮可以检查语法是否存在问题，但是这种检查并不会查看连接线与组件间的连接参数是否匹配。如果连接线与DB组件间的参数不匹配，Mapper会出现相应的提示信息，对于这种情况就需要重新配置连接线,一般这只会在刚打开Mapper时检查。Mapper其他功能Mapper工具可以将连接线配置通过另存81上周范例回顾上周范例回顾82范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也可以通过通过SQL语句进行。下面的SQL语句在sqlserver中执行，得到的数据将直接转换为我们需要的类型。select'0910007'asPOWER_PLANT_CODE,t.Yc_no-1asMACHINE_NO,'20047'asGROUP_RT_DATA_CODE,t.Yc_valasPOWER_NUM_VALUE,

1

asVALUE_TYPE,

getdate()

asVALUE_DATEfromdbo.yc_tablet范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也83范例回顾执行的结果。范例回顾执行的结果。84使用上面的SQL配置使用上面的SQL语句配置DB3。使用上面的SQL配置使用上面的SQL语句配置DB3。85连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要的形式。连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要86新的程序DB1是上课中所编写的取数据组件，取数据时按照源数据存储的类型直接将数据取出来。DB2是利用SQL将数据转换后取出来。新的程序DB1是上课中所编写的取数据组件，取数据时按照源数据87拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。88说明这两种方法都可以得到我们需要的数据，但是是有区别的。对于在连接线中完成转换的情况，这种转换工作，是由前面的组件所在的节点服务器（FPS）完成。对于后面的通过SQL转换的情况来说，转换的工作并不是fiorano完成，而是数据库完成。也就是说上面的两种情况，转换的工作放在不同的地方进行，在工作量较小的时候，这种差别并不是很明显，但工作量很大时，就需要权衡数据库服务器和节点服务器的情况综合考虑。说明这两种方法都可以得到我们需要的数据，但是是有区别的。89第三个例子：数据格式的简单转换第三个例子：数据格式的简单转换90范例说明以户县二厂为例。渭河电厂的数据还是以编码的方式储存，Yc_no为2时表示1号机组的有功，yc_no为3时表示2号机组的有功。户二的有功和开关量是以字段的方式储存的。表名RT_ZC，以下为一些字段的说明。数据表名称数据项名称数据类型单位备注RT_ZCTIMESTAMPDATE时间DCS110001NUMBER单位：MW1号机组有功DCS210001NUMBER单位：MW2号机组有功DCS17753NUMBER单位：Mvar无功DCS27753NUMBER单位：Mvar无功NCS1001NUMBER0表示“合”开关量1NCS1032NUMBER0表示“合”开关量2范例说明以户县二厂为例。数据表名称数据项名称数据类型单位备注91范例说明户二电厂表RT_Z字段的定义。源数据库使用的是99上面的数据库，而不是户二的数据库。范例说明户二电厂表RT_Z字段的定义。92程序设计取表中DCS110001为#1机组有功。取表中DCS210001为#2机组有功。还是使用前面说过的双组件结构，第一个组件用于取数据，第二个组件用于存数据。取数据时不进行转换，所有的转换工作在线上进行。程序设计取表中DCS110001为#1机组有功。93配置第一个组件配置第一个组件94配置第一个组件连接的是10.81.12.99上面的oracle。配置第一个组件连接的是10.81.12.99上面的oracl95配置第一个组件SQL语句，选中所有的字段。配置第一个组件SQL语句，选中所有的字段。96配置第一个组件只执行一次：配置第一个组件只执行一次：97配置第一个组件配置第一个组件98配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以直接将范例2中的DB2组件复制过来。另一种方法是在这个程序中引入一个外部的也就是范例2中的组件DB2，这种方式引入的组件物理上并不是独立，数据将会被传往被引入的DB2组件。在工作面板上使用鼠标右键。配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以99配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一步配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一100配置第二个组件在程序范例2中选择组件DB2，按Finish结束。配置第二个组件在程序范例2中选择组件DB2，按Finish结101配置第二个组件导入的其他程序中的组件，它的图标是不一样的。导入后的图示：配置第二个组件导入的其他程序中的组件，它的图标是不一样的。102配置连接配置连接103未配置的连接线未配置的连接线104连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我们需要的是DCS110001——#1机组有功；DCS210001——#2机组有功。这样的配置，会将一条记录拆分成多条记录。连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我105配置#1机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为1。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS110001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。配置#1机组电厂编码：power_plant_code赋以户106配置#1机组配置完的连接线：配置#1机组配置完的连接线：107配置#2机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为2。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS210001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。配置#2机组电厂编码：power_plant_code赋以户108配置#2机组将sel出来，再次拖到ins上面的ZEROMANY。按下弹出的按钮Duplicatethisnode，就可以在后面的组件新增加一组入口参数。这组入口参数事实上也是传往后面组件名为ins的SQL语句的配置#2机组将sel出来，再次拖到ins上面的ZEROMA109配置#2机组双击ZEROMANY展开：配置#2机组双击ZEROMANY展开：110配置#2机组配置完的连接线：配置#2机组配置完的连接线：111发布运行发布运行112发布和运行将DB1发布到fps99后设置断点然后运行。DB2事实上是范例2中的组件DB2，已在范例2中发布。本例中引用了范例2中的组件，所以这个程序要正常运行的话，范例2必须处于运行状态，否则会出问题。发布和运行将DB1发布到fps99后设置断点然后运行。本例中113察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的方式。察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的114用SQL解决转换的问题用SQL解决转换的问题115用SQL转换select'02911'asPOWER_PLANT_CODE,

1asMACHINE_NO,

'20047'asGROUP_RT_DATA_CODE,

t.dcs110001asPOWER_NUM_VALUE,

1asVALUE_TYPE,

t.timestamp

asVALUE_DATE

fromrt_zct

union

select'02911'asPOWER_PLANT_CODE,

2asMACHINE_NO,

'20047'asGROUP_RT_DATA_CODE,

t.dcs210001asPOWER_NUM_VALUE,

1asVALUE_TYPE,

t.timestamp

asVALUE_DATE

fromrt_zct用SQL转换select'02911'asPOWER_116工具FLM的使用工具FLM的使用117工具的启动可以通过开始所有程序来启动。FLM启动时不需要输入用户名，密码。工具的启动可以通过开始所有程序来启动。118启动后的页面启动后的页面119启动后的页面左侧部分是