星环科技安装手册sophon使用手册sophonmanual-t00150x-07

1、1.22223334488881.2222333448888编写目的 读者对象 Sophon配置 . . . . . . . . . . . . . . . . . . . . . . .2.1.Sophon2.2.Sophon2.2.1. 2.2.2. 2.2.3.Inceptor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..1.3.4. . . . . . . . . . . . ..Sophon. . . . . . . . . . . . .CSV数据 Json读模型

2、PMML.1. 写入Inceptor. . . . . . . . . . . . .写模型PMML模型导出为json4.3.Select. . . . . . . . . . . . . . . . . . . . . . . . . . . 取前N条数据 .Aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . Group By. . . . . . . . . . . . . . . . . . . . . . . . . . . Rollup . . . . . . . . . . . . . . . .

3、 . . . . . . . . . . . Cube . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pivot. . . . . . . . . . . . . . . . . . . . . . . . . . . 表去重 4.4.One-HotEncoder . . . . . . . . . . . . . . . . . . . . . 生成ID精确采样 e. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . by . . . . . . . . . . . . . . . . . . . . . . . . . . MultipleOrder By. . . . . . . . . . . . . . . . . . . . . ReplaceData . . . . . . . . . . . . . . . . . . . . . . 行归一化 标准归一化 MaxMax_AbsSQL替换缺失值 二值化 特征分桶 分位数离散化 WoE离散余弦

5、变换特征分桶 分位数离散化 WoE离散余弦变换 主成分分析 奇异值分解 数据类型转换 乔列斯基分解 异常检测LOF特征尺度变换 特征异常平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Boost分类 k. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . k二分K均值 4.8.Dense层

6、Dropout层 基本RNN单元 GRU单元 多个RNN. . . . . . . . . . . . . . . . . . . . . . . . .4.8.10. 应用深度模型 4.9.词频TF逆文档频率IDF word2vec. . . . . . . . . . . . . . .词频TF逆文档频率IDF word2vec. . . . . . . . . . . . . . . . . . . . . . . . . . . 4.10. 统计相关 单变量数值特征统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7、. . . . . . . . . . . . . . . .二变量类别与数值特征统计 计算权重 系统 4.11.1. 交换最小二乘 4.11.2. 因子分解机 4.12. 关联规则 FP-Growth创建关联规则 PrefixSpan算法 Apriori应用关联规则 转换事务数据集 4.13. 验证与评估 性能（分类） 性能（二分类） 性能（回归） 性能（聚类） X-验证 优化参数（网格搜索） 4.14. 实用工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15. 控制 4.15.1. 循环 4.15.2. 按列循环 4.16. 自定义 4.15. 控制 4.15.1. 循环 4.15.2. 按列循环 4.16. 自定义 自定义算子管理 自定义算子 .4.17.5. UDF . . . . . . . . . . . . . . . . . . .

10、. . . . . . . . . . . .5.1. . . . . . . . . . . . . . . . . . . . . . . . . . . .字符串 时间 数学 Array, Map,Struct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11、 . . . . . . . .聚 合其 他窗口 5.2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .数据读写 预处理 模型 7.streamsql8.,-aopT,-aopTa-l 2013-2017!#$%&()*+,-!#$%&()*+,-?F0234K/!#$%&()*+,-()*+,-C8?/01: T001

12、50 x-11-V: 2017-07-Preface|1.1.1. 1.2. 1.3. Sophon 1.!6#$%6&csv 1.1.1. 1.2. 1.3. Sophon 1.!6#$%6&csv 2.)6(uYw+,6- C=&k-meansdbscanemtop-_=&FP-k-_=&AprioriFP-5.6. C2|1. 1.4. B12|x861.5. 1.6. 1.1.4. B12|x861.5. 1.6. 1.| Windows7/WindowsServerUbuntu2.2.1. Sophon Sophon 2.2.1. Sophon Sophon 4|2. z Sopho

13、n Kz Sophon K2.| LYwG TDH KK Sophon LYwG TDH KK Sophon 6|2. GtuPG InceptorKFGYw+wGtuPG InceptorKFGYw+wSophonK 2.| )c+K2.2. Sophon 2.2.1. F2.2.2. XFKw0 )c+K2.2. Sophon 2.2.1. F2.2.2. XFKw0 27 zFK2.2.3. Inceptor 6(InceptorzInceptor8|2. 2.| 2.| 3. 3.1. 3.1.1. 3.1.2. 3. 3.1. 3.1.1. 3.1.2. 3.1.

14、3. 10|. +o,JK+F=xz6KjpWzYK3.1.5. 3.1.4. +o,JK+F=xz6KjpWzYK3.1.5. 3.| 3.2. !6K-source-3.3. 3.3.1. 4play3zyestemperatureQ80K6k0Fnk04IBnK j 3.4. 3.4.1. JK-3.2. !6K-source-3.3. 3.3.1. 4play3zyestemperatureQ80K6k0Fnk04IBnK j 3.4. 3.4.1. JK-x3MNOCKFxpEgolfKp-12|3.3.p1.1.(1)zgolf6#-p1.1.(1)zgolf6#-3

15、.| 5.iYw6DKo14|3.5.iYw6DKo14|. p2. label 7.XYF3.4.2. p2. label 7.XYF(1)zlabel6#-3.| 10. iYw6DKo16|3.10. iYw6DKo16|3.de=R/6S/z/6-!#$%C6-Sr3.6.2. 8(6)churnVYzlabelde=R/6S/z/6-!#$%C6-Sr3.6.2. 8(6)churnVYzlabel“z3.6.3. 3.| 7. 8.9. .10.2210.22|3.4. 4.1. 4.1.1. 4.1.2. 4. Sophon | 4. 4.1. 4.1

16、.1. 4.1.2. 4. Sophon | !J%sql4Ique !4.1.3. YwuHDFSKCSV-24|. YwuHDFSKCSV-24|4.!J%sql4Ique !a=BUTF-V-4. Sophon | =BUTF-V-4. Sophon | KJson-4.1.5. !26|4.KJson-4.1.5. !26|4.!+0= R!#=NaNINF- V-:%pmml-:%pmml-:4.2. 4. Sophon | :4.2.2. 28|4.:4.2.2. 28|4.root:4. Sophon | eB= NH$G_AC -parquetBparquet-:

17、4. Sophon | eB= NH$G_AC -parquetBparquet-0-orc-:4.2.4. :30|4.eB= NH$G_AC CSVz:4.2.4. :30|4.eB= NH$G_AC CSVz z #.; V-L-parquet-. :4.2.6. :4. Sophon | $IKK*pN+ :4.2.6. :4. Sophon | $IKK*pN+ eB= NH$G_AC .; V-L-4.2.7. :)wpmml-$:wPMML-4.2.7. :)wpmml-$:wPMML-4.2.8. :4.3. 32|4.$4.3.2. 4.3.3. k09z;n&. 323VY

18、nwandWp4Kk0:Yw4.3.2. 4.3.3. k09z;n&. 323VYnwandWp4Kk0:Yw+ncondition Kk0Afilter:missing pn+2i3Kk 0missing_attribute pn“zRlabelKVY+2i3Kk0missing_label pn 4. Sophon | Li Li u+CVY /A)LiLi iu+CVY =Li=Li=LiLi 4.3.4. ;CF=Yuse id 4.3.5. 4.3.4. ;CF=Yuse id 4.3.5. =A-4.3.6. 34|4.useidattributeas4.3.7. A6KFC=A

19、+4.3.9. Group SQLKgroup.3.7. A6KFC=A+4.3.9. Group SQLKgroup..12.4. Sophon | group index aggregate6group attributejindex 9zindex attribute KVYA+2i3aggregate attributes;KVY 4.3.13. 4.4. 36|4.9zindex attribute KVYA+2i3aggregate attributes;KVY 4.3.13. 4.4. 36|. wp+VYuserK6

20、z ?VYKYwGrename additional attributes4.4.2. D.qrqrVY!K-=-4.4.1. wp+VYuserK6z ?VYKYwGrename additional attributes4.4.2. D.qrqrVY!K-=-yoktoKk0u a. balance column : sleratioperclass : Edit tclass 4Ibalance Yresult,JVY+0123balance leratioclass4. Sophon | 4.4.10. withsle4.4.11.e4.4.10. withsle4.4.11.e44|

21、2.56-pp6-pp.1m6ponK4.4.13. exaB;k0K 4.4.14. Order 4.4.15. Multiple Order 4. Sophon | EditEnumeration GAttributeFilterTypeaaaF 4.4.16. Replace 4.4.17. GAttributeFilterTypeaaaF 4.4.16. Replace 4.4.17. tup-norm6C/.k0n/zLp+G0CjCHtuF; = 4.4.18. W/;zW/Kz3Dz9z:K;F 9A,-K46|4.olumns:4.4.19.mol

22、umns:4.4.20.max-absn_/azn_/+0-olumns:4.4.19.molumns:4.4.20.max-absn_/azn_/+0-olumns:out:max-!K6Cmax-4. Sophon | 4.4.21. SQLTransformertu.1Ksql;6CSr.SELECTTHIS Ljp.SELECTa+b ASa_bFROM SQRT(b)ASb_sqrtFROM THIS wherea 4.4.21. SQLTransformertu.1Ksql;6CSr.SELECTTHIS Ljp.SELECTa+b ASa_bFROM SQRT(b)ASb_sqr

23、tFROM THIS wherea 5b,SUM(c)AS c_sumFROM THIS b4.4.22. 48|4.YEdit Edit 4.4.23. 4.4.24. 4. Sophon |4.4.23. 4.4.24. 4. Sophon | 4.4.25. 50|5. 50|4.u.,5-lits.1z-0.5, K6-0.3,0.2,0.0,1.0, 1.0.p-.=splitsz-0.5, xyKsplitsz-inf,-0.0,0.5,.4.27. .4.27. 4.4.28. 4. Sophon | WXK (2: znonepAo

24、;K6+nVY2.zkeepVariance +(!zW*+m3.znonepAo;K6+nVY2.zkeepVariance +(!zW*+m3.zfixedNumber +k4IA_0Kp5)m;.;cKKLPz; 4.4.29. znonezkeepVariance+percent,4I01K!SVDKA zfixedNumberAQJ3+m52|0. 4. Sophon | 4.4.30. 4. Sophon | 4IzArray)4.4.31. mod : exa : 4.4.32. 4.4.31. mod : exa : 4.4.32. :54|3. .

25、KzCK=log,abs,4.4.33. .KzCK=log,abs,exa:Q;k0”(rKzaKzzscalemethod+scalecolumn4.4.34. Jzallzsingle4. Sophon | 3. zsubset LB 4.4In_pp+regular KVYW+useexcept yregularyexceptregular3. zsubset LB 4.4In_pp+regular KVYW+useexcept yregularyexceptregular=1.zzScore $pmzpercentage4I(xK-3.zthreshold4.5. 4.5.1. 56

26、|4.mod : exa : mtype4.5.2. 4. Sophon | mod : exa : mtype4.5.2. 4. Sophon | mod : exa : 4.5.3. mVYFpq=MNOGVYLGKVY$+dVY* mod : exa : 58|4.mod : exa : 4.5.3. mVYFpq=MNOGVYLGKVY$+dVY* mod : exa : 58|4. -B-4.5.4. cODensemble mod : exa : 4. Sophon | 4.5.4. cODensemble mod : exa : 4. Sophon | -B-squared(L2

27、)j absolute(L1)mod : exa : 4.5.6. jtug(z)Pz$Fg(z) Yw3st0j1(FWXYFKAGBzXYF;KQ+0K=!n0j160|4.+0G0,1,Q0,mod : exa : 4.5.6. jtug(z)Pz$Fg(z) Yw3st0j1(FWXYFKAGBzXYF;KQ+0K=!n0j160|4.+0G0,1,Q0,Q0,Q0,Q0,(0,1,(0,1,(0,1,Q)0,Q)0,XKW=,6-Q)0, ve cases) / sum(mod : exa : 4.5.7. mod : exa : 4.5.8. 4. Sophon | step mo

28、d : exa : 4.5.7. mod : exa : 4.5.8. 4. Sophon | step numreg mini batchP_treeAggregation mod : exa : Liu,Ting,CharlesRosenberg,andHenryRowley.Clusteringbillionsofimages largescalenearestneighborsearch.ApplicationsofComputerVi IEEE Workshop on. IEEE, 2007.,mod : exa : Liu,Ting,CharlesRosenberg,andHenr

29、yRowley.Clusteringbillionsofimages largescalenearestneighborsearch.ApplicationsofComputerVi IEEE Workshop on. IEEE, 2007.,4.5.9. mod : exa : 62|4.2uselocalrandom kOSrzbrute-4.6. 4.6.1. mod : exa : 4.6.2. mVYFpq=MNOGVYLGKVY$+dVY* 4. Sophon4.6. 4.6.1. mod : exa : 4.6.2. mVYFpq=MNOGVYLGKVY$+dVY* 4. Sop

30、hon | mod : exa : 4.6.3. 64|4. mod : exa : 4.6.3. 64|4. -B-mod : exa : 4.6.4. 4. Sophon | mod : exa : 4.6.4. 4. Sophon | -B-mod : exa : 4.6.5. kAB:.+,xY = y_1, y_2, , 6, X = x_1, x_2, , x_n x_i)2Ks_3,-mod : exa : 4.6.5. kAB:.+,xY = y_1, y_2, , 6, X = x_1, x_2, , x_n x_i)2Ks_3,-mod : exa : 4.6.6. mod

31、 : exa : 66|4.treeAggregation 4.6.7. mod : exa : 4.7. 4.7.1. k-4. Sophon | k4.6.7. mod : exa : 4.7. 4.7.1. k-4. Sophon | kclu : :4.7.2. mod : :68|4.kclu : :4.7.2. mod : :68|4.krandomjk-Gk-4.7.3. mod : :4.8. 4.8.1. 4. Sophon | 4.7.3. mod : :4.8. 4.8.1. 4. Sophon | k:4.8.4. 70|4.:4.8.4. 70|4.AdamaGrad

32、ient:4.8.5. 0RNNRNNF +RNNzbcde2F bcde2 tuGbcdeIJKF9z|KRNNJiYtu :GRURNNF +RNNzbcde2F tuGbcdeIJKF :4. Sophon |:4.8.5. 0RNNRNNF +RNNzbcde2F bcde2 tuGbcdeIJKF9z|KRNNJiYtu :GRURNNF +RNNzbcde2F tuGbcdeIJKF :4. Sophon | :4.8.8. bcdeDRNN, RNN. :4.8.9. bcdeRNN,RNN.0D3K|KRNN KRNN. :4.8.8. bcdeDRNN, RNN. :4.8.

33、9. bcdeRNN,RNN.0D3K|KRNN KRNN. +RNNzbcde2. bcde2tuG :72|4.:4.8.10. applicationlab : :4.8.10. applicationlab : mod : 4.9. ztzd,(zD.TF(t,d)tGd7KF=tu G7KpK7c%+7byB#$ L=,a , the , of F=G;Dz9z:K; * ;v: J4. Sophon | 4.9.2. ztzd , (zD .DF(t,D) (&tKF=t of F=G4.9.2. ztzd , (zD .DF(t,D) (&tKF=t of F=G$L=,a,th

34、eIDF K#$LKcLFTF .1TF jIDF RS;Dz9z:K; * ;v: J74|. out : 4. Sophon | 4.9.3. out : 4. Sophon | 4.9.4. :4.9.5. 76|. :4.9.5. 76|4.=4.9.6. exa:K6sec:4. Sophon | =4.9.6. exa:K6sec:4. Sophon | Row(,valschema=StructField(name, DaStructField(age, Davaloutput=d1.sqlContext.createDataFrame(r

35、dd,schema) Array(output, d1)K5C AcustomxSophonK5&jar&FCF.1Cclass SimpleCustomOp,parameters 64IOzK.1C+tu+Au 100|4.0DfrompysparkimportSparkContextSparkContext/F A9/F SophonDentrycN+K SparkContext 0DfrompysparkimportSparkContextSparkContext/F A9/F SophonDentrycN+K SparkContext sc=entry.sc# spark=entry.

36、spark# y;vj;vK6;kDentry F6 y entry.put_df(df)X4. Sophon | #+,-frompyspark.sqlimport#+,-frompyspark.sqlimportcol = paramsp1 # out1=df.select(col)# sc = entry.sc # Sospark = entry.spark # # rdd=sc.parallelize(1,2,people=rdd.map(lambdax:Row(name=name,age=x) out2 = spark.createDataFrame(people)# Cout1,

37、*4.17. 102|4.4. Sophon | le4. Sophon | leunmatched exsetI;Ay4 K sing5.5.1. 5.1.1. 104|. 5.1.1. 104|. 5.UDF|5.1.2. 5.UDF|5.1.3. 106|. 106|5.5.UDF|er5.UDF|er5.1.4.Array,Map,5.1.5. 108|5.+-*/%5.1.4.Array,Map,5.1.5. 108|5.+-*/%5.1.6. 5.UDF|5.1.6. 5.UDF|5.1.7. 5.1.8. 110|. 5.1

38、.8. 110|5.5.2. SophonuHIKUDFUDAFF +KUDFYwG1. GSophon/usr/lib/midasx s2.5.2. SophonuHIKUDFUDAFF +KUDFYwG1. GSophon/usr/lib/midasx s2. packageclass TestUDF extends UDFEntryoverridedefregister(registration:UDFRegistration):Unitregistration.register(test,(x:String)=x.substring(0, 3. 5.UDF|r6. M6.1. 6.1.1. 6.1.2. F6.1