深度学习基础bp神经网络

大数据，成就未来

男、女？

大数据挖掘专家 2

下列鸢尾花分别属于哪一类：setosa、versicolor、virginica

大数据挖掘专家 3

Sepal.Length

Sepal.Width

Petal.Length

Petal.Width

class

5.1

3.5

1.4

0.2

setosa

4.9

3

1.4

0.2

setosa

7

3.2

4.7

1.4

versicolor

6.4

3.2

4.5

1.5

versicolor

6.3

3.3

6

2.5

virginica

5.8

2.7

5.1

1.9

virginica

6.5

3

5.8

2.2

?

6.2

2.9

4.3

1.3

?

模型／系统

Sepal_lengthSepal_widthPetal_lengthPetal.width

y=f(x1,x2,x3,x4,x5……)

class

大数据挖掘专家 4

关于神经反射的实验

大数据挖掘专家 5

生物神经元结构

突触

细胞体

细胞核

轴突

神经末梢

树突

大数据挖掘专家 6

数学神经元结构

x2x3

xj

x1

f

yi

ij

n n

n

x iwijxj

j1

yif(wijxj)

j1

xj为输入信号，f为传递函数，wi,j表示与神经元xj连接的权值，yi表示输出值，

表示阈值

大数据挖掘专家 7

BP网络结构

输出层

y1 yj yl

第j个输出层神经元的输出：

yˆjf(jj)

q

第j个输出层神经元的输入：

jwhjbh

w1j

w2j

whj

wqj

h1

隐层

输入层

b1 b2 bh

v1h vih vdh

x1 xi xd

bq

第h个隐层神经元的输出：

bhf(hh)

d

第h个隐层神经元的输入：

hvihxi

大数据挖掘专家

i1

8

1

1ex

BP网络结构

E1

2

(yˆ

l

j1

y)2

j j

f(x)sigmoid(x)

大数据挖掘专家 9

BP网络结构

E1

2

(yˆ

l

j1

y)2

j j

网络训练目标：

找出合适的权值和阈值，使得误差E最小

大数据挖掘专家 10

j

BP网络结构

f(x)sigmoid(x) 1

1ex

f'(x)f(x)(1f(x))

yˆjf(jj)

1l ˆ

2 E

yˆy

j

E (yjyj)

2j1

yˆj

wE

EEyˆjj

hj w

w yˆ w

hj

大数据挖掘专家

hj j j hj

11

BP网络结构

EEyˆjj

j j

whj yˆjj whj

h

jb

Eyˆy

whj

yˆj

yˆj

j

f'()

f'(x)f(x)(1f(x))

j j

f(jj)(1f(jj))

yˆj(1yˆj)

gE

yˆj

w E

j

yˆj

j

hj

whj

(yˆjyj)yˆj(1yˆj)

Eyˆjj w

yˆ(1yˆ

)(y

yˆ)b

yˆj(1yˆj)(yjyˆj)

yˆ

j

gjbh

w hj

j hj

j j j j h

大数据挖掘专家 12

BP网络结构

w E

w

hj

hj

Eyˆjj

yˆjj whj

gjbh

yˆj(1yˆj)(yjyˆj)bh

jgj

yˆj(1yˆj)(yjyˆj)

大数据挖掘专家 13

BP网络结构

vihehxi

i

Ebhx

bh h

l

bh(1bh)whjgjxi

j1

heh

Ebh

bh h

l

bh(1bh)whjgj

j1

大数据挖掘专家 14

BP网络结构

whjyˆj(1yˆj)(yjyˆj)bh

jyˆj(1yˆj)(yjyˆj)

l

vihbh(1bh)whjgjxi

j1

l

hbh(1bh)whjgj

j1

大数据挖掘专家 15

网络训练过程

输入：训练集数据、学习速率yita

过程：

在(0,1)范围内随机初始化网络中所有连接权和阈值

repeat

根据网络输入和当前参数计算网络输出值y

计算输出层神经元梯度项gj

计算隐层神经元梯度项eh

跟新连接权值和阈值

until达到停止条件

输出：连接权值和阈值

大数据挖掘专家 16

代码实现

Python（sklearn）

Net=MLPClassifier(hidden_layer_sizes=10,max_iter=1000).fit(tr_data.ix[:,0:6],tr_data.ix[:,6])

res=Net.predict(te_data.ix[:,0:6])R（nnet）

nnet(x,y,size,softmax=FALSE,maxit=100)

大数据挖掘专家 17

Sepal.Length

Sepal.Width

Petal.Length

Petal.Widt

h

class

5.1

3.5

1.4

0.2

setosa

4.9

3

1.4

0.2

setosa

7

3.2

4.7

1.4

versicolor

6.4

3.2

4.5

1.5

versicolor

6.3

3.3

6

2.5

virginica

5.8

2.7

5.1

1.9

virginica

6.5

3

5.8

2.2

?

6.2

2.9

4.3

1.3

?

Sepal_lengthSepal_widthPetal_lengthPetal.width

模型／系统

class

大数据挖掘专家 18

BP 实现

1 2

yx2x2

x1

x2

y

0

0.29

0.23

0.14

1

0.50

0.62

0.64

2

0.00

0.53

0.28

3

0.21

0.53

0.33

4

0.10

0.33

0.12

5

0.06

0.15

0.03

6

0.13

0.03

0.02

7

0.24

0.23

0.11

8

0.28

0.03

0.08

9

0.38

0.49

？

10

0.29

0.47

？

训练集数据：BPdata_tr.txt

测试集数据：BPdata_te.txt

大数据挖掘专家 19

yif(wijxj)

j1

n

BP 实现

大数据挖掘专家 20

映射函数

f(x)sigmoid(x) 1

1ex

defsigmoid(x):#映射函数

return1/(1+math.exp(-x))

importmath

importnumpyasnpimportpandasaspd

frompandasimportDataFrame,Seres

大数据挖掘专家 21

中间层神经元输入和输出层神经元输入

#中间层神经元输入和输出层神经元输入Net_in=np.array([0,0,-1])

Out_in=np.array([0,0,0,0,-1])

大数据挖掘专家 22

中间层和输出层神经元权值及其变化量

#中间层和输出层神经元权值及其变化量w_mid=np.zeros([3,4])

w_out=np.array([0.3,0.3,0.3,0.3,0.3])

delta_w_mid=np.zeros([3,4])

delta_w_out=np.array([0,0,0,0,0])

大数据挖掘专家 23

中间层的输出

#中间层的输出

foriinrange(4):

Out_in[i]=sigmoid(sum(w_mid[:,i]*Net_in))

#输出层的输出/网络输出

res=sigmoid(sum(Out_in*w_out))

error=abs(res-real)

大数据挖掘专家 24

输出层权值变化量

whjyˆj(1yˆj)(yjyˆj)bh

jyˆj(1yˆj)(yjyˆj)

#输出层权值变化量

delta_w_out=yita*res*(1-res)*(real-res)*Out_indelta_w_out[4]=-(yita*res*(1-res)*(real-res))w_out=w_out+delta_w_out

大数据挖掘专家 25

中间层权值变化量

l

vihbh(1bh)whjgjxi

j1

l

hbh(1bh)whjgj

j1

#中间层权值变化量

foriinrange(4):

delta_w_mid[:,i]=y