NumPyでのニューラルネットワーク1

# coding: UTF-8

import numpy as np
import matplotlib.pylab as plt

def sigmoid(x):# 活性関数として0から１の滑らかな曲線で活性化させるシグモイド関数の定義
   return 1 / (1 + np.exp(-x))

print("1層目の算出 x1,x2の２つ入力からニューロン(a1_1,a1_2,a1_3)の出力A1を算出");
x1,x2=1.0, 0.5 # ２つ入力
w1_11, w1_21, w1_31= 0.1, 0.3, 0.5 #x1の入力に対する1層目各ニューロンの算出用重みパラメタ
w1_12, w1_22, w1_32= 0.2, 0.4, 0.6 #x2の入力に対する1層目各ニューロンの算出用重みパラメタ
b1_1, b1_2, b1_3= 0.1, 0.2 ,0.3

X=np.array( [ x1, x2 ] )
W1=np.array( [ [ w1_11, w1_21, w1_31 ] , [ w1_12, w1_22, w1_32 ] ])
B1=np.array( [ b1_1, b1_2, b1_3 ] )

A1=np.dot( X , W1 ) + B1
Z1=sigmoid(A1)
print(A1) # 表示結果: [ 0.3  0.7  1.1]
print(Z1) # 表示結果: [ 0.57444252  0.66818777  0.75026011]

print("\n\n 2層目の算出 (a1_1,a1_2,a1_3)ののA1のニューロンからAニューロン(a2_1,a2_2)の出力2を算出");
w2_11, w2_21= 0.1, 0.4 #A1[0]の入力に対する2層目各ニューロンの算出用重みパラメタ
w2_12, w2_22= 0.2, 0.5 #A1[1]の入力に対する2層目各ニューロンの算出用重みパラメタ
w2_13, w2_23= 0.3, 0.6 #A1[2]の入力に対する2層目各ニューロンの算出用重みパラメタ
b2_1, b2_2= 0.1, 0.2
W2=np.array( [ [ w2_11, w2_21 ] , [ w2_12, w2_22 ] , [ w2_13, w2_23 ] ])
B2=np.array( [ b2_1, b2_2 ] )

A2=np.dot( Z1 , W2 ) + B2
Z2=sigmoid(A2)
print(A2) # 表示結果: [ 0.51615984  1.21402696]
print(Z2) # 表示結果: [ 0.62624937  0.7710107 ]


print("\n\n 3層目の算出 (a2_1,a2_2)ののA2のニューロンからニューロン(a3_1,a3_2)の出力A3を算出");
w3_11, w3_21= 0.1, 0.3 #A2[0]の入力に対する3層目各ニューロンの算出用重みパラメタ
w3_12, w3_22= 0.2, 0.4 #A2[1]の入力に対する3層目各ニューロンの算出用重みパラメタ
b3_1, b3_2= 0.1, 0.2
W3=np.array( [ [ w3_11, w3_21 ] , [ w3_12, w3_22 ] ])
B3=np.array( [ b3_1, b3_2 ] )

A3=np.dot( Z2 , W3 ) + B3
Y=A3
print(Y) # 表示結果: [ 0.31682708  0.69627909]

# coding: UTF-8
import numpy as np

def sigmoid(x):# 活性関数として0から１の滑らかな曲線で活性化させるシグモイド関数の定義
   return 1 / (1 + np.exp(-x))

class ForwardProc: # 順方向の伝搬（forward propagation）のニューラルネットワーク推論クラス
   def __init__(self):
      self.params = {} #データ管理用の辞書型初期化
      # １層目の重みと、バイアスパラメタの初期化
      w1_11, w1_21, w1_31= 0.1, 0.3, 0.5 #x1の入力に対する1層目各ニューロンの算出用重みパラメタ
      w1_12, w1_22, w1_32= 0.2, 0.4, 0.6 #x2の入力に対する1層目各ニューロンの算出用重みパラメタ
      b1_1, b1_2, b1_3= 0.1, 0.2 ,0.3
      self.params['W1']=np.array( [ [ w1_11, w1_21, w1_31 ] , [ w1_12, w1_22, w1_32 ] ])
      self.params['b1']=np.array( [ b1_1, b1_2, b1_3 ] )
      # ２層目の重みと、バイアスパラメタの初期化
      w2_11, w2_21= 0.1, 0.4 #A1[0]の入力に対する2層目各ニューロンの算出用重みパラメタ
      w2_12, w2_22= 0.2, 0.5 #A1[1]の入力に対する2層目各ニューロンの算出用重みパラメタ
      w2_13, w2_23= 0.3, 0.6 #A1[2]の入力に対する2層目各ニューロンの算出用重みパラメタ
      b2_1, b2_2= 0.1, 0.2
      self.params['W2']=np.array( [ [ w2_11, w2_21 ] , [ w2_12, w2_22 ] , [ w2_13, w2_23 ] ])
      self.params['b2']=np.array( [ b2_1, b2_2 ] )
      # ３層目（出力）の重みと、バイアスパラメタの初期化
      w3_11, w3_21= 0.1, 0.3 #A2[0]の入力に対する3層目各ニューロンの算出用重みパラメタ
      w3_12, w3_22= 0.2, 0.4 #A2[1]の入力に対する3層目各ニューロンの算出用重みパラメタ
      b3_1, b3_2= 0.1, 0.2
      self.params['W3']=np.array( [ [ w3_11, w3_21 ] , [ w3_12, w3_22 ] ])
      self.params['b3']=np.array( [ b3_1, b3_2 ] )

   def predict(self,x): # 予測関数
      W1,W2,W3=self.params['W1'],self.params['W2'],self.params['W3']
      b1,b2,b3=self.params['b1'],self.params['b2'],self.params['b3']
      a1=np.dot( x , W1 ) + b1
      z1=sigmoid(a1)
      print(a1), print(z1) # =============表示結果
      a2=np.dot( z1 , W2 ) + b2
      z2=sigmoid(a2)
      print(a2) , print(z2) # =============表示結果
      a3=np.dot( z2 , W3 ) + b3
      y=a3 # 出力層
      return y

network=ForwardProc()
x=np.array( [ 1.0, 0.5 ] ) # ２つ入力
y=network.predict(x)
print(y) # 表示結果: [ 0.31682708  0.69627909]

# coding: UTF-8　
#	 src=forward_proc_bat.py
import numpy as np
import pickle

def sigmoid(x):# 活性関数として0から１の滑らかな曲線で活性化させるシグモイド関数の定義
   return 1 / (1 + np.exp(-x))

def softmax(x): # バッチ対応版
   if x.ndim == 2: # バッチ処理の引数データか？
      x = x.T  # 転置行列を求る。
      x = x - np.max(x, axis=0) # オーバーフロー対策
      y = np.exp(x) / np.sum(np.exp(x), axis=0) # axis=0で、内部配列ごとに処理
      return y.T 
   x = x - np.max(x) # オーバーフロー対策
   return np.exp(x) / np.sum(np.exp(x))

class ForwardProc: # 順方向の伝搬（forward propagation）のニューラルネットワーク推論クラス
   def __init__(self):
      # 重みとバイアスのパラメタが学習済として、そのpickleで直列化したファイル（'weight_bias_params_0.pkl'）から復元
      with open('weight_bias_params_0.pkl', mode='rb') as fr:
           self.params = pickle.load( fr ) # 復元する
   def predict(self,x): # 予測関数
      W1,W2,W3=self.params['W1'],self.params['W2'],self.params['W3']
      b1,b2,b3=self.params['b1'],self.params['b2'],self.params['b3']
      a1=np.dot( x , W1 ) + b1
      # print(a1.shape) # =============表示結果: (50,)
      z1=sigmoid(a1)
      a2=np.dot( z1 , W2 ) + b2
      # print(a2.shape) # =============表示結果:(100,)
      z2=sigmoid(a2)
      a3=np.dot( z2 , W3 ) + b3
      y = softmax(a3) #　出力層
      return y

network=ForwardProc()
print("W1:" , network.params['W1'].shape)  # =============表示結果: W1 (784, 50)
print("b1:" , network.params['b1'].shape)  # =============表示結果: b1: (50,)
print("W2:" , network.params['W2'].shape)  # =============表示結果: W2: (50.100)
print("b2:" , network.params['b2'].shape)  # =============表示結果: b2: (100,)
print("W3:" , network.params['W3'].shape)  # =============表示結果: W3: (100,10)
print("b3:" , network.params['b3'].shape)  # =============表示結果: b3: (10,)

with open('x_test.pkl', mode='rb') as fr:
   x = pickle.load( fr ) # テスト用データのオブジェクトを復元する

with open('t_test.pkl', mode='rb') as fr:
   t = pickle.load( fr ) # テスト用ラベルのオブジェクトを復元する　解答ラベルt[0]がx[0]のデータの分類用識別値

# ----------------------------------------------------------------
# 10000件を100個のバッチ数ごとに推測し、その結果と解答ラベルが一致している割合（比率）を出力している。
batch_size=100
accuracy_cnt = 0 # x[0]の処理結果(10,)のy最大確率値の位置が 解答ラベルt[0]であれば正解できたと判断して、それを計数する。
for i in range(0, len(x), batch_size):
    x_batch = x[i:i+batch_size]
    y_batch = network.predict( x_batch )
    p= np.argmax(y_batch, axis=1) # 各配列で最も確率の高い要素のインデックスを取得
    accuracy_cnt += np.sum( p == t[i:i+batch_size] )

print("Accuracy:" + str(float(accuracy_cnt) / len(x)))