-
当遇到多维特征输入的时候,转置成行向量,再右乘一个权重的列向量,最后加上一个偏置项即可(xT*w+b)
这里要转化成矩阵和矩阵的乘积运算,因为转化成矩阵即转化成向量进行计算,会利用计算机的并行计算能力(利用GPU和CPU),来提高运算速度
2. 列的数量对应的是feature
3. 矩阵可以看成是一个空间变换的函数:y=A*x,其中y是一个M*1向量,x是一个N*1向量,如果想把x映射到y,那么A就需要是一个M*N的矩阵
-
神经网络:通过给线性变换增加非线性变换因子,从而拟合非线性变换
其他激活函数
import torch
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
# delimiter=','表示按照原样输出csv文件中的数据
xy = np.loadtxt('./data/diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1])
y_data = torch.from_numpy(xy[:, [-1]])
class Model(torch.nn.Module):
def __init__(self):
super(Model, self).__init__()
self.linear1 = torch.nn.Linear(8, 6)
self.linear2 = torch.nn.Linear(6, 4)
self.linear3 = torch.nn.Linear(4, 1)
self.sigmoid = torch.nn.Sigmoid()
def forward(self, x):
x = self.sigmoid(self.linear1(x))
x = self.sigmoid(self.linear2(x))
x = self.sigmoid(self.linear3(x))
return x
model = Model()
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
lost_list=[]
for epoc in range(1000):
y_pred = model(x_data)
loss = criterion(y_pred, y_data)
lost_list.append(loss.item())
print(epoc, loss.item())
optimizer.zero_grad()
loss.backward()
optimizer.step()
plt.plot(np.arange(0,1000,1),lost_list)
plt.xlabel('epoc')
plt.ylabel('loss')
plt.show()