使用内置函数通常要比使用for循环更快,所以能不用for循环就不要用!
1.Vectorization for logistic regression
import numpy as np
import time
w = np.random.rand(1000000)
x = np.random.rand(1000000)
#Vectorization version
tic = time.time()
z = np.dot(w,x)
toc = time.time()
print(z)
print("Vectorization :" + str(100*(toc-tic)) + "ms")
#loop version
z = 0
tic = time.time()
for i in range(1000000):
z += w[i]*x[i]
toc = time.time()
print(z)
print("Loop: " + str(100*(toc-tic)) + "ms")
result:
250025.05451000776
Vectorization :0.07700920104980469ms
250025.05451001957
Loop: 62.82768249511719ms
以下这些内置函数对每个元素进行操作,避免了for循环
- np.exp(V)
- np.log(V)
- np.abs(V)
- np.maxinum(V,0)
- V**2
- 1/V
-
向量化将两个循环简化为一个循环,剩下一个循环是对m个样本的遍历。
-
将样本作为一个矩阵X输入,则没有显式for循环
b是实数,广播b给每个向量
Z= np.dot(w.T,X)+b
2.Vectorizing Logistic Regression’s Gradient Computation
向量化计算m个训练数据的梯度(同时计算)
-
dz,dw,db的计算过程如下:
d z ( i ) = a ( i ) − y ( i ) dz^{(i)}=a^{(i)}-y^{(i)} dz(i)=a(i)−y(i)
d w = x ( i ) ( a ( i ) − y ( i ) ) = x ( i ) d z ( i ) dw=x^{(i)}(a^{(i)}-y^{(i)})=x^{(i)}dz^{(i)} dw=x(i)(a(i)−y(i))=x(i)dz(i)
d b = a − y = d z db=a-y=dz db=a−y=dz -
可以用这种方式对反向传播进行向量化:
最后没有显式使用for循环实现了一次梯度下降,但是如果要实现多次迭代,那么还是需要循环的。