Softmax函数

Softmax函数是一个常用的激活函数，通常用于多类别分类问题中的输出层。它将输入的实数向量转换为概率分布向量，使得每个元素都在0到1之间，并且所有元素的和为1。Softmax函数的数学表达式如下：

给定一个实数向量 z=[z1,z2,...,zk]z = [z_1, z_2, ..., z_k]z=[z1​,z2​,...,zk​]，Softmax函数的定义如下：

Softmax(zi)=ezi∑j=1kezj\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{k} e^{z_j}}Softmax(zi​)=∑j=1k​ezj​ezi​​

其中，eee 是自然对数的底数，ziz_izi​ 是向量 zzz 的第 iii 个元素，kkk 是向量 zzz 的长度。Softmax函数将向量 zzz 中的每个元素转换为一个概率值，使得所有概率值的和为1，可以用来表示多个类别的概率分布，常用于神经网络的输出层进行多类别分类。

在Python中，可以使用NumPy库来实现Softmax函数，如下所示：

import numpy as np

def softmax(z):
    exp_z = np.exp(z - np.max(z))  # 避免数值溢出
    return exp_z / np.sum(exp_z)

# 示例
z = np.array([2.0, 1.0, 0.1])
softmax_output = softmax(z)
print(softmax_output)