人工神经网络ANN

import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
"""
    OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
    原因：torch和matplotlib工具中都有libiomp5md.dll，只能保留一个
    解决：删除torch下的libiomp5md.dll
"""
def sigmoid_demo():
    fig, axes = plt.subplots(1,2)

    # 创建x轴的刻度
    x = torch.linspace(-20,20,1000)

    # sigmoid函数_原始图像
    y = torch.sigmoid(x)

    # 绘制图形
    axes[0].plot(x,y)
    axes[0].grid()
    axes[0].set_title("sigmoid函数_原始图像")

    # sigmoid函数_导数图像
    x = torch.linspace(-20, 20, 1000, requires_grad=True)
    torch.sigmoid(x).sum().backward()

    # 绘制图形
    axes[1].plot(x.detach(), x.grad)
    axes[1].grid()
    axes[1].set_title("sigmoid函数_导数图像")
    plt.show()


if __name__ == '__main__':
    # sigmoid激活函数
    sigmoid_demo()

# 导包
import torch
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']    # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号


# 遇到的问题: OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
# 解决方案:  去 你的Anaconda软件安装路径下的 anaconda3\Lib\site-packages\torch\lib 删除 libiomp5md.dll 这个文件.
# 例如: 我的路径是 C:\Software\DevelopSofware\anaconda3\Lib\site-packages\torch\lib


# 需求1: 绘制Tanh函数图像

# 1. 创建1个 1行2列的画布.
fig, axes = plt.subplots(1, 2)
# 2. 准备x轴的值 -> [-20, 20]的等差数列, 1000个元素.
x = torch.linspace(-20, 20, 1000)
# 3. 计算Tanh函数的值
y = torch.tanh(x)
# 4. 绘制折线图.
axes[0].plot(x, y)
axes[0].grid()
axes[0].set_title('Tanh 函数图像')
# plt.show()

# 需求2: 绘制Tanh函数的导数图像.
# 1. 准备x轴的值 -> [-20, 20]的等差数列, 1000个元素.
x = torch.linspace(-20, 20, 1000, requires_grad=True)
# 2. 计算Tanh函数的导数
torch.tanh(x).sum().backward()   # 表示 标量张量 才能求导.
# 3. 绘制折线图
axes[1].plot(x.detach(), x.grad)
axes[1].grid()
axes[1].set_title('Tanh 函数导数图像')
plt.show()

# 导包
import torch
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']    # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号


# 遇到的问题: OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
# 解决方案:  去 你的Anaconda软件安装路径下的 anaconda3\Lib\site-packages\torch\lib 删除 libiomp5md.dll 这个文件.
# 例如: 我的路径是 C:\Software\DevelopSofware\anaconda3\Lib\site-packages\torch\lib


# 需求1: 绘制Relu函数图像

# 1. 创建1个 1行2列的画布.
fig, axes = plt.subplots(1, 2)
# 2. 准备x轴的值 -> [-20, 20]的等差数列, 1000个元素.
x = torch.linspace(-20, 20, 1000)
# 3. 计算Relu函数的值
y = torch.relu(x)
# 4. 绘制折线图.
axes[0].plot(x, y)
axes[0].grid()
axes[0].set_title('Relu 函数图像')
# plt.show()

# 需求2: 绘制Relu函数的导数图像.
# 1. 准备x轴的值 -> [-20, 20]的等差数列, 1000个元素.
x = torch.linspace(-20, 20, 1000, requires_grad=True)
# 2. 计算Relu函数的导数
torch.relu(x).sum().backward()   # 表示 标量张量 才能求导.
# 3. 绘制折线图
axes[1].plot(x.detach(), x.grad)
axes[1].grid()
axes[1].set_title('Relu 函数导数图像')
plt.show()

"""
案例:
    Softmax激活函数演示.

回顾: ANN介绍
    概述:
        人工神经网络(Artificial neural network), 通过多个 神经元 搭建的神经网络, 模仿生物学的神经元, 模拟世间万事万物.

    组成:
        输入层, 隐藏层, 输出层,   每层都可以有N个神经元.
        其中 输入层神经元的个数 = 特征的数量.

    细节:
        1. 同层的多个神经元之间相互不连接.
        2. 本层的每个神经元都会和 上一层的所有神经元建立连接, 叫: 全连接层(Linear, FC)
        3. 搭建神经网络时, 只需要搭建 隐藏层 和 输出层即可.
           且: 输入维度是上一层的神经元的数量, 输出维度是本层的神经元的数量.
        4. 关于神经元个数的经验之谈, 浅层的神经元数量可以多一点, 深层的神经元数量可以少一些.
        5. 激活函数的作用是: 给神经元添加 非线性因素, 则神经元就可以处理 分类问题了.

    激活函数分类:
        Sigmoid激活函数:
            既考虑正样本, 也考虑负样本, 切回把结果映射到: [0, 1]之间.
            数据在[-6, 6]之间有效果, 在[-3, 3]之间效果显著, 求导后范围在 [0, 0.25]
            不适用于深层网络, 容易造成: 梯度消失.
            一般应用于 输出层, 且输出层是二分类的.

        Tanh激活函数:
            既考虑正样本, 也考虑负样本, 切把结果映射到: [-1, 1]之间.
            数据在[-3, 3]之间有效果, 在[-1, 1]之间效果显著, 求导后范围在 [0, 1]
            不太适合于深层网络, 容易造成: 梯度消失.
            一般应用于 浅层隐藏层.

        ReLu激活函数:
            (默认)只考虑正样本, 公式为: f(x) = max(0, x), 所以可能会导致 神经元死亡(可以缓解过拟合情况)
            导数范围: <= 0 导数为0,  >0 导数为 1
            应用最多, 且大多应用于 隐藏层.  有变形版 -> Leaky Relu, PRelu...

        Softmax激活函数:
            把多分类的结果用概率来表示, 这这些概率值的累加和为1, 最终选取 概率值最大的那个结果.
"""

# 导包
import torch

# scores = torch.tensor([0.2, 0.02, 0.15, 0.15, 1.3, 0.5, 0.06, 1.1, 0.05, 3.75])
scores = torch.tensor([[0.3, 0.24, 5, -3.1], [-0.1, 0.56, 2.4, 0.35]])

# 计算得到概率值
"""
        dim=0，表示按列计算概率值
        dim=1，表示按行计算概率值
    """
# prob = torch.softmax(scores,dim=0)
prob = torch.softmax(scores,dim=1)
print(prob)

##### 激活函数
"""
    遇到如下问题的解决过程：
    OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
    
    解决：
    1- 电脑全局搜索libiomp5md.dll
    2- 删除torch目录下的libiomp5md.dll文件即可
"""
import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']    # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号

def sigmoid_demo():
    fig,graph = plt.subplots(1,2)

    # 绘制函数原始图像
    x = torch.linspace(-20,20,1000)
    y = torch.sigmoid(x) # 掌握这行代码
    graph[0].plot(x,y)
    graph[0].grid()
    graph[0].set_title("绘制函数原始图像")

    # 绘制函数导数图像
    x = torch.linspace(-20, 20, 1000, requires_grad=True)
    torch.sigmoid(x).sum().backward()
    graph[1].plot(x.detach(), x.grad)
    graph[1].grid()
    graph[1].set_title("绘制函数导数图像")

    plt.show()

def tanh_demo():
    fig,graph = plt.subplots(1,2)

    # 绘制函数原始图像
    x = torch.linspace(-20,20,1000)
    y = torch.tanh(x) # 掌握这行代码
    graph[0].plot(x,y)
    graph[0].grid()
    graph[0].set_title("绘制函数原始图像")

    # 绘制函数导数图像
    x = torch.linspace(-20, 20, 1000, requires_grad=True)
    torch.tanh(x).sum().backward()
    graph[1].plot(x.detach(), x.grad)
    graph[1].grid()
    graph[1].set_title("绘制函数导数图像")

    plt.show()

def relu_demo():
    fig,graph = plt.subplots(1,2)

    # 绘制函数原始图像
    x = torch.linspace(-20,20,1000)
    y = torch.relu(x) # 掌握这行代码
    graph[0].plot(x,y)
    graph[0].grid()
    graph[0].set_title("绘制函数原始图像")

    # 绘制函数导数图像
    x = torch.linspace(-20, 20, 1000, requires_grad=True)
    torch.relu(x).sum().backward()
    graph[1].plot(x.detach(), x.grad)
    graph[1].grid()
    graph[1].set_title("绘制函数导数图像")

    plt.show()

def softmax_demo():
    # score = torch.tensor([0.2,0.02,0.15,0.15,1.3,0.5,0.06, 1.1,0.05,3.75])
    score = torch.tensor([[2.1,0.5,-1.3], [0.8,-2.3,4.5]])
    """
        dim=0的时候，按行的方向，对一列列的数据计算概率值
        dim=1的时候，按列的方向，对一行行的数据计算概率值
    """
    # result = torch.softmax(score,dim=0)
    result = torch.softmax(score,dim=1)
    print(result)


if __name__ == '__main__':
    # sigmoid激活函数
    # sigmoid_demo()

    # tanh激活函数
    # tanh_demo()

    # relu激活函数
    # relu_demo()

    # softmax激活函数
    softmax_demo()