从0到1：用Python构建你人生中的第一个人工智能AI模型

已于 2024-10-08 10:16:29 修改
阅读量543 收藏 10
点赞数 18
分类专栏： AI领域 Python高阶 文章标签： python 人工智能 开发语言 AI编程 AI工作流 ai
于 2024-10-08 10:15:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzongxin94/article/details/142751997
版权

文章目录

🔥主流AI大模型集聚地 + 上百种AI工作流落地场景 = 能用AI
🔥传送门：https://www.nyai.chat/chat?invite=nyai_1141439&fromChannel=csdn241008_python_AI

摘要

在这篇文章中，我将带你从0到1的了解，如何使用Python，构建你人生中的第一个人工智能AI模型。无论你是编程新手，还是希望深入探索人工智能领域的开发者，这篇文章都将为你提供清晰、详细的指南。我们将逐步介绍数据预处理、模型建立、训练和测试的过程，以及如何解读模型的结果。

引言

人工智能（AI）已经成为当今最热门的话题之一。AI 的应用领域不仅当今最流行的文生文，文生图，视频制作，AI绘画等等，除了这些还有生活中的方方面面。而Python 是人工智能（AI）领域中最常用的编程语言，原因包括其简单易学、广泛的三方库和框架支持，以及庞大的社区，成为了人工智能开发的首选语言。

Python是一种解释型、面向对象的高级程序设计语言，其简单明了的语法和强大的标准库使我们能够快速上手。尤其是在人工智能领域，Python的地位无可替代。它拥有众多强大的开源库，如NumPy、Pandas、Matplotlib、Sci-kit Learn、TensorFlow和PyTorch等，这些库大大降低了开发难度。

接下来，我们将详细介绍，如何利用Python的第三方库，带你走进AI的世界。
在这里插入图片描述

数据预处理：为模型打下坚实基础

数据预处理是AI和机器学习中至关重要的一步。好的数据预处理工作是建立高效模型的基础。干净、整洁和准确的数据能够帮助模型更好地学习和预测，而嘈杂或错误的数据则可能导致模型性能下降。

数据预处理的步骤

  1. 处理缺失值、去除异常值和重复值。
  2. 进行数据类型转换、离散化等。
  3. 将数据缩放到一定范围内，进行归一化或标准化。

Python示例

以下是一个简单的数据清洗和预处理示例：

import pandas as pd
import numpy as np

# 创建一个简单的数据集
data = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [24, np.nan, 30, 29],
    'gender': ['F', 'M', 'M', 'M']
})

# 处理缺失值
# 使用中位数填充缺失的年龄
data['age'].fillna(data['age'].median(), inplace=True)

# 将性别转换为数值类型，使用替换方法
data['gender'].replace({'M': 1, 'F': 0}, inplace=True)

# 数据规范化
# 规范化年龄，使用 Min-Max 归一化方法
data['age'] = (data['age'] - data['age'].min()) / (data['age'].max() - data['age'].min())

print(data)

代码说明：

  1. 数据创建：

    • 创建一个包含姓名、年龄和性别的简单数据集。

  2. 缺失值处理：

    • 使用 fillna 方法将缺失的年龄填充为该列的中位数。

  3. 性别转换：

    • 将性别从字符类型转换为数值类型，使用 replace 方法。

  4. 数据规范化：

    • 使用 Min-Max 归一化方法规范化年龄，使其值在 [0, 1] 之间。

注意事项：

  • 在进行规范化时，确保分母不为零。此代码中假设年龄列有有效值。

🔥主流AI大模型集聚地 + 上百种AI工作流落地场景 = 能用AI
🔥传送门：https://www.nyai.chat/chat?invite=nyai_1141439

模型建立：选择合适的模型

在人工智能和机器学习中，有多种模型可供选择。每种模型都有其独特的优点和适用情况。以下是几种常见的模型：

  • 决策树：适用于分类问题。
  • 支持向量机（SVM）：用于分类和回归。
  • 神经网络：在图像识别和自然语言处理等领域表现优异。
    在这里插入图片描述

神经网络示例

以下是使用Python和PyTorch库建立一个简单神经网络的示例：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 定义神经网络结构
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(16, 32)  # 输入层到隐藏层
        self.fc2 = nn.Linear(32, 1)   # 隐藏层到输出层

    def forward(self, x):
        x = torch.relu(self.fc1(x))   # 使用ReLU激活函数
        x = self.fc2(x)
        return x

# 准备数据
# 假设我们有一些随机数据作为输入和目标
input_data = torch.randn(100, 16)  # 100个样本，每个样本16个特征
target_data = torch.randn(100, 1)   # 100个样本的目标值

# 创建数据集和数据加载器
dataset = TensorDataset(input_data, target_data)
dataloader = DataLoader(dataset, batch_size=16, shuffle=True)

# 初始化神经网络
net = Net()
print(net)

# 定义损失函数和优化器
criterion = nn.MSELoss()  # 均方误差损失函数
optimizer = optim.Adam(net.parameters(), lr=0.001)  # Adam优化器

# 训练网络
num_epochs = 20
for epoch in range(num_epochs):
    for inputs, targets in dataloader:
        optimizer.zero_grad()  # 清零梯度
        outputs = net(inputs)  # 前向传播
        loss = criterion(outputs, targets)  # 计算损失
        loss.backward()  # 反向传播
        optimizer.step()  # 更新参数

    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}')

# 测试网络
with torch.no_grad():
    test_input = torch.randn(10, 16)  # 10个测试样本
    test_output = net(test_input)
    print("Test Output:", test_output)

代码说明：

  1. 数据准备：

    • 使用随机生成的数据作为输入和目标值。
    • 使用 TensorDataset 和 DataLoader 来处理数据。

  2. 损失函数和优化器：

    • 使用均方误差损失函数（MSELoss）和Adam优化器。

  3. 训练循环：

    • 进行了多个epoch的训练，并在每个epoch后打印损失值。

  4. 测试阶段：

    • 生成一些随机的测试数据，并通过网络进行前向传播，输出结果。

你可以根据需要调整数据集、训练参数和网络结构。

模型训练与测试

模如何使用PyTorch进行模型训练，型训练的目的是找到最佳的模型参数，使模型在训练数据上的预测尽可能接近真实值。训练过程通常涉及优化算法（如梯度下降）和损失函数。

训练示例

import torch
import torch.nn as nn
import torch.optim as optim

# 定义神经网络结构
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(16, 32)  # 输入层到隐藏层
        self.fc2 = nn.Linear(32, 1)   # 隐藏层到输出层

    def forward(self, x):
        x = torch.relu(self.fc1(x))   # 使用ReLU激活函数
        x = self.fc2(x)
        return x

# 初始化神经网络
net = Net()

# 定义损失函数和优化器
criterion = nn.MSELoss()  # 均方误差损失函数
optimizer = optim.SGD(net.parameters(), lr=0.01)  # 随机梯度下降优化器

# 假设我们有一些输入数据x和对应的真实值y
x = torch.randn(10, 16)  # 10个样本，每个样本16个特征
y = torch.randn(10, 1)   # 10个样本的目标值

# 模型训练
for epoch in range(100):  # 训练100个epoch
    optimizer.zero_grad()  # 梯度清零
    outputs = net(x)  # 前向传播
    loss = criterion(outputs, y)  # 计算损失
    loss.backward()  # 反向传播
    optimizer.step()  # 更新参数

    # 每10个epoch输出一次损失
    if (epoch + 1) % 10 == 0:
        print(f'Epoch [{epoch + 1}/100], Loss: {loss.item():.4f}')

代码说明：

  1. 神经网络结构：定义了一个简单的神经网络，包括一个隐层和输出层。
  2. 损失函数和优化器：使用均方误差损失函数和随机梯度下降优化器。
  3. 输入数据：模拟了输入数据 x 和真实值 y。
  4. 模型训练：
    • 在每个epoch中，清零梯度，进行前向传播，计算损失，进行反向传播，并更新参数。
    • 每10个epoch输出一次损失值，以便跟踪训练过程中的性能变化。

在这里插入图片描述
🔥主流AI大模型集聚地 + 上百种AI工作流落地场景 = 能用AI
🔥传送门：https://www.nyai.chat/chat?invite=nyai_1141439

解读模型结果

解读模型的预测结果需要关注以下几个方面：

  • 性能指标：如准确率、均方误差等。
  • 预测误差：帮助了解模型的泛化能力。
  • 模型解释性：某些模型可以提供预测的解释，而对于"黑箱"模型，我们可能需要借助模型解释工具（如LIME和SHAP）。

性能指标

在机器学习中，性能指标是评估模型效果的重要工具。以下是一些常见的性能指标：

  1. 准确率（Accuracy）：正确预测的样本数与总样本数之比。
  2. 精确率（Precision）：正确预测为正类的样本数与预测为正类的样本数之比。
  3. 召回率（Recall）：正确预测为正类的样本数与实际正类样本数之比。
  4. F1值：精确率和召回率的调和平均数，适用于不平衡数据集。
  5. 均方误差（MSE）：预测值与真实值之间差的平方的平均值，常用于回归问题。

深度学习与神经网络

深度学习是机器学习的一个子集，主要通过神经网络来实现。神经网络的结构通常包含多个层次，每一层都可以提取不同层次的特征。以下是一些常见的神经网络类型：

  1. 前馈神经网络（Feedforward Neural Networks）：信息在网络中单向流动，适用于简单的分类和回归任务。
  2. 卷积神经网络（CNN）：主要用于图像处理，通过卷积层提取图像特征，广泛应用于计算机视觉任务。
  3. 循环神经网络（RNN）：适用于序列数据，如时间序列和自然语言处理，能够处理输入数据的时间依赖性。

卷积神经网络示例

以下是一个卷积神经网络（CNN）示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 定义卷积神经网络
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1)  # 输入通道1，输出通道32
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)  # 最大池化层
        self.fc1 = nn.Linear(32 * 14 * 14, 128)  # 全连接层

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))  # 卷积层 + 激活函数 + 池化层
        x = x.view(-1, 32 * 14 * 14)  # 展平
        x = F.relu(self.fc1(x))  # 全连接层
        return x

# 初始化卷积神经网络
cnn = CNN()
print(cnn)

# 假设我们有一些输入数据，尺寸为 (batch_size, channels, height, width)
# 例如：1个样本，1个通道，28x28的图像
x = torch.randn(1, 1, 28, 28)  # 输入数据
output = cnn(x)  # 前向传播
print("Output shape:", output.shape)  # 输出形状

代码说明：

  1. CNN定义：

    • 定义了一个简单的卷积神经网络，包括一个卷积层、一个最大池化层和一个全连接层。
    • conv1 将输入的单通道数据转换为32个特征图。
    • pool 是一个最大池化层，用于下采样。

  2. 前向传播：

    • 在 forward 方法中，首先通过卷积层、ReLU激活函数和池化层处理输入数据，然后将数据展平并通过全连接层。

  3. 模型初始化：

    • 创建 CNN 类的实例，并打印模型结构。

  4. 输入示例：

    • 创建一个随机输入张量，模拟一个批量为1，通道为1，尺寸为28x28的图像，进行前向传播并打印输出形状。

注意事项：

  • 确保在使用全连接层之前展平数据的形状是正确的。在这个例子中，假设输入图像大小为28x28。
  • 你可以根据需要添加更多的卷积层、池化层或全连接层，以构建更复杂的网络结构。

在这里插入图片描述

模型优化与调参

在机器学习中，模型的性能往往依赖于超参数的选择。超参数是模型训练前需要设定的参数，如学习率、批量大小、网络层数等。以下是一些常用的调参方法：

  1. 网格搜索（Grid Search）：通过遍历所有可能的超参数组合来寻找最佳参数。
  2. 随机搜索（Random Search）：随机选择超参数组合进行评估，通常比网格搜索更高效。
  3. 贝叶斯优化（Bayesian Optimization）：利用贝叶斯理论来优化超参数，适用于高维参数空间。

🔥主流AI大模型集聚地 + 上百种AI工作流落地场景 = 能用AI
🔥传送门：https://www.nyai.chat/chat?invite=nyai_1141439

结语

通过这篇文章，我们一起学习了使用Python进行人工智能编程的全过程。从数据预处理，到模型建立，再到模型训练和测试，最后我们还学习了如何解读模型结果并据此改进模型。每一步都是为了更好地理解数据，更好地建立和优化模型。

z千鑫
关注
专栏目录
AI人工智能原理与Python实战：Python函数与模块
AI天才研究院
12-04 178
1.背景介绍 人工智能（AI）和人工智能（AI）是现代科技的热门话题，它们正在改变我们的生活方式和工作方式。在这篇文章中，我们将探讨人工智能的背景、核心概念、算法原理、具体操作步骤、数学模型公式、代码实例以及未来发展趋势。 人工智能是一种通过计算机程序模拟人类智能的技术。它涉及到人工智能的理论、算法、应用等多个方面。人工智能的目标是让计算
AI人工智能中的概率论与统计学原理与Python实战：1. 概率论基础知识及其在AI中的应用
AI天才研究院
12-05 275
1.背景介绍 概率论和统计学是人工智能领域中的基础知识之一，它们在人工智能中的应用非常广泛。概率论是一种数学方法，用于描述和分析不确定性事件的发生概率。统计学则是一种用于从数据中抽取信息的方法，用于解决问题。在人工智能中，概率论和统计学被广泛应用于各种任务，如机器学习、数据挖掘、推荐系统等。 本文将从概率论基础知识入手，逐步介绍概率论在A
从零开始：如何用Python建立你的第一个人工智能模型
热门推荐
Allen1862105的博客
06-08 3万+
在这篇文章中，我们将介绍如何从零开始使用Python建立你的第一个人工智能模型。无论你是刚接触编程的新手，还是有经验的开发者想进一步探索人工智能领域，这篇文章都将为你提供清晰、详细的指南。我们将一步步探索数据预处理、模型建立、训练和测试的过程，以及如何解读模型的结果。
Python AI：构建智能应用的利器
YPY15947274155的博客
06-30 2713
Python AI 为开发者提供了一个构建智能应用的强大平台。凭借其丰富的 AI 库、活跃的社区和不断发展的生态系统，Python 必将在 AI 领域持续发挥重要作用，推动 AI 技术的发展和应用
人生苦短，我用 Python，AI 模型助力高效数据提取
2401_84204413的博客
08-06 1096
在网络爬虫和数据挖掘领域，提取网页内容是一项常见且重要的任务。无论是从新闻网站、电商平台还是社交媒体，获取有用的信息都是开展后续分析和应用的前提。然而，传统的网页内容提取需要编写大量的代码来处理和解析 HTML 文档，费时费力且容易出错。幸运的是，随着人工智能技术的发展，我们可以借助 AI 模型来简化这一过程。在本文中，我将分享如何利用 Python 中的requests库和库从网页中提取电影信息，并利用 AI 模型生成相应的提示信息的实践经验。
AI人工智能原理与Python实战：Python人工智能框架介绍
AI天才研究院
12-27 654
1.背景介绍 人工智能(Artificial Intelligence, AI)是一门研究如何让计算机模拟人类智能行为的科学。人工智能的主要目标是开发一种能够理解自然语言、学习自主思考、进行推理和决策的计算机系统。人工智能技术的应用范围广泛，包括机器学习、深度学习、计算机视觉、自然语言处理、知识图谱等领域。 Python是一种高级、解释型、动态类型的编程语言。Python的简单、易学、易用的特...
AI大模型应用入门实战与进阶：构建你的第一个大模型：实战指南
python_first1的博客
07-09 887
AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通常需要大量的计算资源和数据来进行训练，以实现高性能的预测和生成能力。近年来，随着计算能力的提高和数据量的增加，AI大模型在各种任务中取得了显著的成果，如自然语言处理、计算机视觉和强化学习等。AI大模型在近年来取得了显著的进展，但仍面临许多挑战和发展趋势，例如：模型压缩与加速：随着模型规模的增加，计算资源和存储需求也在不断增加。未来的研究需要关注如何压缩和加速大模型，以适应更多的应用场景。
【Python】先睹为快，9 个 Python 程序员还不知道的 AI 大模型开源库
lhx17673139267的博客
07-31 1569
AI 大行其道，Python 作为 AI 开发最炙手可热的编程语言，也水涨船高。各位作为 Python 开发者怎么能不了解一下 Python 相关的 AI 开源库呢？以下我就为大家列出了一些目前还鲜为人知的 AI 开源库，有几个还真不错哦。
【python】在【机器学习】与【数据挖掘】中的应用：从基础到【AI大模型】
2401_85343303的博客
06-21 946
在大数据时代，数据挖掘与机器学习成为了各行各业的核心技术。Python作为一种高效、简洁且功能强大的编程语言，得到了广泛的应用。
AI人工智能技术 Python TensorFlow机器学习实战教程 第1章 机器学习概述 共18页.pptx
04-30
机器学习是人工智能的一个重要分支，它研究如何让计算机系统通过经验学习和改进，而无需显式编程。这一领域起源于上世纪50年代，随着时间的推移，经历了符号主义、概率论和联结主义三个主要发展阶段。符号主义强调...
AI人工智能原理与Python实战：Python人工智能学习总结
AI天才研究院
12-09 123
1.背景介绍 人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，研究如何使计算机能够像人类一样思考、学习、决策和解决问题。人工智能的目标是创建智能机器，这些机器可以理解自然语言、识别图像、解决问题、学习和自我改进。人工智能的发展对于各个行业的创新和发展产生了重要影响。 Python是一种通用的、高级的
Python3 解释器
最新发布
Java_fenxiang的博客
10-05 329
Linux/Unix的系统上，一般默认的 python 版本为 2.x，我们可以将 python3.x 安装在/usr/local/python3目录中。安装完成后，我们可以将路径/usr/local/python3/bin添加到您的 Linux/Unix 操作系统的环境变量中，这样您就可以通过 shell 终端输...
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 506
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1419
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Mopes__的博客
10-01 435
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Python编写的贪吃蛇小游戏
WwLK123的博客
10-03 503
Python编写贪吃蛇小游戏。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

z千鑫

在线乞讨，行行好吧！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值