白话机器学习

在上一篇文章中，我们建立了对网络爬虫的基本认识，了解了其应用场景、合法性边界以及HTTP协议基础。今天，我们将正式动手编写第一个爬虫程序，学习如何使用Python中最流行的网络请求库——Requests，来获取网页数据。使用Requests库发送HTTP请求处理服务器响应，获取文本和二进制内容设置请求头，模拟浏览器访问使用正则表达式初步提取网页信息了解IP代理的基本使用场景让我们开始实战吧！

今天我们将开启Python学习的一个全新且实用的模块——网络数据采集（俗称“爬虫”）。在数据驱动的时代，能够从互联网上高效获取信息已成为一项重要技能。无论你是想获取行业数据、分析竞品动态，还是构建自己的数据集用于机器学习，爬虫技术都能助你一臂之力。什么是爬虫？它如何工作？爬虫有哪些实际应用场景？编写爬虫是否合法？如何合规采集数据？需要掌握哪些前置知识（如HTTP协议）？有哪些好用的工具可以辅助开发？学完本篇，你将建立起对网络数据采集的整体认知框架，为后续实战打下坚实基础。

Python单元测试指南：从基础到实战 本文系统介绍了Python单元测试的核心技术与实践方法，涵盖unittest和pytest两大测试框架的使用。文章首先阐述了单元测试的重要性，包括提前发现bug、提升代码质量等核心价值。然后详细讲解了unittest模块的基础用法，包括测试用例编写、断言方法、测试夹具等核心概念。针对更现代的pytest框架，文章展示了参数化测试、标记测试、fixture等高级特性。最后，针对Django项目提供了测试模型、视图的实战示例，包括数据库测试和请求模拟等关键技能。通过学习本

Python Web性能优化：异步任务与定时任务实战 摘要 本文介绍如何通过Celery实现Python Web应用的异步任务处理，解决耗时操作导致的性能问题。主要内容包括： 异步任务必要性：分析耗时操作（如短信发送、文件上传）对Web性能的影响，提出异步处理方案 Celery框架：介绍Python最流行的分布式任务队列框架，展示其架构和工作原理 实战案例：演示如何将短信发送功能改造为异步任务，包含： Celery安装配置（Redis作为消息代理） 异步任务函数编写（带重试机制） 视图函数改造（立即返回响应

在实际的Web项目开发中，我们经常会遇到一些功能模块自己难以实现或实现成本过高的情况，例如：实名认证、在线支付、短信发送、文件云存储等。这时候，接入成熟的第三方平台服务就成为了一种高效、可靠的选择。本篇将带你系统学习如何在Python Web项目中接入第三方平台，掌握API与SDK两种主流接入方式，并通过短信发送与云存储上传两个实战案例，让你真正具备接入外部服务的能力。第三方平台接入的两种方式：API调用与SDK集成；短信网关接入全流程：从注册到代码实现，包括防刷与验证码存储；云存储服务接入实战。

Django缓存深度解析与Redis实战指南 本文全面介绍Django项目中缓存技术的应用与优化，重点内容包括： Redis集成：详细讲解如何配置Django与Redis的对接，包括基础配置、高级选项和多缓存策略设置。 缓存价值：分析缓存技术如何降低数据库压力、提高响应速度（内存访问比磁盘快100-1000倍）和改善用户体验。 实战配置：提供完整的配置代码示例，涵盖连接池管理、序列化选项、压缩设置以及哨兵模式等高可用方案。 性能优化：介绍通过缓存设计提升系统吞吐量的方法，包括合理设置连接数、超时处理和健康检

本文深入讲解了Django REST Framework的高级特性，主要包括：1）基于类的视图(CBV)进阶，包括APIView子类详解和自定义通用视图行为；2）ModelViewSet的一站式CRUD实现；3）数据分页策略，如基本分页、偏移分页和游标分页；4）数据筛选技术，从简单过滤到复杂查询；5）视图集与路由器的自动化API端点生成。通过学习这些高级特性，开发者可以显著提升API开发效率和代码质量，构建更加强大、灵活的RESTful API服务。

深入RESTful架构与Django REST Framework实战 本文系统介绍了现代Web开发中的RESTful架构设计和Django REST Framework应用。主要内容包括： RESTful架构核心：解析REST的六大设计约束，包括客户端-服务器分离、无状态、可缓存等原则，并展示规范的URI设计方法。 API设计实践：详细说明HTTP方法使用规范、状态码选择标准以及统一的响应格式设计，提供完整的API设计示例。 DRF框架应用：介绍Django REST Framework的核心功能，包括序

前后端分离开发入门：现代Web开发演进 本文介绍了前后端分离开发模式及其优势。传统Web开发中，后端同时处理业务逻辑和页面渲染，导致开发效率低、维护困难。而前后端分离模式下，后端仅提供数据接口，前端负责渲染，实现并行开发。这种架构具有三大优势：开发效率提升、代码可维护性增强、支持多终端访问。 文章通过Django实战演示了如何构建RESTful API：从基础JsonResponse返回JSON数据，到使用bpmappers简化序列化过程，并详细介绍了API测试方法。掌握前后端分离开发能帮助开发者构建更现代

Django中间件核心摘要（150字） Django中间件是处理请求/响应流程的轻量级插件机制，位于视图函数外围，提供横切功能。内置中间件如SecurityMiddleware、SessionMiddleware等处理安全、会话等通用需求。自定义中间件可基于函数或类实现，通过检查请求路径和session状态实现登录验证等功能。中间件执行顺序至关重要：请求阶段自上而下，响应阶段自下而上。典型应用包括身份验证、日志记录、CSRF防护等，有效避免代码重复，提升可维护性。开发者应合理配置中间件顺序，确保依赖关系正确

本文介绍了Django开发中的三个核心技能：日志配置、Django Debug Toolbar使用和ORM查询优化。首先详细讲解了Django日志系统的配置方法，包括日志格式化、过滤器和处理器设置。然后介绍了Django Debug Toolbar的安装配置步骤及其丰富的调试功能面板。最后重点讲解了ORM查询优化技巧，特别是如何解决"1+N查询"问题和优化查询字段选择。这些技能能有效提升开发效率和系统性能，是Django开发者必备的实战知识。

摘要： 本文详细介绍了在Django项目中实现三种常见报表功能的方法。首先讲解了使用xlwt库导出Excel报表的完整流程，包括数据查询、表格构建和文件下载。其次展示了通过reportlab生成PDF报表的基本方法，包含文本绘制和样式设置。最后介绍了前端可视化方案，通过ECharts结合后端JSON数据接口实现交互式图表展示。文章提供了完整的代码示例和配置说明，帮助开发者快速掌握从数据导出到前端可视化的全流程报表开发技能，适用于各类Web应用的数据展示需求。（149字）

本文深入讲解了Django中的Cookie与Session管理技术，主要内容包括： 用户状态管理需求：分析了HTTP无状态特性带来的挑战，以及Cookie和Session作为解决方案的工作原理。 Django Session实现：介绍了Django的Session中间件配置、多种存储后端选项（数据库/缓存/文件/Cookie），以及Session相关参数设置。 实战用户登录系统：通过创建用户模型（包含密码哈希处理）、工具函数和视图函数，演示了完整的用户登录流程实现。 安全注意事项：强调了密码哈希处理、Ses

本文介绍了Python全栈开发中Django框架的静态资源管理与Ajax异步请求实战。主要内容包括：Django静态资源（CSS、JS、图片等）的组织与配置方法，推荐使用static模板标签管理资源路径；详细演示了如何创建完整的静态资源目录结构并编写样式文件；同时介绍了Ajax技术实现无刷新数据交互的基本原理。文章提供了项目目录结构示例和CSS样式代码片段，帮助开发者掌握优化前端体验的关键技术，使Web应用更加现代化。

本文介绍了使用Django框架构建在线教育平台投票系统的过程，重点讲解了Django模型层的核心概念和应用。主要内容包括： 项目环境准备与创建 创建Django项目和虚拟环境 配置MySQL数据库连接 创建数据表结构 Django ORM详解 解释ORM(对象关系映射)的概念和优势 演示如何从现有数据库表生成模型代码 展示学科和教师模型的定义方式 项目功能概述 展示学科列表(含热门标记) 查看学科下的教师信息 用户投票功能 用户注册登录系统 文章通过实际案例演示了Django模型层的使用方法，包括数据库配置

Python Web开发入门：Django框架快速上手指南 本文介绍了使用Django框架进行Python Web开发的入门知识。首先解释了Web应用的基本工作原理和关键术语，包括HTTP协议、URL、DNS等概念。随后重点介绍了Django框架的特点和优势，如"电池内置"理念、MTV架构和内置功能。通过详细步骤指导读者完成第一个Django项目的创建，包括环境准备、项目结构说明、开发服务器启动等。最后演示了如何创建Django应用、编写视图函数、配置URL路由以及使用模板系统来构建HT

Python数据工程师必备的Hive实战指南：从核心概念到高级优化技巧。本文系统介绍了Hive作为Hadoop生态重要组件的特点与优势，对比了与传统数据库的差异，提供了多种环境搭建方案。重点讲解了HiveQL基础语法、复杂数据类型操作、常用函数及动态分区等核心功能，并演示了如何通过Python连接Hive进行协同分析。文章涵盖了从数据加载、表结构设计到查询优化的完整工作流，帮助Python开发者快速掌握这一大数据处理利器。

本文介绍了Python与MySQL数据库交互的实战指南，从环境搭建到高级应用。主要内容包括： 环境配置：安装必要的Python库（pymysql、cryptography等），创建测试数据库和专用用户 数据库设置：通过Python脚本自动创建数据库、用户授权及测试表结构 连接管理：使用dataclass实现数据库配置类，支持JSON配置文件和不同环境配置 安全实践：强调生产环境中避免使用root账户，提供专用用户创建方案 文章提供了完整的代码示例，包括环境设置脚本和配置管理类，为后续的数据库操作打下基础。适

MySQL索引优化指南：Python开发者必备 摘要 本文深入探讨MySQL索引在Python应用中的优化实践。主要内容包括： 索引原理：通过B+树数据结构解析，展示索引如何将查询复杂度从O(n)降至O(log n) 索引类型对比： 聚集索引（主键索引）直接存储数据 非聚集索引需要"回表"查询 Python伪代码演示了两者的性能差异 实战操作： 使用pymysql库创建和管理索引 提供索引性能测试方法 展示索引对查询速度的显著提升 优化建议： 为高频查询字段创建索引 避免过度索引 注意索

摘要： 本文是"100天学Python"专栏第42天的内容，重点讲解MySQL高级特性（视图、函数和存储过程）及其在Python中的应用。首先通过Python代码创建了人力资源管理系统示例数据库，包含部门和员工表。详细解析了视图的优势（数据安全、简化查询等）并演示了三种视图的创建：基础视图隐藏敏感信息、部门员工视图实现连接查询、部门薪资统计视图进行聚合分析。这些技术能帮助Python开发者构建更安全、高效的数据访问层，实现业务逻辑封装，提升代码复用性和维护性。

摘要： 本文是"100天学Python"专栏第41天的学习内容，重点讲解MySQL的JSON类型和窗口函数两大新特性。JSON类型打破了关系型数据库的限制，支持存储半结构化数据，适合处理用户多方式登录、用户画像等场景。文章通过创建用户表、插入JSON数据等示例，展示了如何在Python中使用pymysql操作JSON数据，包括数据插入、查询和解析。此外，还演示了用户标签系统的实现，包括标签查询功能。这些特性为Python开发者提供了更灵活的数据处理能力，适用于现代应用开发需求。

Python数据库权限管理实践摘要 本文是"100天学Python"第40天的学习内容，重点讲解SQL的DCL(数据控制语言)及其在Python中的应用。主要内容包括： 用户管理：通过SQL语句创建/删除用户，限制访问范围，并展示Python实现动态用户创建的函数。 权限控制：详细说明GRANT命令的各种用法，从单表查询到全库权限，提供Python封装函数实现权限自动化管理。 安全实践：介绍查看和召回权限的方法，提供Web应用和ETL脚本两种典型场景的权限配置方案，强调"最小权

本文介绍了Python与SQL数据库操作的入门知识，重点讲解了SQL查询语言(DQL)的基础语法和实用技巧。内容包括基础查询、条件筛选、模糊匹配、聚合分组、多表连接、子查询和分页查询等核心操作，并演示了如何通过Python的pymysql库连接数据库执行查询。文章提供了详细的代码示例，建议读者动手实践SQL查询，并尝试在Python中封装通用数据库查询函数。最后提出了进一步学习数据库增删改操作(DML)和事务处理的预告，为后续学习打下基础。

SQL数据操作实战摘要 本文详细讲解了SQL数据操作语言(DML)的核心操作，包括插入(INSERT)、更新(UPDATE)和删除(DELETE)数据。通过学校选课系统的实战案例，演示了： INSERT的四种基本形式：完整行插入、指定列插入、批量插入和查询结果插入 处理重复键的高级技巧：IGNORE、REPLACE和ON DUPLICATE KEY UPDATE 实战演示了为选课系统插入完整的测试数据，包括学院、学生、教师、课程和选课记录 强调显式指定列名、批量操作的优势以及外键约束的重要性 本文为Pyth

本文是SQL语言核心——数据定义语言（DDL）的完全指南，重点介绍了SQL四大类别（DDL、DML、DCL、TCL）及其核心命令。通过学校选课系统案例，详细讲解了如何设计数据库结构，包括创建学院表、学生表、教师表等实体关系。内容涵盖： SQL语言体系全景图 DDL核心功能与命令 数据库设计最佳实践 外键约束与级联操作 时间戳自动更新等高级特性 索引优化技巧 完整的学校选课系统实现代码 适合数据库初学者系统学习DDL语言，掌握数据库结构设计与实现的核心技能。

本文是Python后端开发数据库入门的第36天学习指南，重点介绍关系型数据库基础和MySQL安装配置。主要内容包括： 关系型数据库核心概念 发展历程与数学理论基础 四大特点：集合论基础、二维表结构、SQL语言、ER模型 主流数据库对比（MySQL/Oracle/PostgreSQL等） MySQL详解 发展历史与市场地位 与MariaDB的区别与选择建议 实战安装指南 Windows系统详细安装步骤与常见问题解决 Linux(CentOS)系统安装准备命令 文章提供了数据库理论知识体系，同时包含实用的安装配

Linux系统管理与Shell编程实战摘要 本文深入讲解Linux系统管理核心技能，涵盖用户权限管理、进程监控、磁盘管理、软件安装和自动化服务配置。重点内容包括：用户组创建与密码策略设置、ACL权限控制、进程资源监控技巧、磁盘性能测试方法、源码编译安装流程、Systemd服务管理以及Shell脚本编程实战。通过大量命令示例和脚本案例，帮助读者掌握Linux系统管理员必备的高级管理技能和自动化运维能力。

本文系统介绍了Linux操作系统的基础知识和核心命令操作。从操作系统发展史讲起，重点解析了Unix/Linux的起源与优势，对比了主流Linux发行版特点。通过大量实例演示了系统信息查询、文件操作、内容查看、查找定位等常用命令，并分享了管道操作、别名设置等实用技巧。特别强调了Linux的安全使用规范，包括谨慎使用root权限、重要文件备份等注意事项。最后给出了多实践、记笔记、理解原理等学习建议，为后续学习Linux系统管理和Shell编程打下基础。

本文介绍了Web前端开发中的JavaScript基础知识和DOM操作。内容包括：1) JavaScript基本语法，如变量声明、数据类型、运算符和流程控制；2) 函数定义与使用，包括箭头函数和默认参数；3) 数组与对象的操作方法；4) DOM概念及元素选择方式；5) 元素内容、样式和类的操作；6) 事件处理机制。通过学习这些内容，读者将掌握JavaScript核心概念和网页交互开发的基本技能，为使用前端框架开发动态Web应用打下基础。

本文介绍了Web前端开发的基础知识，重点讲解HTML与CSS技术。文章首先概述了Web前端的三大核心技术（HTML、CSS、JavaScript）及其作用，详细介绍了HTML的发展历程和HTML5的新特性。通过示例代码展示了HTML文档结构、常用标签（文本、列表、链接、表格、表单等）以及HTML5语义化标签的使用方法。内容涵盖了创建静态网页所需的HTML基础知识，为后续学习CSS样式和JavaScript交互打下基础。适合编程初学者系统学习Web前端开发入门知识。

本文深入探讨Python语言的高级特性与并发编程，涵盖高效数据处理技巧（如生成式、嵌套列表处理）、常用内置模块（heapq、itertools、collections）的高级用法、数据结构和算法（复杂度分析、排序算法实现）。通过学习这些核心知识，开发者能够编写更高效、优雅且可维护的Python代码，为项目开发和面试奠定坚实基础。文章还提供了丰富的代码示例，帮助读者理解这些高级概念的实际应用。

本文介绍了Python正则表达式的基础知识和实战应用。主要内容包括： 正则表达式核心语法速查表，包含常用符号、含义及示例 Python re模块的6大核心函数及其用途 4个实战案例： 用户输入验证（用户名、密码、邮箱、手机号） 从文本提取联系方式（手机号和邮箱） 数据清洗与格式化（去除空格、标准化日期、过滤特殊字符） 高级匹配技巧（分组和命名分组提取日志信息） 正则表达式是Python文本处理的强大工具，能高效完成字符串匹配、提取和替换任务。本文通过实际代码示例展示了正则表达式在数据验证、信息提取和数据清洗

摘要：本文介绍了如何使用Python实现邮件和短信的自动化发送。主要内容包括：1) 通过smtplib和email库发送邮件，包括纯文本、HTML格式和带附件的邮件；2) 封装通用邮件发送函数实现复用；3) 介绍通过第三方平台（如螺丝帽）发送短信的方法，包括验证码短信的实现。文章提供了详细的代码示例，帮助读者快速掌握自动化通信技能，提升办公效率。

本文介绍了Python图像处理库Pillow的核心功能与应用。从基础概念（像素、颜色模式）入手，详细讲解了图像读取、剪裁、缩放、旋转、滤镜处理等操作，并演示了如何使用Pillow进行绘图和文字添加。文章包含大量代码示例，如生成缩略图、图像合成、像素操作等实用技巧，最后还推荐了更高级的OpenCV作为进阶方向。通过学习Pillow，读者可以实现批量图片处理、特效添加和自定义图像生成等功能，为项目增添视觉处理能力。

本文介绍了使用Python自动化处理PDF文件的方法，重点讲解PyPDF2和reportlab两大核心库的应用。内容包括PDF文本提取（含中文处理技巧）、多文件合并、拆分、页面旋转、加密保护以及水印添加等常见操作。通过代码示例详细展示了每种功能的实现方式，帮助读者掌握PDF处理的核心技能，提升办公效率。文章还对比了不同PDF处理库的特点，并提供了完整的代码实现和注意事项，适合需要批量处理PDF文件的开发者和办公人员学习参考。

摘要： 本文介绍了使用Python自动化处理Word和PowerPoint文档的方法。通过python-docx库可创建和修改Word文档，包括添加标题、段落、列表、图片和表格，并演示了批量生成离职证明的实战案例。python-pptx库则用于操作PowerPoint，支持创建演示文稿、添加幻灯片、设置文本样式和插入图表等。这些工具能显著提升办公效率，适用于报告生成、合同处理等重复性文档工作场景。

Python操作Excel文件的高级应用 本文介绍了使用openpyxl库处理Excel文件的高级方法。openpyxl是专门用于读写.xlsx格式的Python库，相比xlrd/xlwt具有读写一体、功能全面、API友好等优势。文章详细讲解了： 文件读取：包括加载工作簿、获取工作表、读取单元格值和数据范围等操作 文件写入：创建工作簿、修改工作表名称、写入数据并保存文件 样式设置：设置字体、对齐方式、边框、填充色等格式 公式计算：在Excel中直接写入公式进行自动计算 通过本文学习，读者可以掌握使用open

Python操作Excel基础：xlrd与xlwt使用指南 本文介绍了Python中操作Excel文件的两种经典库：xlrd用于读取.xls文件，xlwt用于写入.xls文件。主要内容包括： Excel文件格式与库选择：对比.xls和.xlsx格式，介绍xlrd/xlwt适用于.xls文件处理 读取Excel文件： 使用xlrd.open_workbook()打开文件 获取工作表及单元格数据 处理日期和数字格式转换 写入Excel文件： 创建新工作簿和工作表 使用write()方法写入数据 保存生成的文件

本文介绍了Python处理CSV文件的核心方法。首先概述了CSV格式的特点和通用性，然后详细讲解了使用Python内置csv模块的读写操作，包括writer/reader对象和DictWriter/DictReader的高级用法。接着介绍了pandas库强大的read_csv和to_csv功能，适合处理复杂数据。文章强调编码问题、分隔符选择和异常处理等注意事项，为数据交换和分析提供了基础技能。通过对比标准库和pandas两种方案，读者可根据需求选择适合的CSV处理方法。

本文介绍了Python中对象的序列化与反序列化技术，重点讲解了JSON格式的应用。主要内容包括： 序列化与反序列化的概念：将内存对象转换为可存储/传输格式的过程及其逆向过程 JSON简介：轻量级数据交换格式，与Python数据类型的对应关系 Python的json模块使用： json.dump()/json.dumps()将对象序列化为JSON格式 json.load()/json.loads()将JSON反序列化为Python对象 包管理工具pip：安装第三方库如ujson(性能更优的JSON处理库) 实