- 博客(962)
- 收藏
- 关注
RSS订阅
原创 《Python全栈入门到实战》专栏介绍及文章汇总
《Python全栈入门到实战》专栏导航：系统学习Python全栈开发，从基础语法到高级特性，涵盖后端、前端、数据库及AI应用。专栏包含9大模块：Python基础与进阶、前端开发、数据库、AI实战、Django框架等，提供26篇基础教程和18篇进阶内容，特色包括保姆级教程、实战项目驱动和持续更新。适合零基础新手、转型开发者和AI兴趣者，通过完整项目（如博客系统、AI聊天助手）培养全栈技能。点击目录可跳转对应章节学习。
2026-08-21 22:54:29
23314
7
原创 Python全栈入门到实战【数据库篇 02】Windows系统MySQL安装超详细保姆级教程(详细步骤+图片操作展示)
选中「Custom（自定义安装）」后，点击页面右下角的「Next」（下一步）按钮，进入自定义安装的「Select Products」（产品选择）页面。该页面分为左右两个区域，左侧是「Available Products」（可用产品/组件），也就是安装包中包含的所有可安装的组件；右侧是「Products To Be Installed」（待安装的产品/组件），也就是我们选择的、即将要安装的组件。流程阶段核心关键节点新手必记注意事项安装前准备管理员权限、VC++运行库、3306端口校验、旧版本清理。
2026-06-05 13:38:36
13201
2
原创 python全栈入门到实战【基础篇 02】环境搭建：Python解释器与PyCharm、VSCode编辑器安装配置详解
本文详解Python环境搭建步骤。首先安装解释器（运行代码核心），需从官网下载，选3.8及以上版本（勿选2.x）。Windows安装必勾“Add Python.exe to PATH”，验证用`python --version`；Mac选universal2安装包，验证用`python3 --version`。编辑器二选一：PyCharm社区版（免费，新手推荐），安装后需配置解释器路径；VSCode轻量，需装Python插件并选择解释器。
2026-01-03 12:29:21
52777
3
原创 Scrapy-Redis分布式爬虫全解析
摘要：Scrapy-Redis是Scrapy框架的分布式扩展组件，基于Redis实现多节点协同爬取。其核心是将请求队列和去重指纹存储在Redis中，实现请求共享和状态同步。主要组件包括Redis调度器、去重过滤器和数据管道，支持断点续爬和分布式快速抓取。相比传统Scrapy，它解决了单机局限，通过中央Redis服务器协调多个爬虫节点，显著提升爬取效率。系统配置涉及Redis连接、队列持久化等参数，并支持布隆过滤器优化去重。适用于电商、新闻等大规模数据采集场景，具有高可用、易扩展和统一管理等优势。
2025-09-23 08:39:26
2212
原创 Scrapy框架入门：快速掌握爬虫精髓
Scrapy是Python中流行的网络爬虫框架，具有高效、灵活等特点。本文介绍了Scrapy的基本概念、优缺点、架构和工作流程。Scrapy框架包含多个组件，如引擎、调度器、下载器等，通过协调工作完成数据采集任务。文章详细讲解了Scrapy的安装步骤、项目创建方法以及爬虫制作流程，包括创建爬虫、抓取和解析网页数据等关键操作。此外，还指出了Scrapy的局限性，如不支持分布式爬取和JavaScript动态渲染，并介绍了相应的解决方案插件。
2025-09-13 15:47:19
2107
原创 破解滑动验证码详细讲解
本文详细讲解了如何破解某网站的滑动验证码。通过分析验证码请求流程，发现关键参数包括captchaKey、token和iv都采用MD5加密生成。通过逆向JavaScript代码，作者逐步还原了参数生成过程：1) 使用时间戳和随机字符串生成captchaKey；2) 结合多个参数生成token；3) 利用网站特定算法生成iv。最后结合Python编写爬虫程序，使用ddddocr库进行图像识别，成功模拟滑动操作并获取验证结果。文章提供了完整的Python实现代码，包括参数生成、请求发送和验证码识别等关键步骤。
2025-08-13 02:01:20
1733
原创 DrissionPage自动化：高效Web操作新选择
DrissionPage是一款现代化Python Web自动化库，融合了浏览器自动化和网络请求功能，兼具Selenium和Requests的优点。核心优势包括：双模式协同（浏览器/请求模式）、8种高效元素定位方式、智能等待机制、网络监听功能和低资源占用（比Selenium节省40%以上内存）。支持无缝切换工作模式，内置反检测机制能绕过多数自动化检测系统。其简洁API可减少30-50%代码量，执行速度更快（测试显示7.2秒vs Selenium的12.8秒），特别适合需要处理JavaScript渲染、复杂验证
2025-08-07 18:50:07
1684
原创 Selenium自动化：轻松实现网页操控
Selenium自动化测试与数据爬取摘要 Selenium是一个强大的Web自动化工具，主要用于Web应用测试和动态数据抓取。它支持多种浏览器，通过WebDriver控制浏览器行为，提供多种元素定位方式（ID、XPath、CSS选择器等）。 核心功能： 测试自动化：减少人工测试工作量，支持跨浏览器测试 数据抓取：获取JavaScript动态加载的内容 用户交互模拟：实现点击、输入、滚动等复杂操作 使用场景： 动态内容加载页面 复杂用户交互需求 频繁回归测试 基本流程： 安装Selenium库和浏览器驱动
2025-08-02 22:43:03
1712
原创 XPath爬虫入门：从豆瓣电影实战开始
本文介绍了XPath语法及其在网页数据提取中的应用。首先讲解了XPath的基本概念，包括节点关系、路径表达式（绝对路径、相对路径）和基础语法（text()、@属性选择等）。然后详细说明了节点修饰语法，如通过属性值、下标等筛选特定节点。文章还演示了如何使用lxml模块解析HTML，通过etree.HTML()和xpath()方法提取数据，并提供了三种不同的数据提取方法示例。最后比较了底层解析库lxml.etree与高层工具parsel的特点，前者提供完整的DOM操作，后者则更专注于爬虫场景的数据抽取。
2025-07-24 17:57:31
2188
原创 AI辅助编程实战｜从零开发JS 2048数字小游戏
本文为《逐辉者・VibeCoding》专栏第八个实战项目，基于结构化提示词指导AI实现纯原生网页版2048游戏。通过精细化拆解界面、逻辑、规则与代码规范，明确二维数组操作、单次滑动合并规则、胜负判定等核心机制，最终生成可运行的单文件项目。项目还原经典玩法，支持键盘控制、实时计分、本地存储最高分，并具备胜利/失败弹窗与重玩功能，全面掌握网格滑动类游戏的AI需求描述方法。
2026-10-13 21:30:44
97
原创 Python全栈入门到实战【Django篇 09】中间件、信号与上下文处理器，Django框架基础收官
本文系统讲解Django的三大核心“神经系统”：中间件、信号与上下文处理器。中间件实现请求/响应的拦截与处理，支持IP黑名单、日志记录等实战功能；信号机制实现事件驱动，如模型保存前后自动触发；上下文处理器则统一向模板注入全局变量。结合settings中的MIDDLEWARE与TEMPLATES配置，掌握这些底层机制，即可全面理解Django的自动化运作原理，为后续开发打下坚实基础。
2026-10-13 20:53:48
116
原创 AI辅助编程实战｜从零开发JS赛车竞速小游戏
本文为《逐辉者・AI 造码集》第七期实战项目，基于纯原生HTML+CSS+JS实现一款2D俯视赛车竞速游戏。通过精细化拆解界面、逻辑、规则与代码规范，构建可运行的单文件游戏：支持键盘操控、赛道滚动、速度递增、多类型障碍物生成与碰撞检测，集成计分计时双系统。全程以结构化提示词驱动AI编码，掌握多系统协同设计方法，适合前端入门与AI协作开发学习。
2026-10-12 21:48:04
340
原创 Python全栈入门到实战【Django篇 08】类视图（CBV）与Admin后台管理系统详解
自定义详情页字段布局（分组分块）('基本信息', {}),('分类与标签', {'classes': ['collapse'] # 默认折叠收起}),('发布信息', {}),# 自动填充字段prepopulated_fields = {'slug': ('title',)} # 输入title时自动生成slug# 外键字段的自动补全（大数据量时替代下拉框）# 只读字段# 自定义详情页的样式和JSCBV作用核心属性ListView对象列表DetailView对象详情。
2026-10-12 21:31:47
89
原创 AI辅助编程实战｜从零开发JS极简跑酷小游戏
本文为《逐辉者・AI 造码集》专栏第六期，基于结构化提示词实现极简横向跑酷小游戏。通过精细化拆解界面、逻辑、规则与代码规范，生成可运行的原生HTML+CSS+JS Canvas游戏，支持自动滚动、重力跳跃、障碍物随机生成与碰撞检测。经两轮Prompt优化，修复空中连跳、落地异常、碰撞失效等典型问题，最终输出零BUG、可双击运行的完整项目，掌握AI驱动游戏开发的核心方法论。
2026-10-11 21:24:35
235
原创 AI辅助编程实战｜从零开发JS扫雷经典小游戏
前面的飞机大战项目，我们练习了多元素系统与射击碰撞逻辑。本篇是《逐辉者・AI 造码集》专栏的第五个实战项目：经典网页扫雷小游戏。扫雷是典型的逻辑网格游戏，核心在于二维网格状态管理、邻域遍历计算、连锁扩散逻辑、多状态交互，非常锻炼向AI描述「数据结构」和「状态流转」的能力。全程依然不用手写完整代码，只需要把网格规则、交互逻辑、胜负判定讲透，让AI完成编码，我们负责设计、验收和迭代。读完这篇，你将得到一个还原经典玩法的网页扫雷游戏，同时掌握网格逻辑类项目的AI需求描述方法。
2026-10-11 21:10:43
213
原创 AI辅助编程实战｜从零开发JS飞机大战小游戏
本文为《逐辉者・AI 造码集》第四期实战项目，基于精准需求拆解与结构化提示词，指导开发者用AI生成一款纯原生HTML+Canvas飞机大战游戏。通过量化界面、逻辑、碰撞与生命周期规则，实现玩家控制、子弹冷却、敌机批量生成、多层碰撞检测及爆炸动画等核心功能。文章强调“设计驱动生成”，提供可复用的AI需求描述模板，并针对初版常见问题（如无限连发、元素泄漏、碰撞不准等）给出快速验证与修复方案，最终产出一个可双击运行、支持重置的完整射击游戏，助力前端入门者高效掌握多元素系统设计与AI协作开发能力。
2026-10-11 20:17:49
93
原创 Python全栈入门到实战【Django篇 07】用户认证系统，注册登录与权限控制完整实现
本文详解Django用户认证系统，涵盖内置User模型字段、密码加密原理、注册/登录流程及权限控制。通过UserCreationForm实现安全注册，结合authenticate与login完成身份验证，利用login_required保护视图，并介绍自定义用户模型与权限体系。实战中实现注册、登录、修改密码等完整功能，强调不存储明文密码的安全原则，助力构建安全可靠的用户系统。
2026-10-11 19:40:23
102
原创 AI辅助编程实战｜从零开发JS打砖块小游戏
本文介绍如何通过结构化提示词，利用AI快速实现一个功能完整的网页打砖块游戏。项目基于原生Canvas 2D技术，严格拆解界面、物理逻辑与胜负判定规则，确保反弹角度、碰撞检测、状态管理精准可控。通过两轮Prompt迭代——先生成基础版，再针对“穿墙”“反弹失真”“边界越界”等常见问题精准修复，最终产出可直接运行、兼容主流浏览器的单文件游戏。全程无需手写复杂代码，掌握“量化规则+分层描述”的AI协作方法，高效打造高保真碰撞类游戏原型。
2026-10-11 19:22:49
304
原创 AI辅助编程实战｜从零开发JS拼图小游戏
本文基于AI辅助开发，实现一个纯原生HTML+CSS+JS的网页拼图小游戏。通过精细化需求拆解，明确界面布局、拖拽交互、洗牌算法与通关判定逻辑，使用结构化Prompt引导AI生成可运行代码。项目支持3×3方块随机打乱、鼠标拖拽交换、步数统计与自动通关提示，零依赖、单文件运行，适合作为前端作品集案例，全面验证AI在交互类项目中的应用能力。
2026-10-09 21:29:26
367
原创 AI辅助编程实战｜从零开发JS贪吃蛇小游戏
本文介绍如何通过AI辅助开发实现一个可运行的网页贪吃蛇游戏。作者将项目需求精细化拆解为界面、逻辑、规则与代码规范四部分，提出结构化提示词，分两轮生成并优化代码：第一轮生成基础版，第二轮修复弹窗循环、食物重叠、重启失效等典型问题。最终产出零依赖、单文件运行的完整项目，兼具教学价值与作品集展示意义，助力编程初学者掌握AI编程实战流程。
2026-10-09 20:12:17
273
原创 通义千问生成爬虫数据校验规则，字段类型检查用Pydantic，但枚举值未覆盖，加自定义validator
在电商数据采集中，使用Pydantic枚举校验时因通义千问仅基于样例定义枚举值，导致sold_out等合法状态被误拒。问题根源在于固定枚举无法应对动态变化的业务字段。解决方案：将status设为str类型，通过自定义field_validator实现“已知值严格校验，未知值记录并放行”，结合Redis收集未知值，既保障数据质量又避免误杀。最终形成可复用的爬虫校验模板，兼顾严谨性与扩展性。
2026-09-27 20:28:38
357
原创 Python全栈入门到实战【Django篇 06】表单、ModelForm与文件上传，从用户输入到数据入库
本文系统讲解Django表单机制，重点对比Form与ModelForm的适用场景。通过定义表单类、处理GET/POST请求、渲染模板及错误提示，实现用户输入的高效安全处理。涵盖字段类型、自定义验证、CSRF保护、文件上传等核心功能，助力开发者构建完整、安全的用户交互流程。
2026-09-27 20:18:06
207
原创 Claude帮我优化爬虫请求头，顺序和大小写模拟真实浏览器，但漏了Accept-Encoding，导致返回压缩内容
本文复盘了爬虫请求头优化中的典型陷阱：虽用OrderedDict模拟真实浏览器头部顺序与大小写，但因手动设置Accept-Encoding: gzip, deflate, br导致requests不再自动解压Brotli压缩内容，引发乱码。根因在于requests仅在未手动设Accept-Encoding时才自动处理gzip，对br支持有限。解决方案包括：1）手动安装brotli库解压；2）禁用br压缩；3）保留默认Accept-Encoding让requests自动处理。最终提供一套安全、完整的请求头模板
2026-09-26 23:24:25
321
原创 Python全栈入门到实战【Django篇 05】ORM增删改查全解，用Python操作数据库
本文系统讲解Django ORM的增删改查核心操作，涵盖创建记录（create、bulk_create、get_or_create）、查询方法（all、filter、get、exclude）、QuerySet延迟求值、复杂查询（Q/F对象）、聚合分组、跨表查询及性能优化（select_related、prefetch_related），并简要介绍原生SQL使用场景，帮助开发者高效掌握数据库操作技能。
2026-09-26 23:15:36
198
原创 用ChatGPT写爬虫抓取动态加载的内容，Selenium等待条件设成presence_of_element，但元素可见但未渲染，改visibility_of
本文复盘了使用Selenium爬取Vue异步加载电商页面时，因误用presence_of_element_located导致数据为空的坑。核心问题在于：该条件仅检查元素是否存在于DOM，而未等待内容填充。正确做法是改用visibility_of_element_located，确保元素可见（宽高>0）后再提取数据。对于更精确控制，可结合text_to_be_present_in_element或自定义条件等待文本非空。关键启示：动态页面需“等内容”而非“等标签”，合理选择等待策略是成功爬取的前提。
2026-09-25 20:34:03
328
原创 Python全栈入门到实战【Django篇 04】数据模型与数据库迁移，用Python类定义数据库表
本文介绍Django ORM的核心概念与应用，通过定义模型类实现数据表的Python化描述，替代传统SQL操作。重点讲解字段类型、模型关系（外键、多对多等）、Meta类配置及数据库迁移流程（makemigrations/migrate）。结合视图从数据库查询真实数据传给模板，实现动态页面渲染，完成从“硬编码”到“数据库驱动”的开发升级。
2026-09-25 20:24:03
533
原创 同时用Gemini和ChatGPT设计反反爬策略，一个建议用代理轮换，一个建议用请求间隔随机化，结合后有效
在竞品价格监控中，单一使用代理轮换或随机间隔均难逃封禁。通过组合策略——带冷却机制的代理池 + 代理绑定的智能间隔，实现多维度伪装：代理池防止单IP高频使用，智能间隔根据代理“年龄”动态调整请求节奏，避免时间聚集。二者协同使爬虫连续运行72小时未被封，成功率超95%。该方案揭示反反爬本质是多维对抗，组合策略方能达成1+1>2效果，提供可复用的反反爬框架。
2026-09-24 20:28:23
179
原创 Python全栈入门到实战【Django篇 03】模板系统详解，动态渲染HTML页面
本文系统讲解Django模板系统（DTL）核心用法，涵盖模板语法、变量渲染、内置过滤器（如date、truncatechars）、流程控制标签（if/for）、模板继承与静态文件引入。通过实例演示如何将视图中的数据动态填充至HTML页面，实现前后端分离的优雅渲染。内容包含模板目录结构规范、render()函数使用、点号访问优先级及自定义标签技巧，帮助全栈开发者掌握Django最核心的前端渲染能力，避免常见误区。
2026-09-24 20:22:35
362
原创 DeepSeek生成爬虫去重过滤器，基于Redis的布隆过滤器，但误判率设太低，内存暴涨
布隆过滤器误判率从0.001降至0.0001，位数组长度增44%，叠加RedisBloom向上取整至2的幂次方，内存实际翻倍。本文复盘爬虫去重场景中因误判率设置过低导致Redis OOM事件，揭示误判率与内存的指数关系、2的幂次方取整的隐性开销，并提出合理配置策略：误判率设为0.001~0.01，容量按峰值1.5倍预留，结合填充率监控与动态降级，实现高效、稳定去重。
2026-09-23 19:32:30
262
原创 Python全栈入门到实战【Django篇 02】URL路由与视图入门，掌握请求处理的第一步
本文系统讲解Django的URL路由机制，涵盖path()函数用法、路径转换器（如int、str、slug等）提取动态参数、路由匹配流程及include()应用分发。通过实战示例展示如何定义灵活的URL模式，并结合视图函数处理请求，实现从URL到视图的精准映射。同时介绍命名路由、反向解析与常见误区，为构建可维护的Django项目奠定基础。
2026-09-23 19:26:17
218
原创 用ChatGPT做爬虫日志分析，统计失败率，但日志级别设太高，漏掉了关键警告
本文复盘了一次爬虫日志分析翻车事件：因日志级别设为ERROR，导致大量关键的WARNING级警告（如代理降速、重试）被过滤，使失败率统计严重偏低。文章揭示了Python logging的级别阈值机制，强调在爬虫场景中应使用INFO或WARNING级别以捕获早期预警信号，并提出四步解决方案：合理设置日志级别、按模块分级控制、规范使用日志级别、采用结构化日志（如JSON）提升可分析性，避免“只看火灾，忽略烟雾”的盲区。
2026-09-22 19:43:46
198
原创 Python全栈入门到实战【Django篇 01】Django概述与第一个项目，从零搭建Web开发环境
一个项目（Project）是一个完整的Django网站实例。它包含所有配置（settings.py）、URL总路由（urls.py）、以及一个或多个应用（App）。一个域名通常对应一个项目。项目 = 整个网站，应用 = 网站中的一个功能模块。比如一个完整的博客网站是一个Django项目，里面可能有"文章管理"应用、"用户系统"应用、"评论"应用等。一个Django项目由多个应用（App）组成。应用是一个功能模块，通常对应项目中的一个业务板块。myblog/（项目）
2026-09-22 19:14:31
201
原创 通义千问写爬虫解析PDF表格，camelot提取后表格合并出错，改手动调整列对齐
本文复盘了使用camelot提取财报PDF表格时因列边界识别错误导致数据错位的问题。通过分析发现，camelot的lattice模式依赖表格线，对细线或合并单元格敏感，易引发列错分。作者尝试调整参数、预处理图像均未根本解决，最终转向“手动列对齐”：先用parsing_report诊断质量，再结合table_areas定位区域，最后在DataFrame层面人工拆分与合并列，修正错位数据。提出一套针对财报表格的稳健方案：以camelot自动提取为基础，辅以人工校准列结构，兼顾效率与准确性。
2026-09-20 19:16:35
217
原创 Claude生成爬虫数据存储代码，用MongoDB但索引没建，查询越来越慢，加复合索引
本文复盘了电商比价项目中因未建索引导致MongoDB查询性能急剧下降的事故。初始使用Claude生成的代码虽能存取数据，但忽视索引，导致数百万条数据下查询从毫秒级飙升至数秒。通过explain()诊断发现全表扫描（COLLSCAN）是主因。解决方案包括：用explain()定位慢查询、为product_id等高频字段创建单字段索引，并遵循复合索引字段顺序原则（ESR）。实践表明，合理建索引可将查询耗时从5秒降至8毫秒，实现性能质变。
2026-09-20 19:10:51
219
原创 用ChatGPT设计爬虫分布式架构，任务队列用Redis但生产者消费者速率不匹配，加流量控制
本文复盘了分布式爬虫因生产者与消费者速率不匹配导致队列堆积、Redis内存爆满的故障。核心问题在于缺乏流量控制，生产者盲目灌入任务。解决方案包括：引入队列水位线实现滞回控制，动态调节生产速率；通过Redis Pub/Sub机制让消费者反馈处理进度，实现闭环控制。最终构建出可复用的分布式爬虫流量控制模板，确保系统稳定高效运行。
2026-09-20 19:02:13
167
原创 Gemini做验证码识别，用OCR识别数字验证码准确率只有60%，改接入打码平台后99%
本文复盘了从Tesseract OCR识别验证码到切换打码平台的全过程。初始方案在测试中准确率仅60%，经多次优化仍难突破70%天花板，因验证码天然反OCR设计，通用模型难以应对扭曲、噪点等干扰。通过500张样本评估确认瓶颈后，果断接入打码平台API，实现99%+准确率，单次成本不足1分钱。文章详解了准确率评估、平台选型、API封装及带重试降级的工具类设计，揭示了“技术边界”认知的重要性：当通用方案触及极限时，应果断转向专业服务。
2026-09-20 18:58:02
259
原创 Python全栈入门到实战【JavaScript篇 16】综合实战：交互式数据看板，JavaScript全栈技能整合
本文基于JavaScript全栈视角，通过构建“课程销售数据看板”项目，综合运用HTML、CSS、DOM操作、Fetch API、async/await、数组方法等知识，实现动态数据渲染、搜索排序分页、纯CSS柱状图及加载动画。项目采用Grid布局，融合事件处理与响应式设计，完整呈现前端交互开发全流程，助力开发者掌握真实项目能力，为简历增添亮点。
2026-09-17 18:53:49
2212
原创 Python全栈入门到实战【JavaScript篇 15】async/await与Fetch API，打通前后端数据通道
Fetch API是浏览器内置的现代HTTP请求接口，用于向服务器发送请求并获取响应。它是（XHR）的替代品。学习Fetch的目标非常明确——用JS从后端API获取数据，并渲染到前端页面。这标志着前后端数据通道的打通，是实现全栈开发的核心技能。try {// 等待Promiseconst parallel = await Promise.all([ // 并行等待]);
2026-09-17 18:49:52
1949
原创 别再问爬虫被封怎么办，我让DeepSeek根据状态码自动切换代理策略，403换代理，429降速
本文分享一套基于HTTP状态码的自适应代理策略，解决跨境电商爬虫频繁被封问题。针对403（IP被封）、429（频率过高）、500系列（服务器异常）等状态码，设计决策树实现动态应对：403立即换代理并降信誉分，429触发全局降速而非单次等待，500采用指数退避。结合代理信誉评分、冷却机制与全局速率控制器，使爬虫稳定运行时间从数小时提升至一周以上。代码可复用，适用于多站点、高并发场景。
2026-09-16 20:45:25
81
基于 Django 4.2 的个人博客系统（毕业设计源码）
2026-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人