- 博客(244)
- 收藏
- 关注
RSS订阅原创 Python 网络爬虫 —— 爬虫常用模块
本文介绍了Python网络爬虫开发中常用的模块和工具。首先讲解了如何使用virtualenv创建独立的Python开发环境，包括安装、创建项目目录、激活虚拟环境及安装模块等步骤。重点介绍了四个核心爬虫工具：Requests库（轻量级HTTP请求库）、Urllib3库（URL数据处理工具，常配合BeautifulSoup使用）、Selenium（浏览器自动化测试框架）和Scrapy框架（完整的爬虫解决方案）。每个工具都提供了安装方法和基础使用示例，如Requests获取网页HTML、Urllib3结合Beau
2026-03-20 09:23:55
1043
原创 Python 网络爬虫 —— 环境设置
本文介绍了使用Python开发网络爬虫的环境设置。首先阐述了Python适合网络爬虫开发的五大优势：语法简洁、内置模块丰富、开源特性、应用场景广泛。然后详细说明了在Unix/Linux、Windows和Mac系统下的Python安装步骤，包括环境变量PATH的配置方法。最后介绍了Python的三种运行方式：交互式解释器、命令行执行脚本和使用集成开发环境(IDE)。文章为初学者提供了完整的Python网络爬虫开发环境搭建指南。
2026-03-20 09:12:47
977
原创 Python 网络爬虫
摘要： Python网络爬虫是一种自动化提取网络数据的技术，通过程序代理从网站获取、解析和存储信息。不同于网络爬取（索引构建），爬虫专注于特定数据提取，适用于电商比价、内容聚合、营销推广等场景。其核心模块包括网络请求、数据解析、清洗转换及存储，工作流程涵盖网页下载、数据提取、存储和分析。相比人工采集，爬虫高效处理海量公开数据，广泛应用于SEO、机器学习及科研领域。
2026-03-19 22:24:32
989
原创 Python 中的并发 —— 响应式编程
摘要：本文介绍了Python中的响应式编程及其实现方式。响应式编程以数据流为核心，通过ReactiveX框架的Observable和Observer类实现数据传播。重点讲解了RxPY库的使用方法，包括创建数据源和观察者，并展示了基本示例。同时对比了PyFunctional库，指出其侧重函数式数据转换的特点。两个库都支持响应式编程，但RxPY更关注系统事件处理，而PyFunctional专注于数据流转换。文中提供了两个库的安装方法和代码示例，帮助读者理解响应式编程在Python中的实际应用。
2026-03-19 18:05:58
443
原创 Python 中的并发 —— 事件驱动编程
摘要：Python中的事件驱动编程采用异步模型，通过事件循环监听和处理事件。Asyncio模块提供了实现单线程并发的框架，核心组件包括：事件循环(管理事件执行)、Future(表示未完成计算)、协程(可暂停/恢复的执行单元)以及传输和协议类(处理网络通信)。该模块支持通过async/await语法编写异步代码，并提供了任务并行处理能力。典型应用场景包括高效I/O操作和网络通信，能够显著提升程序性能。
2026-03-18 08:08:09
559
原创 Python 中的并发 —— 进程间通信
本文介绍了Python中实现进程间通信(IPC)的多种机制：1. 队列(Queue) - 提供线程和进程安全的FIFO通信方式；2. 管道(Pipe) - 通过双向连接对象实现进程间数据传输；3. 管理器(Manager) - 控制共享对象服务进程，支持命名空间(Namespace)实现多属性共享；4. Ctypes - 使用共享内存中的Array和Value对象；5. 通信顺序进程(CSP) - 通过PyCSP库实现基于消息传递的并发模型。每种机制都配有简明示例代码，展示其基本使用方法。这些IPC技术为开
2026-03-18 08:04:25
392
原创 Python 中的并发 —— 多进程
本文介绍了Python中的多进程编程方法，重点对比了多进程与多线程的差异。多进程通过利用多个CPU核心实现真正并行，能有效规避Python的GIL限制。文章详细讲解了三种启动进程的方式（Fork/Spawn/Forkserver），以及守护进程、进程终止和进程标识等核心概念。同时介绍了通过继承Process类创建自定义进程，以及使用Pool类实现进程池管理的方法。通过代码示例展示了进程创建、执行和结果获取的完整流程，为Python开发者提供了实用的多进程编程指南。
2026-03-17 13:16:07
447
原创 Python 中的并发 —— 进程池
Python提供了ProcessPoolExecutor实现高效进程池管理，通过concurrent.futures模块可创建预实例化进程组。相比线程池，ProcessPoolExecutor更适合CPU密集型任务，能绕过GIL限制，显著提升执行效率。使用时可选择直接实例化或上下文管理器方式，支持submit()提交单个任务或map()批量处理。对比实验显示，在处理800万次循环时，ProcessPoolExecutor耗时仅1.55秒，而ThreadPoolExecutor需3.84秒。开发者应根据任务类
2026-03-17 13:11:51
448
1
原创 Python 并发编程 —— 线程池
摘要： Python并发编程中，线程池(ThreadPoolExecutor)能有效解决多线程任务开销问题。通过预先创建并管理一组线程，线程池可以复用线程资源，避免频繁创建销毁线程的开销。concurrent.futures模块提供了高层接口，其中Executor抽象类有两个具体实现：ThreadPoolExecutor(线程池)和ProcessPoolExecutor(进程池)。ThreadPoolExecutor支持submit()方法提交任务返回Future对象，以及map()方法
2026-03-16 17:56:31
519
原创 基准测试与性能分析
本文介绍了基准测试和性能分析在优化程序性能中的应用。基准测试通过对比标准评估代码执行速度，Python的timeit模块可用于测量代码耗时，也可通过装饰器自定义计时器。性能分析则测量内存、时间复杂度等属性，cProfile模块能记录所有函数调用及耗时情况，输出包含调用次数、总耗时等指标，帮助定位性能瓶颈。文章通过具体代码示例展示了timeit和cProfile的使用方法，为程序性能优化提供了实用工具和技术方案。
2026-03-16 17:48:47
479
原创 调试线程应用程序
摘要：本章介绍了Python线程应用程序的调试方法，重点讲解了Python内置调试器pdb的使用。调试是软件开发中定位和修复错误的关键环节，pdb提供变量查看和代码逐行执行功能。通过import pdb;pdb.set_trace()插入断点，可使用n(下一步)、c(继续)、s(进入函数)等命令控制执行流程。文中通过三个示例演示了不同断点位置对变量可见性的影响，展示了pdb在调试过程中的实际应用。
2026-03-15 21:23:35
381
原创 测试线程应用程序
本文介绍了线程应用程序的测试方法及其重要性。软件测试能提升质量、客户满意度，降低风险与成本。重点阐述了并发程序的两种测试方法：系统化探索法和属性驱动法。通过Python示例演示了单元测试模块unittest和doctest的使用方法：unittest适合复杂场景，提供测试固件、用例、套件和运行器；doctest则更简洁，通过文档字符串验证交互式执行结果。文章通过修改斐波那契数列代码展示了测试失败的具体表现，验证了测试工具的有效性。
2026-03-15 21:20:21
817
原创 Python线程间通信
本文介绍了Python中实现线程间通信的多种方法。线程通信对并发编程至关重要，能确保任务正确完成并提升性能。文章详细讲解了四种线程安全的数据结构实现方式：1）通过继承集合类实现自定义锁机制；2）使用装饰器实现线程安全方法；3）列表的原子操作特性；4）queue模块提供的三种队列（FIFO、LIFO和优先级队列）及其单线程/多线程实现。重点说明了如何利用锁机制避免竞态条件，并展示了各种队列在多线程环境下的实际应用示例，为开发线程安全的Python程序提供了实用指导。
2026-03-14 17:28:53
664
原创 Python线程同步
本文探讨了线程同步中的两个核心问题及其解决方案。竞态条件发生在多个线程同时访问共享资源时，导致结果不可预测，可通过Lock类的acquire()和release()方法实现同步控制。死锁问题以哲学家就餐问题为例，展示了资源竞争导致的僵局，提出通过混合贪心型和大方型策略（交替获取和释放锁）来避免死锁。文中提供了Python代码示例，演示了使用线程锁解决竞态条件，以及采用策略组合解决哲学家就餐问题的方法。这些同步机制有效确保了多线程程序的安全性和可靠性。
2026-03-14 17:21:21
545
原创 Python 中的并发 —— 线程的实现
本文介绍了Python中实现线程的两种方式：_thread模块和threading模块。_thread模块提供基本线程操作，而threading模块采用面向对象设计，功能更丰富。文章详细说明了如何创建线程、线程状态转换以及守护线程的实现，并通过示例代码演示了线程的创建、运行和终止过程。重点对比了_thread.start_new_thread()方法和threading.Thread类的使用方式，同时讲解了守护线程的特性及其适用场景。
2026-03-13 07:56:08
524
原创 Python 中的并发 —— 线程
本文介绍了Python中的线程概念及其应用。线程是操作系统最小的执行单元，可分为新建、就绪、运行、等待和终止五种状态。线程分为用户级和内核级两类，各有优缺点。线程控制块(TCB)存储线程的关键信息。多线程通过并行处理提升效率，但存在安全性、死锁等风险。与进程相比，线程更轻量级且共享资源，但需要同步机制保证安全。多线程适合多核系统，能提高响应性和资源利用率，但也增加了程序复杂度。
2026-03-13 07:51:46
417
原创 系统与内存架构
计算机系统架构主要分为SISD、SIMD、MISD和MIMD四类。SISD为单核串行处理，SIMD通过单指令处理多数据，MIMD支持多处理器并行处理不同任务。内存架构包括UMA（统一访问）、NUMA（非均匀访问）和COMA（全缓存）三种模式，分别适用于不同的并行计算需求。这些架构各具特点，需要根据具体应用场景选择合适的方案。
2026-03-12 07:56:12
453
原创 并发与并行
并发与并行是两个易混淆但本质不同的概念。并发指多个任务执行过程重叠，关注共享状态管理；并行则是将任务拆分为子任务同时执行，旨在提升硬件性能。并发系统需满足正确性、安全性和活性等特性，实现时需解决数据共享和I/O资源共享问题。并行通过任务拆分可显著提升执行效率，常见于多核处理器和显卡等场景。单核处理器通过上下文切换模拟并发，而多核处理器能真正实现并行处理。理解二者的区别有助于在软件设计中做出合理决策。
2026-03-12 07:49:34
461
原创 Python—— 环境搭建
Python环境搭建指南：本文详细介绍了在不同操作系统上安装Python的方法。支持平台包括Windows、Linux、MacOS等主流系统，以及多种嵌入式系统。安装方式涵盖二进制包安装和源码编译两种方式，并提供了Ubuntu、Windows等系统的具体安装步骤。文章还讲解了PATH环境变量配置方法，以及PYTHONPATH等重要环境变量的作用。最后介绍了三种运行Python的方式：交互式解释器、命令行执行脚本和使用IDE。对于初学者，建议从官方安装程序开始，并确保正确配置环境变量。
2026-03-11 23:46:10
437
原创 Python 中的并发 —— 简介
本文介绍了Python中的并发编程概念及其发展历程。首先解释了并发的定义及其在编程中的重要性，然后分别阐述了线程/多线程和进程/多进程的概念与区别。文章着重分析了Python在并发编程方面的优势，包括语法糖特性、社区支持和丰富的并发API，同时也指出了Python受限于全局解释器锁(GIL)的局限性，这使得Python无法实现真正的多线程并行。最后简要说明了GIL的工作原理及其对Python线程执行的影响。
2026-03-11 23:42:47
494
原创 自然语言处理 ——Python 实现
摘要：本文介绍了使用Python进行自然语言处理(NLP)的基础知识。主要内容包括：1) Python语言特性及其安装方法；2) NLTK库的安装与配置；3) 文本处理基本技术：分词、词干提取、词形还原；4) 词性标注与组块分析方法。文章通过具体代码示例展示了如何使用NLTK工具包完成英文文本分析任务，如名词短语识别等。所需环境配置和依赖库安装方法也一并说明，为Python自然语言处理入门提供了实用指南。
2026-03-09 17:24:18
502
原创 自然语言处理的应用
自然语言处理（NLP）技术正在推动人工智能应用的快速发展。本文介绍了NLP的几大核心应用：机器翻译系统可分为双语和多语类型，实现方法包括直接翻译法、中间语言法、转换法和基于语料库的经验法；垃圾邮件识别利用词干提取、贝叶斯分类和N元语法等技术提高过滤精度；自动文本摘要帮助应对信息过载问题；智能问答系统致力于理解自然语言提问；情感分析技术可识别文本中的情感倾向，为企业提供消费者洞察。这些应用展现了NLP在人机交互中的重要作用。
2026-03-09 17:18:58
396
原创 自然语言处理 —— 信息检索
信息检索是自然语言处理的重要应用领域，旨在帮助用户从文档库中查找相关信息。本文系统介绍了信息检索的核心概念、模型和关键技术：1. 主要模型包括布尔模型、向量空间模型和概率模型等经典模型，以及改进型和非经典模型；2. 关键技术涵盖倒排索引、停用词处理和词干提取等预处理方法；3. 重点讨论了查询优化方法，包括显式反馈、隐式反馈和伪反馈三种相关反馈机制。文章详细分析了布尔模型和向量空间模型的数学原理、优势局限及实现方法，为信息检索系统设计提供了理论框架和技术指导。
2026-03-08 13:31:51
472
原创 自然语言处理 —— 基础入门
本文介绍了自然语言处理的基础知识，重点阐述了语言的构成要素和语法范畴。语言由音系学、形态学、句法学、语义学和语用学五个相互关联的部分组成。语法范畴包括数、性、人称、格、级、定指/不定指、时态、体、语气和一致关系等基本模块。文章还对比了英语书面语和口语的语法差异，指出口语中存在言语不流畅、修正和词汇片段等特征。这些语言学基础知识为自然语言处理研究提供了理论框架。
2026-03-08 13:18:04
373
原创 自然语言处理-词性标注
摘要：词性标注是为词汇分配词性的自然语言处理任务。主要方法包括：1）基于规则的方法，通过词典和人工规则消歧；2）随机方法，利用统计概率进行标注；3）基于转换的方法，结合规则和机器学习；4）隐马尔可夫模型，将词性作为隐藏状态进行概率推理。HMM方法通过贝叶斯变换和独立性假设简化计算，利用词性转移概率和词汇生成概率寻找最优标注序列。这些方法各具特点，适用于不同应用场景。
2026-03-07 18:18:41
412
原创 自然语言语篇处理
摘要：自然语言处理中的语篇处理是AI领域的核心难题，涉及语篇连贯性、结构分析和指称消解三大关键问题。语篇连贯性通过结果、解释等关系实现，而语篇结构可通过有监督/无监督算法进行切分。指称消解则需解决代词、名词短语等指称表达的实体对应问题，包括同指消解和代词回指消解两类任务。这些技术对信息检索、文本摘要等应用至关重要，但代词多义性等问题仍带来挑战。
2026-03-07 18:09:40
467
原创 自然语言处理 —— 词义消歧
摘要：词义消歧(WSD)是自然语言处理中解决词汇语义模糊性的关键技术，通过分析上下文确定多义词的具体含义。主要方法包括基于词典、有监督、半监督和无监督四种类型，各有其适用场景和局限性。该技术广泛应用于机器翻译、信息检索、文本挖掘和词典编纂等领域，但面临词典体系差异、场景适配性、人工标注主观性和词义非离散性等挑战。词义消歧的评估依赖于词典和标注语料库，其精确度直接影响各类语言处理系统的性能表现。
2026-03-06 19:43:39
406
原创 自然语言处理 —— 语义分析
语义分析是自然语言处理中理解文本含义的关键环节，主要分为词汇语义学（研究单个词汇含义）和组合语义分析（研究句子整体意义）。其核心要素包括上下义关系、同音异义、一词多义、同义/反义关系等。语义分析通过实体、概念、关系等要素构建语义表征，采用谓词逻辑、语义网络等方法实现语言要素与非语言要素的关联，为逻辑推理提供支持。词汇语义学作为语义分析的基础，专注于研究词汇单位（单词、语素等）的分类、语义分解及其相互关系，旨在消除歧义并准确理解句子含义。
2026-03-06 19:41:14
496
原创 自然语言处理 —— 句法分析
摘要：句法分析是自然语言处理的关键阶段，旨在通过形式语法规则验证文本语义合理性。解析器作为实现工具，可生成解析树等结构化表示。解析分为自顶向下和自底向上两种方式，涉及最左/最右推导。语法理论包括乔姆斯基的短语结构语法（组构语法）和泰斯尼耶尔的依存语法，前者强调层级结构，后者以动词为核心建立依存关系。上下文无关语法(CFG)作为重要形式化工具，由非终结符、终结符、产生式规则和开始符号四要素构成，是描述语言结构的基础框架。
2026-03-05 17:27:50
502
原创 自然语言处理 —— 词级分析
本文介绍了自然语言处理中的词级分析技术，重点阐述了正则表达式和有限状态自动机的原理与应用。正则表达式部分详细说明了其数学定义、特性及示例集合，展现了其在文本模式匹配中的强大功能。有限状态自动机部分则系统讲解了DFA和NFA的数学表示、图形化方法及其与正则语言的关系。此外，文章还探讨了形态分析的基本概念，包括语素分类（词干和词缀）及其在单词构成中的作用。这些基础知识为自然语言处理中的词法分析提供了理论框架和方法工具。
2026-03-05 17:21:41
393
原创 自然语言处理 —— 语言资源
本文摘要： 本文系统介绍了自然语言处理中的各类语言资源。重点阐述了语料库的设计要素，包括代表性、平衡性、抽样方法和规模控制，并以布朗语料库、英国国家语料库等为例展示了语料库规模的发展历程。详细解析了树库语料库的类型（语义树库和句法树库）及其在计算语言学等领域的应用。此外，还介绍了命题库语料库、动词网和词网等重要语言资源，包括它们的结构特点和在自然语言处理中的实际应用价值。这些语言资源为自然语言处理系统的开发提供了重要基础。
2026-03-04 22:04:41
521
原创 自然语言处理 —— 简介
本文介绍了自然语言处理（NLP）的发展历程和应用挑战。NLP作为人工智能的重要分支，旨在让计算机理解和处理人类语言。文章梳理了NLP发展的四个阶段：机器翻译阶段（1940s-1960s）、人工智能影响阶段（1960s-1970s）、语法逻辑阶段（1970s-1980s）和词汇与语料库阶段（1990s至今）。同时分析了语言中的歧义类型（词汇、句法、语义、指代和语用歧义）以及NLP处理的四个关键阶段：词法处理、句法分析、语义分析和语用分析。文章为对NLP感兴趣的研究生和学者提供了系统的学科概述。
2026-03-04 22:00:30
354
原创 借助 TensorRT 提升 TensorFlow 在 GPU 上的推理速度
摘要：TensorRT与TensorFlow的深度集成为GPU推理带来显著性能提升。通过新增API，用户仅需几行代码即可实现FP16/INT8优化，在ResNet-50测试中推理速度提升8倍。TensorRT自动执行计算图优化，包括层融合和剔除，同时保留TensorFlow的灵活性。Volta架构的张量核心可加速FP16运算，而INT8校准流程能有效降低量化误差。该方案已在TensorFlow 1.7+版本中实现，未来将通过标准pip安装进一步简化部署流程。（149字）
2026-03-03 23:56:39
436
原创 仅需数行代码，用 TensorFlow 训练树基模型
摘要：本文介绍了如何在Kaggle平台上使用TensorFlow决策森林库快速构建树基模型。针对表格数据问题，决策森林通常优于神经网络且实现更简单。教程以汽车评级数据集为例，展示了从安装库、数据导入到模型训练的全过程，仅需数行代码即可达到95%准确率。相比神经网络，决策森林具有数据预处理简单、计算资源需求低和模型可解释性强等优势，特别适合快速原型开发和业务场景解释。
2026-03-03 23:27:57
455
原创 使用 Keras Tuner 进行超参数调优
KerasTuner是一款专为深度学习设计的超参数优化工具，支持贝叶斯优化、Hyperband和随机搜索算法。开发者可轻松定义搜索空间，在模型构建代码中直接嵌入超参数采样逻辑。框架提供端到端解决方案，从模型定义（如卷积层数、滤波器数量、学习率等）到分布式训练，并支持自定义训练循环和Scikit-learn模型调优。通过内置算法自动寻找最优参数组合，显著提升模型性能，同时保持代码简洁性。其分布式架构支持多节点并行搜索，大幅提高调优效率。
2026-03-02 08:40:28
632
原创 为 TensorFlow 模型库添加量化感知训练和剪枝功能
TensorFlow模型优化工具包(TFMOT)新增了对计算机视觉模型的量化感知训练(QAT)和剪枝支持。该方案通过优化API设计，实现了对子类化模型和自定义层的量化支持，并简化了剪枝配置流程。测试结果显示，QAT模型在保持与后训练量化相近推理延迟的同时，显著提升了准确率（如MobileNetV3准确率从34.5%提升至74.4%）。剪枝方面，ResNet50在80%稀疏度下模型体积压缩71%而准确率仅下降1.2%。该优化方案为模型轻量化提供了便捷高效的实现路径。
2026-03-02 08:18:37
702
原创 借助 TensorFlow 实现基于视频数据的深度学习
本文介绍了使用TensorFlow高效处理视频数据的方法。重点讲解了FrameGenerator生成器类，它通过from_generator()接口实现内存高效的数据加载，适用于视频分类任务。同时介绍了einops库在视频下采样中的应用，通过ResizeVideo层实现张量尺寸调整，提升处理效率。这些技术不仅适用于视频数据，也可用于医疗影像等三维数据，在资源有限场景下尤其实用。文中提供了相关教程链接，帮助开发者构建高效视频处理模型。
2026-03-01 23:56:47
942
原创 TensorFlow 与 MATLAB 协同使用
本文介绍了TensorFlow与MATLAB协同使用的方法，主要包括三种方式：1) 将TensorFlow模型转换为MATLAB模型；2) 将MATLAB模型转换为TensorFlow模型；3) 通过Python与MATLAB互调实现协同运行。文章详细讲解了模型转换的技术细节，并展示了在图像分类、迁移学习和系统仿真等场景中的应用案例。这种跨平台协作方式能充分发挥两者的优势，为深度学习开发提供更灵活的工作流。
2026-03-01 15:41:21
1080
2
原创 基于动态嵌入训练推荐模型
摘要：本文介绍了基于动态嵌入技术的推荐系统实现方案。通过TensorFlow推荐系统扩展库(TFRA)的动态嵌入功能，可以解决大规模推荐场景中静态嵌入表内存占用过高的问题。文章详细演示了如何结合TFRS与TFRA构建电影推荐模型，包括数据处理、双塔模型构建、动态嵌入层实现等关键步骤。实验表明，动态嵌入模型在保持与基准模型相当性能的同时，能根据需求自动扩容/缩容嵌入表。文中还探讨了嵌入表缩容策略及验证方案设计要点，为大规模推荐系统开发提供了实用技术参考。
2026-02-28 23:39:31
961
原创 可视化与解读决策树
摘要：TensorFlow最新教程展示了如何使用dtreeviz库可视化决策树，该库已成为最受欢迎的决策树可视化工具。决策树通过二叉树结构学习数据特征与目标值的关系，每个节点根据特征阈值进行分割。dtreeviz不仅能展示树结构、特征分割方式，还能可视化预测路径和叶节点样本分布，帮助解读模型决策过程。教程以企鹅和鲍鱼数据集为例，演示了分类树和回归树的可视化方法，包括特征检测路径、样本分布等关键信息，为模型解释提供了直观工具。
2026-02-28 23:30:29
870
1
Deep Learning Crash Course for Beginners深度学习视频教程
2025-12-17
Caer - 现代计算机视觉实时处理库
2025-12-06
《4小时学会Python使用OpenCV》源代码
2025-12-06
学习使用 Python 自动化 Excel 任务
2025-12-05
使用 Python openpyxl 模块对 Excel 文件进行读写视频教程
2025-12-05
PMP项目管理思维导图
2025-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人