张小凡vip-CSDN博客

张小凡vip

码龄13年

个人简介：2012年中级职称软件设计师； 2017年高级职称项目管理师； 2018年CSM敏捷认证； 2019年csdn20周年直播嘉宾； 2020年高级健康管理师；清华大学出版社《MongoDB游记》数据库教程书作者。专注于数据挖掘技术与大数据，云计算与存储等技术的学习与研究。擅长系统响应式开发、数据采集数据清洗和数据分析，分布式云存储运算等技术。熟悉数据的采集、数据的清洗（ETL）、存储（Data Storage）、挖掘（Data Mining）整个流程。熟悉后台系统、云存储计算平台的搭建，擅长解决架构过程中遇到的疑难问题。常用开发语言:java、python、c#、perl、sql。

IP 属地：贵州省

查看详细资料

原力等级

成就

当前等级

7

当前总分

4,735

当月

51

个人成就

《MongoDB游记》作者
博客专家认证
获得1,858次点赞
内容获得1,022次评论
获得6,420次收藏
代码片获得5,488次分享

TA的专栏

兴趣领域设置

大数据

hadoophivestormsparketl

游记

数据库MongoDB实战

京东当当天猫

独立博客： www.525.life

创作活动更多

HarmonyOS开发者社区有奖征文来啦！

用文字记录下您与HarmonyOS的故事。参与活动，还有机会赢奖，快来加入我们吧！

0人参与去创作

搜TA的内容

遇到问题--AttributeError: Can only use .cat accessor with a ‘category‘ dtype

方法，这是分类数据类型的访问器，而不是字符串连接的方法。你应该使用字符串连接的方法来实现这个目标。类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是字符串类型，可以使用。错误通常在使用 Pandas 库时出现，特别是在尝试对非分类数据类型（错误，并正确处理 Pandas 数据框中的分类操作。转换为字符串类型，然后将它们连接起来，但你使用的是。运算符将两个字符串列连接起来，并将结果存储在新的。这样，可以正确地将两列字符串连接在一起，而不会触发。首先，确保你操作的列是。列转换为字符串类型。

发布博客 2024.11.16 ·

遇到问题--AttributeError: Can only use .str accessor with string values

如果你确实需要对非字符串类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是数值类型，可以使用数值操作方法。错误通常在使用 Pandas 库时出现，特别是在尝试对非字符串类型的列应用字符串操作时。错误，并正确处理 Pandas 数据框中的字符串操作。如果列的数据类型不是字符串，可以将其转换为字符串类型。首先，确保你操作的列是字符串类型的。如果你尝试对非字符串类型的列使用。str需要修改为 astype(str)访问器只能用于字符串类型的列（即。属性来检查列的数据类型。

发布博客 2024.11.16 ·

数据分析和数据挖掘的区别在哪

目标：数据分析侧重于解释数据，数据挖掘侧重于发现模式。方法：数据分析主要使用统计和可视化技术，数据挖掘使用算法和模型。应用场景：数据分析侧重于业务报告和运营优化，数据挖掘侧重于发现新知识和新模式。数据规模：数据分析处理中小规模数据，数据挖掘处理大规模数据。结果的可解释性：数据分析的结果通常更易于解释。虽然它们有所区别，但在实际应用中，数据分析和数据挖掘常常结合使用，以提供全面的洞察和解决方案。

发布博客 2024.11.11 ·

Hadoop积累---Hadoop判断job和map的开始和结束(带源码)

命令行工具：使用和等命令查询Job和Map任务的状态。Web UI：访问JobTracker/ResourceManager的Web界面查看Job和Map任务的进度。API：在应用程序中使用Hadoop API监控Job和Map任务的状态。日志文件：查看Hadoop生成的日志文件以获取Job和Map任务的状态。监控工具：使用第三方监控工具提供更详细的监控信息。通过这些方法，你可以有效地监控Hadoop中的Job和Map任务的开始和结束。

发布博客 2024.11.11 ·

paddleOCR识别源码

发布资源 2024.10.20 ·

基于PaddleSpeech实现语音识别

遍历每一个文件，将它们分别送入ASRExecutor进行识别，所有识别文本集中保存到列表words里，最终写入result.csv文件。通过auditok.split来对音频进行切分，切分后新建目录：change/audio/文件名/，将文件存入该目录。一段python办公自动化抖音广告语，因为有背景音乐，所以判断为Music。执行后qiefen(“1.wav”)后，可以把1.wav进行切分。PaddleSpeech识别最长语音为50s，故需要切分。这段广告语被完整识别出来，唯一的问题是不带标点符号。

发布博客 2024.10.20 ·

基于paddlepaddle客户画像分析

目前在实际的业务中，需要对原始数据做数据标注，标注后的数据格式整理为JSON如下：“tag”: “初始第一次开始”这里的tag标注是一个层次分类。开始训练的一部分数据是人工标注的监督数据，那么对于新的数据，就是无监督数据，因此需要有一个模型来解决此问题。PaddleNLP[1]是一款简单易用且功能强大的自然语言处理和大语言模型(LLM)开发库。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。

发布博客 2024.10.20 ·

paddleOcr记录

情况1：默认不需要标注电能表样本、训练电能表OCR模型，需调用PaddleOCR出识别字符，对识别信息进行提取情况2：需要从无到有标注OCR样本，或已有样本及标签文件，需训练电能表OCR模型，调用OCR模型识别样本字符，对识别信息进行提取OCR的处理包含两个流程：1-字符检测，2-字符识别。两个流程需要两种不同的数据集格式，如字符检测部分，样本内容主要包含字符图像与字符对应的坐标（参考dataset/ctw1500数据集），

发布博客 2024.10.20 ·

(十二)人工智能应用--深度学习原理与实战--模型编译及训练参数的选择

神经网络训练要解决的问题其实是以最快的速度将误差函数(Loss)降到最小值、从而确定最优的网络参数。人工智能梯度通常指的是在机器学习和深度学习中使用的梯度，用于指示损失函数在某一点的变化速率和方向。在神经网络中，梯度表示损失函数相对于模型参数的变化率，可以帮助机器学习模型进行优化和参数更新。具体来说，人工智能梯度是指损失函数对于模型参数的偏导数，通常通过反向传播算法计算得到。梯度的方向指示了参数更新的方向，梯度的大小则表示了参数更新的步长。

发布博客 2024.06.11 ·

(十一)人工智能应用--深度学习原理与实战--实现泰坦尼克号生存者预测案例Titanic Survival

泰但尼克号生存者预测(Titanic Survival)任务要求根据给定的1300余位乘宫的特征（姓名、性别、年龄、舱位等】及幸存情况(0-死亡，1-幸存】建立神经网络模型，能够较内准确地预测乘客样本的幸存情况。我们首先对原数据进行了多种预处理，目的是提高数据的质量，进而提升模型的性能。应熟练掌握常用的数据预处理方法。接下来，我们基于序贯模式(Sequential)搭建了包含多个全连接层(Dense层)的神经网络、需熟练掌握全连接网络层的添加方法及智数含义。

发布博客 2023.09.07 ·

(十)人工智能应用--深度学习原理与实战--模型的保存与加载使用

Tensorflow提供了灵活的模型保存方案，我们可以将训练好的模型保存，之后可以直接加载使用，而无需重复建模训练。方案1:保存全模型方法可以将网络结构、权重信息、以及编译配置等一并保存，加载即可直接使用。方案2:保存权重方法允许仅保存网络的权重信息使用时要有搭建好的网络,无需训练。方案3:保存网络结构的方法允许仅保存网络层的构成而不保存权重，常用于恢复网络结构。模型的保存与加载是十分常用的功能，应熟练掌握。

发布博客 2023.08.10 ·

(九)人工智能应用--深度学习原理与实战--前馈神经网络实现MNST手写数字识别

MNIST手写数字识别是神经网络实现的第一个案例，这是一个简单的图像识别应用，我们使用Keras构建了只有两个全连接(Dense)的前馈神经网络，取得了不错的识别准确率。通过本任务大家应对于Keras构建前馈神经网络(使用序贯式模型)的过程更加熟悉，理解和掌握增加Dense层的方法及参数的含义。记住模型构建的一般步骤是加载及预处理数据、建模【添加网络层)、编译、训练、评估、预测，并掌握Tensorflow (Keras)中对应的方法。

发布博客 2023.08.08 ·

(八)人工智能应用--深度学习原理与实战--前馈神经网络机制解析

本章节我们了解了前馈神经网络的核心机制，包括感知机(最简单的前馈网络)、前馈与反向传擂、权重与偏移值数、激活函数的作用及类型。前馈神经网络是目前使用最广泛的神经网络之一，在图像识别和自然语言处理领域主流的两大神经网络类型——卷积神经网络(CNN)和循环神经网络(RNN)都属于前馈网络。感知机的原理、反向传擂机制、权重及偏移值箸数、以及激活函数的作用是重点,也是后续学习的前置基础，需要熟练掌握。

发布博客 2023.07.24 ·

(七)人工智能应用--深度学习原理与实战--使用Keras搭建序贯式模型

1、KerasAPI已经被集成到TensorfLow2.×版本中，作为官方推荐的神经网络API。使用Keras可以非常方便地、模块化地搭建神经网络、添加多个层、并编译、训练及评估预测。2、Keras以层(Layers)为组件搭建神经网络，有两种基本模式—------序贯模式(SequentiaL)和函数式模式(FunctionaL)，需要理解两种方式的特点和区别。3、Keras可以使用add方法或列表方法向序贯模型中添加网络层。

发布博客 2023.07.21 ·

(六)人工智能应用--深度学习原理与实战--理解张量与运算图

1.张量(Tensor)是神经网络的基本数据结构，本质上是一种维度任意的多维数据容器。2.深度学习中使用张量来表示各种数据，如向量数据、时间序列数据、图像数据、视频数据等，需要熟悉它们的形状格式，在神经网络的训练中会经常用到。3.计算图是张量计算过程的逻辑表示，图运算非常适用于神经网络这种大规模运算场景，配合GPU的并行计算能门能够大幅提高运算效率。

发布博客 2023.07.13 ·

(五)人工智能应用--深度学习原理与实战--Linux系统Tensorflow平台搭建

1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Linux操作系统下完成了TensorfLow的安装及基于NVIDIA GPU的Cuda (GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境，建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、Cuda和cudnn的版本存在不兼容的情况，需要提前查询相应的对应关系。

发布博客 2023.07.03 ·

(四)人工智能应用--深度学习原理与实战--Windows系统Tensorflow平台搭建

1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Windows操作系统下完成了Tensorflow的安装及基于NVIDIA GPU的Cuda(GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境,建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、 cuda和cudnn的版本存在不兼容的情况,需要提前查询相应的对应关系。

发布博客 2023.06.13 ·

(三)人工智能应用--深度学习原理与实战--神经网络的工作原理

神经网络本质上是一个实现深度学习的多层数学框架，每一层都对输入数据做一定的转换，在训练（学习)的过程中不断调整优化各层的权重参数，最终得到能够准确映射输入数据和目标输出的网络模型。优化器的作用是依据误差值来逐步调整各层的权重然数，以降低误差值。这一过程的算法叫做反向传播(Backpropagation )算法，梯度下降(GD)是反向传播算法中常用的方法。通过在大量数据上多次循环训练，最终可以得到最小化的损失函数，从而得出训练好的神经网络(即能够准确映射输入数据和目标输出的深度学习模型)。

发布博客 2023.05.16 ·

(二)人工智能应用--深度学习原理与实战--机器学习简史

2010年至今，在硬件、数据、算法及框架等几个方面的推动下，深度学习技术进入蓬勃发展期，目前已经在感知类任务中占据主导地位。人工智能被称为新一轮工业革命，相关的岗位数量急剧增长。与机器学习相关的主要技术包括:Python语言、Scikit-Learn、TensorFLow(Keras) 、Pytorch等框架以及相关的开发库。

发布博客 2023.03.28 ·

(一)人工智能应用--深度学习原理与实战--初识深度学习

人工智能是一个综合性的概念，其方法不仅仅包括机器学习和深度学习，还包括如预定义规则的专家系统。机器学习(包括深度学)的本质是让计算机自主地从数据中学习出规则，而非预定义规则。与经典的编程范式不同，机器学习的范式是输人数据和笞案(即标签)、输出规则(即模型)，从而可以使用模型预测新的数据输入。深度学习是机器学习的一个分支(子集),从技术上是一种学习数据表示的多层框架（传统的机器学习算法通常只有一到两个表示层)，深度学习的分层表示模型即神经网络。

发布博客 2023.03.23 ·