- 博客(1012)
- 资源 (95)
- 收藏
- 关注
原创 (十二)人工智能应用--深度学习原理与实战--模型编译及训练参数的选择
神经网络训练要解决的问题其实是以最快的速度将误差函数(Loss)降到最小值、从而确定最优的网络参数。人工智能梯度通常指的是在机器学习和深度学习中使用的梯度,用于指示损失函数在某一点的变化速率和方向。在神经网络中,梯度表示损失函数相对于模型参数的变化率,可以帮助机器学习模型进行优化和参数更新。具体来说,人工智能梯度是指损失函数对于模型参数的偏导数,通常通过反向传播算法计算得到。梯度的方向指示了参数更新的方向,梯度的大小则表示了参数更新的步长。
2024-06-11 19:47:21
514
原创 (十一)人工智能应用--深度学习原理与实战--实现泰坦尼克号生存者预测案例Titanic Survival
泰但尼克号生存者预测(Titanic Survival)任务要求根据给定的1300余位乘宫的特征(姓名、性别、年龄、舱位等】及幸存情况(0-死亡,1-幸存】建立神经网络模型,能够较内准确地预测乘客样本的幸存情况。我们首先对原数据进行了多种预处理,目的是提高数据的质量,进而提升模型的性能。应熟练掌握常用的数据预处理方法。接下来,我们基于序贯模式(Sequential)搭建了包含多个全连接层(Dense层)的神经网络、需熟练掌握全连接网络层的添加方法及智数含义。
2023-09-07 20:30:00
814
原创 (十)人工智能应用--深度学习原理与实战--模型的保存与加载使用
Tensorflow提供了灵活的模型保存方案,我们可以将训练好的模型保存,之后可以直接加载使用,而无需重复建模训练。方案1:保存全模型方法可以将网络结构、权重信息、以及编译配置等一并保存,加载即可直接使用。方案2:保存权重方法允许仅保存网络的权重信息使用时要有搭建好的网络,无需训练。方案3:保存网络结构的方法允许仅保存网络层的构成而不保存权重,常用于恢复网络结构。模型的保存与加载是十分常用的功能,应熟练掌握。
2023-08-10 19:15:00
1043
原创 (九)人工智能应用--深度学习原理与实战--前馈神经网络实现MNST手写数字识别
MNIST手写数字识别是神经网络实现的第一个案例,这是一个简单的图像识别应用,我们使用Keras构建了只有两个全连接(Dense)的前馈神经网络,取得了不错的识别准确率。通过本任务大家应对于Keras构建前馈神经网络(使用序贯式模型)的过程更加熟悉,理解和掌握增加Dense层的方法及参数的含义。记住模型构建的一般步骤是 加载及预处理数据、建模【添加网络层)、编译、训练、评估、预测,并掌握Tensorflow (Keras)中对应的方法。
2023-08-08 19:30:00
778
原创 (八)人工智能应用--深度学习原理与实战--前馈神经网络机制解析
本章节我们了解了前馈神经网络的核心机制,包括感知机(最简单的前馈网络)、前馈与反向传擂、权重与偏移值数、激活函数的作用及类型。前馈神经网络是目前使用最广泛的神经网络之一,在图像识别和自然语言处理领域主流的两大神经网络类型——卷积神经网络(CNN)和循环神经网络(RNN)都属于前馈网络。感知机的原理、反向传擂机制、权重及偏移值箸数、以及激活函数的作用是重点,也是后续学习的前置基础,需要熟练掌握。
2023-07-24 21:15:00
464
原创 (七)人工智能应用--深度学习原理与实战--使用Keras搭建序贯式模型
1、KerasAPI已经被集成到TensorfLow2.×版本中,作为官方推荐的神经网络API。使用Keras可以非常方便地、模块化地搭建神经网络、添加多个层、并编译、训练及评估预测。2、Keras以层(Layers)为组件搭建神经网络,有两种基本模式—------序贯模式(SequentiaL)和函数式模式(FunctionaL),需要理解两种方式的特点和区别。3、Keras可以使用add方法或列表方法向序贯模型中添加网络层。
2023-07-21 13:34:23
253
原创 (六)人工智能应用--深度学习原理与实战--理解张量与运算图
1.张量(Tensor)是神经网络的基本数据结构,本质上是一种维度任意的多维数据容器。2.深度学习中使用张量来表示各种数据,如向量数据、时间序列数据、图像数据、视频数据等,需要熟悉它们的形状格式,在神经网络的训练中会经常用到。3.计算图是张量计算过程的逻辑表示,图运算非常适用于神经网络这种大规模运算场景,配合GPU的并行计算能门能够大幅提高运算效率。
2023-07-13 21:30:00
838
原创 (五)人工智能应用--深度学习原理与实战--Linux系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架,我们在Linux操作系统下完成了TensorfLow的安装及基于NVIDIA GPU的Cuda (GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境,建议使用Python的Anaconda发行版,该版本集成了多个科学计算包,广泛应用于数据处理与人工智能领域。3.TensorfLow、Cuda和cudnn的版本存在不兼容的情况,需要提前查询相应的对应关系。
2023-07-03 21:45:00
1052
原创 (四)人工智能应用--深度学习原理与实战--Windows系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架,我们在Windows操作系统下完成了Tensorflow的安装及基于NVIDIA GPU的Cuda(GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境,建议使用Python的Anaconda发行版,该版本集成了多个科学计算包,广泛应用于数据处理与人工智能领域。3.TensorfLow、 cuda和cudnn的版本存在不兼容的情况,需要提前查询相应的对应关系。
2023-06-13 21:15:00
1017
1
原创 (三)人工智能应用--深度学习原理与实战--神经网络的工作原理
神经网络本质上是一个实现深度学习的多层数学框架,每一层都对输入数据做一定的转换,在训练(学习)的过程中不断调整优化各层的权重参数,最终得到能够准确映射输入数据和目标输出的网络模型。优化器的作用是依据误差值来逐步调整各层的权重然数,以降低误差值。这一过程的算法叫做反向传播(Backpropagation )算法,梯度下降(GD)是反向传播算法中常用的方法。通过在大量数据上多次循环训练,最终可以得到最小化的损失函数,从而得出训练好的神经网络(即能够准确映射输入数据和目标输出的深度学习模型)。
2023-05-16 21:45:00
865
原创 (二)人工智能应用--深度学习原理与实战--机器学习简史
2010年至今,在硬件、数据、算法及框架等几个方面的推动下,深度学习技术进入蓬勃发展期,目前已经在感知类任务中占据主导地位。人工智能被称为新一轮工业革命,相关的岗位数量急剧增长。与机器学习相关的主要技术包括:Python语言、Scikit-Learn、TensorFLow(Keras) 、Pytorch等框架以及相关的开发库。
2023-03-28 21:15:00
274
原创 (一)人工智能应用--深度学习原理与实战--初识深度学习
人工智能是一个综合性的概念,其方法不仅仅包括机器学习和深度学习,还包括如预定义规则的专家系统。机器学习(包括深度学)的本质是让计算机自主地从数据中学习出规则,而非预定义规则。与经典的编程范式不同,机器学习的范式是输人数据和笞案(即标签)、输出规则(即模型),从而可以使用模型预测新的数据输入。深度学习是机器学习的一个分支(子集),从技术上是一种学习数据表示的多层框架(传统的机器学习算法通常只有一到两个表示层),深度学习的分层表示模型即神经网络。
2023-03-23 13:36:51
638
原创 遇到问题--kafka--接收端报错Parse JSON error Invalid encoding in string. Offset
情况kafka接收业务发送得数据,在接收端json解析失败例如a={"key":"123data"}print(a);原因打印异常信息发现接收端接收到的数据里面包含有特殊符号kafka发送端发出的数据中有特殊符号,导致接收端接收时转换json格式失败。这些异常数据一般是特殊的符号,在txt中肉眼不可见。可以借用bejson在线工具 或者 本地的notepad++软件找到相关异常的符号是哪一个,如果数据量太多,可以借助附录中html代码运行 定位到 特殊符号的前后。我们发现 去掉这个
2022-05-13 11:30:07
2039
原创 遇到的问题---java---使用SimpleDateFormat进行时区加8小时后出现24点的数据,导致时间异常无法入库
情况因为数据库中保存的是无时区的时间格式,所以在java项目中 获取时间数据后 需要加上东八区的时间。使用代码如下: public static String timeAdd8Hour(Date date) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd kk:mm:ss ");// System.out.println("格式化输出:" + sdf.format(date)); sdf.setTimeZone(Ti
2022-03-31 18:26:05
3042
原创 遇到问题--mongodb---python---pymongo通过_id查询不到数据
情况pymongo通过_id查询不到数据正常使用的pymongo查询语句如下:id="600bcb89436877002d001eaa"import pandas as pdfrom pymongo import *client = MongoClient('mongodb://root:password@mongodb.mydb.com:3717/mydb')db = client['mydb']db_collection = db['comment']results = []f
2022-03-16 11:55:48
4239
原创 遇到问题--k8s---数据库同域名切换后pod读取的还是老数据库
情况现有一个 spring-boot的系统部署在k8s的pod中,连接数据库的配置文件 使用的是 域名 order.mydb.com 连接mongodb。因为数据库迁移需要, 新创建了一个mongodb服务,然后把order.mydb.com域名指向 新的mongodb服务。但是 spring-boot的系统 发现 缺少数据,经过排查后,新的mongodb数odb据完整,老的mon godb缺少数据。数据库配置正确,在 spring-boot的系统 所在的 pod和node中 ping 域名 or
2022-03-16 11:33:37
2955
原创 flink通过sink的方式写入dorisdb数据源
我们在之前的文章中已经 通过 mongodbsource获取了 相关数据,详情参考flink读取mongodb数据源批处理全量获取实践本篇文章 记录把获取到的数据 sink导入到 dorisdb。创建erp_order_test表在dorisdb的shell命令行中使用命令创建表格create table erp_order_test (order_id STRING, order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 P
2022-03-09 11:40:51
6229
原创 flink读取mongodb数据源批处理全量获取实践
本章记录 flink读取mongodb数据源的实践,主要用于 全量 批处理获取mongodb的数据。我们在前面的文章中已经学习了如何写一个简单的flink-job项目打包jar包运行详情参考编写flink任务jar包–helloworld我们在flink-job项目基础上新增读取mongodb数据源的功能。引入jar包使用官方driver连接器 <dependency> <groupId>org.mongodb<
2022-03-08 11:41:28
4952
原创 flink on k8s模式通过web UI界面查看任务运行情况
我们之前已经成功部署了flink on k8sflink on k8s部署方案实践–详细步骤单纯看pod的log,是无法查看和排查所有情况的。 有时候需要查看job的运行情况。一般我们在运行flink任务时,需要查看它的job运行情况。比较常用的方式就是在flink的UI界面上查看。一般的flink 因为jobmanager 所在的node是固定的,ip也就是固定的,所以能够通过ip或者域名映射后即可很方便的进行访问。flink on k8s比较特别的是jobmanager 是一个在k8s集群中
2022-03-08 11:15:49
4442
原创 遇到问题--java--新建maven项目打jar包缺少第三方引入的包maven dependencies报错Caused by: java.lang.ClassNotFoundException
情况我们新建maven项目打成jar包后在flink集群中运行,但是报错Caused by: java.lang.ClassNotFoundException具体报错如下:java.lang.RuntimeException: Could not look up the main(String[]) method from the class task.MongoDBSourceOrderETL: com/ververica/cdc/debezium/DebeziumDeserializationSc
2022-03-07 15:55:35
3192
原创 编写flink任务jar包--helloworld
我们在之前的文章中已经成功部署了flink on k8s,并且成功运行了 wordcount.jar完成了单词统计的任务。flink on k8s部署方案实践–详细步骤那如果我们需要实现自己的处理逻辑和任务呢? 比如说 打印一个helloworld,我们就需要自己写一个jar包了,没有现成的包可以直接用了。本篇文章记录如果写一个简单的jar包并在flink中运行,工具使用idea。新建maven项目File --》 New --》 Project默认使用maven1.8版本 点击 next
2022-03-04 19:18:51
2869
原创 遇到问题--java--mac版本的idea在控制台中使用mvn命令not found
情况新建了一个maven的项目,默认使用的idea的maven3插件,idea项目中可以正常的下载jar包。但是点击 idea中的Terminal终端 想要进行项目打包时使用命令mvn clean package -Dmaven.test.skip=true报错如下:zhangxiaofans-MacBook-Pro:flink-job joe$ mvn clean package -Dmaven.test.skip=truebash: mvn: command not found原因m
2022-03-04 18:07:20
4334
原创 flink on k8s部署方案实践--详细步骤
背景Flink-operator极大的方便了我们管理 Flink 集群及其作业,我们只需要自定义yaml文件就可以做到。Flink 官方还未给出 flink-operator 方案,不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。接下来,将介绍 flink-operator 的安装方式和详细步骤。Flink-operator环境搭建完毕之后,这个operator服务作为flink的控制器,打通了flink和k8s的界限,
2022-03-03 19:47:04
4358
原创 flink on k8s部署方案调研
背景flink是目前最常用的大数据流计算处理引擎,一共有local,standalone,yarn,kubernetes四种安装部署机构方案。通常使用yarn进行管理,随着k8s云计算体系越来越成熟, 把flink部署在k8s中,是一种很好的趋势。Standalone和yarn架构模式原理参考Flink 选择 Kubernetes 作为其底层资源管理平台,原因包括两个方面:1)Flink 特性:流式服务一般是常驻进程,经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的
2022-02-10 19:01:18
2243
1
原创 flink实时读取mongodb方案调研-实现mongodb cdc
背景介绍mongodb目前是很多企业业务上常用的nosql数据库。我们需要对这些业务mongodb数据库进行 数据同步到 数据仓库中进行 数据分析处理。技术选型CDC介绍CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术CDC 技术的应用场景非常广泛:数据同步:用于备份,容灾;数据分发:一个数据源分发给多个下游系统;数据采集:面向数据仓库 / 数据湖的 ETL 数据集成,是非常重要的数据源。CDC 的技术方案非常多,目前业界主流的实现机制可以分为两种:
2022-02-09 23:00:00
4494
原创 遇到问题--k8s--kops--新增node无法加入k8s
情况使用kops配置yaml文件进行k8s集群的资源扩张,想要新增几个节点,使用命令如下:kops replace -f manifest.yaml --forcekops update cluster kops update cluster --yeskops rolling-update cluster k8scluster_namekops rolling-update cluster k8scluster_name --yes但是 node 已经ready 却无法加入k8s
2022-02-09 21:15:00
1998
原创 遇到问题--presto---mismatched input ‘in‘ expecting {, ‘AND‘, ‘EXCEPT‘, ‘GROUP‘, ‘HAVING‘, ‘INTERSECT‘, ‘
情况在presto中使用查询语句如下:select id from table where id in array[1,2,3]; 报错如下:select id from table where id in array[1,2,3];mismatched input 'in' expecting {<EOF>, 'AND', 'EXCEPT', 'GROUP', 'HAVING', 'INTERSECT', 'LIMIT', 'OR', 'ORDER', 'UNION'}原因
2022-02-09 21:00:00
13351
原创 python--爬虫--selenium的简介和使用
selenium简介什么是seleniumselenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏。而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。selenium模块本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器;selenium爬虫称之为可视
2021-12-09 17:31:54
4650
原创 遇到问题--python---ImportError: Missing optional dependency ‘xlrd‘. Install xlrd >= 1.0.0 for Excel supp
情况使用如下代码读取excel表格import pandas as pdno_rebacks = pd.read_excel("123.xlsx", header=0)报错如下 :ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.完整报错如下:ImportError
2021-11-15 15:25:54
3489
1
原创 遇到问题--scala-gradle--Connect to jcenter.bintray.com:443 [jcenter.bintray.com/34.95.74.180] failed: co
情况项目编译使用gradle进行打包,之前都能正常运行,在没有改动的情况下, 突然报错gradle命令无法成功构建。在ci文件中使用方式如下:deploy-test: image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/operation/gradle:4.8_awscli stage: deploy-test script: - gradle shadowJar - /home/gradle/bin/aws s3 cp build
2021-10-26 17:51:16
2694
原创 遇到问题--python--pandas--dataframe进行groupby之后导出数据to_excel内容为空
情况dataframe需要使用groupby 进行数据统计处理得到的df数据如下:但是df导出数据to_excel内容为空原因dataframe使用groupby后是带着分组信息的,并不是dataframe平铺的格式,所以直接导出会有问题。解决方案把带有分组信息的group by结果的索引重建即可。c_df = pd.DataFrame(df)c_df.reset_index(inplace=True)输出如下:附加情况如果报错AttributeError: ‘Series’
2021-10-18 16:28:03
6555
原创 遇到问题--spark-scala---Cannot resolve overloaded method ‘udf‘--Defines a Scala closure of 11 arguments
情况我们在使用spark进行运算时,经常需要使用udf进行自定义函数。当我们自定义的函数参数个数小于等于10个时,udf能够正常编译运行。例如 val makeParams: (String, String, String, String, String, String, String, String, String, String) => TestProperty = (orderId: String, barcode: String, deliveryId: String,
2021-09-14 19:02:27
1893
原创 遇到问题--python---RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility.
情况之前运行良好的python项目,突然开始报错RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility. Expected 144 from C header, got 152 from PyObject完整报错如下:/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/importlib/_bootstrap.py:
2021-08-30 11:30:39
3045
原创 python----积累---使用传参的方式构造sql语句
使用pymsql查询数据如下:import pymysqlconn=pymysql.connect(host='123', port=3306, user=root', password='12345', database='school',
2021-08-09 18:46:57
1420
原创 遇到的问题--presto---提取json中的数组值为null
情况我们有数据结构如下:skuIdsParams:{"skuIds":["123","456"]}在presto中适用语句查询如下:presto> select skuIdsParams, json_extract_scalar(skuIdsParams,'$.skuIds') from v_event_2 where "$part_date">'2021-04-26' and "$part_event"='VIEW_ORDER_PAGE_EVENT' AND ( POSITION('
2021-08-02 19:06:08
2453
原创 遇到的问题--docker---gitlab---k8s---error pulling image configuration: Get https://production.cloudflare.
情况目前使用helm在k8s中安装了gitlab,gitlab runner在跑ci/cd时获取镜像失败。报错如下:error pulling image configuration: Get https://production.cloudflare.docker.com完整报错如下 :error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/regist
2021-07-16 15:35:56
2148
原创 遇到的问题---spark---spark OutOfMemoryError: Java heap space
情况使用命令运行spark任务$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf
2021-07-06 10:55:20
1195
原创 遇到的问题---python---pandas新建空的dataframe报错dataframe type object ‘object‘ has no attribute ‘dtype‘
情况处理一些数据,需要新建一个dataframe,后续再新增数据进去,使用代码如下: df=pd.DataFrame(columns=['code', 'name']) for row in results: i= i+1 print(i) print("总数%s, 当前%s 编码%s" % (str(cursor.rowcount), str(i), row[0])) code = row[0] name =
2021-06-24 18:40:29
3502
2
原创 遇到的问题---python---urllib获取到response为空
情况雪球非鉴权api使用浏览器 可以直接访问到。使用python3.7模拟浏览器访问,代码如下:import urllib import urllib.request
2021-06-24 10:21:13
994
原创 遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s
情况之前在k8s中部署了工作流引擎airflow正常稳定运行。突然有一天没修改任何东西的情况下 重新ci/cd后 pod出现异常。具体报错如下:/usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying both AIRFLOW_HOME environment variable and airflow_home in the config file is d
2021-06-22 11:18:47
513
ssh框架搭建用到的包完整版.zip
2014-07-03
java通过class读写excel的例子
2014-07-01
整合spring和mongodb用到的包和配置文件
2014-01-21
springMVCHibernateShiroBootStrap框架
2017-11-16
cxselect选择城市
2017-09-13
ueditor1.4.3的jsp版utf-8
2017-07-03
bootstrap-fileinput-master.zip
2017-06-23
SpringMVC+Shiro+MongoDB+BootStrap基础框架
2017-05-16
SpringMVC+Shiro+MongoDB基础框架
2017-05-15
hadoop-eclipse-plugin-1.2.1.jar
2016-09-14
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf
2016-06-12
springMVC+maven+hibernate框架
2015-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人