- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 向量数据库检索原理
Chroma是一个新的AI原生开源嵌入式数据库，非常轻量和易用。Chroma是开源嵌入式数据库，它使知识、事实和技能可插入，从而轻松构建LLM应用程序。它可以运行在内存中（可保存在磁盘中），也可做为数据库服务器来使用（这和传统数据库类似）
2023-11-15 10:27:09
631
原创 机器学习-gbdt
梯度 Boosting 算法是一种高效的集成学习方法，其算法核心在于将弱学习器的集成看成极小化损失函数与正则项的过程，并将这一过和通过梯度下降法实现。最终利用梯度下降得到每个弱学习器的权重，进行加权求和或投票。算法通过设置分类损失函数，实现梯度 Boosting 分类算法。梯度提升树和随机森林算法类似，也是决策树的组合，但是训练过程不同，梯度提升树的核心在于，每棵树是从先前所有树的残差中来学习。每次迭代利用当前模型中损失函数的负梯度值作为提升树算法中的残差的近似值，进而拟合一颗回归树。它的每一次计算都是
2022-01-15 18:36:39
716
原创 机器学习-分类算法
银行贷款员需要分析数据，搞清楚哪些贷款申请者是“安全的”，银行的“风险”是什么。电脑公司的市场经理需要分析已经购买电脑的客户信息，以帮助他分析具有哪些特征的顾客会购买一台新的电脑。医学研究者希望分析乳腺癌数据，预测哪些属性的指标满足一定条件会患这种病，以及判断病情的严重程度。在类似上述的例子中，数据挖掘的任务是分类，都需要构造一个模型（又称分类器）来预测类属性。如贷款应用数据的“安全”或“风险”，销售数据的“是”或“否”，医疗数据的“有病”和“无病”等等。这些类属性都用离散值表示，其中值之间的序没有意义。
2022-01-15 18:32:06
317
原创 机器学习-聚类算法
在世界的分析和描述中，类，或在概念上有意义的具有公共特性的对象组，扮演着重要的角色。的确，人类擅长将对象划分成组（聚类），并将特定的对象指派到这些组（分类）。例如，即使很小的孩子也能很快地将图片上的对象标记为建筑物、车辆、人、动物、植物等。就理解数据而言，簇是潜在的类，而聚类分析是研究自动发现这些类的技术。聚类分析在广泛的领域都扮演着重要角色。这些领域包括如下：经济领域：帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买模式来刻画不同的客户群的特征；企业信用等级分类；生物学领域：推导植物和动
2022-01-15 18:29:53
554
原创 机器学习-回归算法
数值预测是对连续值函数进行预测的一类数据挖掘任务，通过构造相关的预测模型对连续数值进行预测。与分类问题相同之处在于数值预测也是有标号的学习问题，即监督学习问题，与之不同在于数值预测对连续的变量进行学习和预测，而分类对于离散的目标进行学习和分类。回归分析是最常用的统计学数值预测方法，它是在分析现象自变量和因变量之间相关关系的基础上，建立变量之间的回归方程，并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量的值。回归分析主要解决以下几个方面的问题：1)确定几个特定的变量之间...
2022-01-15 18:28:30
790
原创 spark 造数据代码
import org.apache.spark.SparkContextimport scala.util.Randomimport org.apache.spark.sql.Rowimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.types.StructFieldimport org.apache.spark.sql.types.DoubleTypeimport org.apache.spark.sql.type
2021-03-27 09:55:13
389
原创 spark处理风机数据
import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types._import org.apache.spark.sql.functions._import org
2021-03-27 09:52:56
97
原创 tensorflowonspark集群提交命令
tensorflowonspark集群提交命令本地调试模型训练spark-submit --master yarn –deploy-mode cluster –queue default –executor-cores 1 –executor-memory 600M –conf spark.yarn.executor.memoryOverhead=1500 –archives hdfs://node1:9000/user/xxxxx/py36.zip#Python –conf spark
2021-03-27 09:41:24
157
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人