人工智能
文章平均质量分 63
有多少人工,就有多少智能!!!
あずにゃん
日萌社
展开
-
SVM支持向量机、线性回归、逻辑回归、K-近邻算法KNN、KD树、决策树、集成学习 Bagging 随机森林、集成学习 Boosting AdaBoost GBDT、k-means聚类算法
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)支持向量机朗格朗日乘子法线性回归(预测连续值)逻辑回归(sigmoid二分类)对数函数一般地,对数函数是以幂(真数)为自变量,指数为因变量,底数为常量的函数。对数函数是6类基本初等函数之一。其中对数的定义:.原创 2021-06-18 22:06:30 · 1476 阅读 · 0 评论 -
神经网络:正则化 范数 Droupout BN 方差 偏差 距离 损失 梯度 指标 学习率 超参数 归一化 标准化 激活 过拟合抑制 数据增强 标签平滑
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)1.梯度下降 1.随机梯度下降算法: 计算一个随机样本的损失函数关于参数θ的梯度来更新权重。 每迭代更新一次权重都需要计算所有样本误差,效率偏低。 容易陷入局部最优解。 2.全梯度下降算法: 计算所有样本的损失函数关于参数θ的梯度来更新权重 容易陷入局部最优解。1.什么是梯度消失或爆炸: 根据反向传播算法和链式法则, 得到原创 2021-06-18 22:07:49 · 1302 阅读 · 0 评论 -
IoU交并比、目标检测、RCNN、SPPNet、Fast R-CNN、Faster R-CNN、RPN区域提议网络、FPN特征金字塔、yolo、FCN基于全卷积的语义分割、反卷积、Mask RCNN
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)计算IoU:计算交并比1.候选框的坐标表示为(左上角的x坐标,左上角的y坐标,右下角的x坐标,右下角的y坐标)2.一般的都是左上角的x/y坐标小,右下角的x/y坐标大,因为x/y坐标轴的零点位于左上角处。"""非极大值抑制(NMS)1.输入数据: 通过SVM分类器对每个锚框分类好之后,每个锚框都带上了预测类别标签值和该预测类别的..原创 2021-06-18 22:07:52 · 1109 阅读 · 1 评论 -
Word2Vec与文章相似度
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.7 Word2Vec与文章相似度学习目标目标 知道文章向量计算方式 了解Word2Vec模型原理 知道文章相似度计算方式 应用 应用Spark完成文章相似度计算 2.7.1 文章相似度 在我们的头条推荐中有很多地方需要推荐相似文章,包括首页频道可以推荐相似的文章,详情页猜你喜欢 需求 首页频道推荐:每个频道推荐的时原创 2021-06-26 20:49:39 · 1664 阅读 · 0 评论 -
排序模型在线测试
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7. 8 排序模型在线测试学习目标目标 无 应用 应用TensorFlow Serving apis完成在线模型的获取排序测试 7.8.1 排序模型在线预测添加目的:编写tf serving客户端程序调用serving模型服务,进行在线预测测试 步骤: 1、用户特征与文章特征合并 2、serving服务端的example样本结构构造原创 2021-06-26 20:50:05 · 348 阅读 · 1 评论 -
TensorFlow Serving模型部署
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.7 TensorFlow Serving模型部署学习目标目标 无 应用 应用TensorFlow Serving完成模型服务运行 7.7.1 TensorFlow ServingTensorFlow Serving是一种灵活的高性能服务系统,适用于机器学习模型,专为生产环境而设计。TensorFlow Serving可以轻松部署新算法和实原创 2021-06-26 20:50:09 · 380 阅读 · 1 评论 -
WDL模型导出
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.9 WDL模型导出学习目标目标 无 应用 无 8.9.1 线上预估线上流量是模型效果的试金石。离线训练好的模型只有参与到线上真实流量预估,才能发挥其价值。在演化的过程中,适应TFserving,提高了模型迭代的效率。基于TF Serving的模型服务TF Serving是TensorFlow官方提供的一套用于在线实时预估的框架。它原创 2021-06-26 20:50:12 · 281 阅读 · 1 评论 -
排序模型进阶-Wide&Deep
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.5 排序模型进阶-Wide&Deep学习目标目标 无 应用 无 8.5.1 wide&deepWide部分的输入特征: 离散特征 离散特征之间做组合 不输入有连续值特征的,在W&D的paper里面是这样使用的。 Deep部分的输入特征: raw input+embeding处理原创 2021-06-26 20:50:15 · 443 阅读 · 1 评论 -
深度学习CTR排序模型
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.5 深度学习CTR排序模型学习目标目标 知道深度学习排序模型的发展特点 应用 无 8.5.1 深度学习CTR模型的前夜2010年FM被提出,特征交叉的概念被引入CTR模型;2012年MLR在阿里大规模应用,其结构十分接近三层神经网络;2014年Facebook用GBDT处理特征,揭开了特征工程模型化的篇章。这些概念都将在深度学习CTR模型原创 2021-06-28 10:23:51 · 618 阅读 · 0 评论 -
排序模型进阶-FM&FTRL
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.8 排序模型进阶-FM&FTRL学习目标目标 无 应用 无 5.8.1 问题在实际项目的时候,经常会遇到训练数据非常大导致一些算法实际上不能操作的问题。比如在推荐行业中,因为请求数据量特别大,一个星期的数据往往有上百G,这种级别的数据在训练的时候,直接套用一些算法框架是没办法训练的,基本上在特征工程的阶段就一筹莫展。5.8.2原创 2021-06-28 10:23:58 · 672 阅读 · 0 评论 -
分桶与特征交叉
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.6 分桶与特征交叉学习目标目标 了解分桶方式和作用 应用 无 8.6.1 通过分桶将连续特征变成类别特征有时,连续特征与标签不是线性关系。例如,年龄和收入 - 一个人的收入在其职业生涯早期阶段会增长,然后在某一阶段,增长速度减慢,最后,在退休后减少。在这种情况下,使用原始age作为实值特征列也许并非理想之选,因为模型只能学习以下三种情..原创 2021-06-28 10:24:00 · 626 阅读 · 0 评论 -
传统CTR排序模型
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.5 传统CTR排序模型学习目标目标 了解深度学习排序模型的发展 应用 无 8.5.1 传统CTR模型发展衍生图CTR/CVR预估经历了从传统机器学习模型到深度学习模型的过渡。下面先介绍下传统机器学习模型。然后再详细介绍在深度学习模型的迭代。为了解决特征交叉的问题,演化出PLOY2,FM,FFM等模型; 使用模型化、自动化的手段解原创 2021-06-28 10:24:04 · 766 阅读 · 0 评论 -
TFRecords与训练数据存储
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)8.1 TFRecords与训练数据存储学习目标目标 说明深度学习样本流程实践 说明Example的结构 应用 应用TF保存Spark构建的样本到TFRecords文件 8.1.1 深度学习训练样本流程实践Spark原始数据整合 -> Spark/TF生成TFRecord -> TF数据并行训练 -> TensorFlo原创 2021-06-28 10:24:09 · 687 阅读 · 0 评论 -
DNN文本多分类
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.5 案例:DNN文本多分类学习目标目标 无 应用 应用tf estimator完成文本分类 7.5.1 IMDB电影评论文本的神经网络分类目的:对IMDB电影评论数据进行训练,预测分类 步骤: 1、电影评论数据读取 2、模型输入特征列指定 3、模型训练与保存 1、电影评论数据读取我们将要使用的数据集是 IMDB Lar原创 2021-06-28 10:24:15 · 533 阅读 · 0 评论 -
词向量-word2vec
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.3 词向量-word2vec学习目标目标 知道统计语言模型 掌握神经网络语言模型NNLM原理 掌握wor2vec的实现方式以及优化特点 应用 无 7.3.1 Word2Vec模型介绍7.3.1.1 为什么学习词嵌入图像和音频处理系统采用的是庞大的高维度数据集,对于图像数据来说,此类数据集会编码为单个原始像素强度的向量。不过,自原创 2021-06-28 10:24:21 · 1630 阅读 · 0 评论 -
神经网络分类
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.3 案例:神经网络分类学习目标目标 掌握tf.dataset使用 掌握tf.feature_column使用 应用 应用tf.estimator进行神经网络分类案例 7.3.1 美国普查数据神经网络分类将tf.estimator原来为线性模型替换成神经网络模型, 当使用神经网络进行分类的时候,注意输入的特征列连续型特征列不需要处理原创 2021-06-28 10:24:24 · 697 阅读 · 0 评论 -
神经网络多分类原理与反向传播原理
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.2 神经网络多分类原理与反向传播原理学习目标目标 说明神经网络的softmax以及分类损失计算公式 知道浅层神经网络的前向计算过程 知道选择激活函数的原因 说明浅层网络的反向传播推导过程 知道导数、导数计算图 掌握链式法则、逻辑回归的梯度下降优化 了解浅层神经网络的前向计算(传播)与反向计算过程 应用 无 7.2.1原创 2021-06-28 10:24:28 · 1469 阅读 · 0 评论 -
神经网络基础
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)7.1 神经网络基础学习目标目标 了解感知机结构、作用以及优缺点 了解tensorflow playground的使用 说明感知机与神经网络的联系 说明神经网络的组成 应用 无 7.1.1 神经网络人工神经网络( Artificial Neural Network, 简写为ANN)也简称为神经网络(NN)。是一种模仿生物神经网络(原创 2021-06-28 10:24:31 · 439 阅读 · 0 评论 -
tf.estimator使用入门
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)6.6 tf.estimator使用入门学习目标目标 知道tf.estimator的使用流程 了解什么是premade estimator 应用 应用tf.estimator完成美国普查数据的二分类 6.6.1 tf.estimator介绍TensorFlow 中的tf.estimatorAPI 封装了基础的机器学习模型。Estima..原创 2021-07-01 16:42:16 · 760 阅读 · 0 评论 -
TFAPI使用2.0建议
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.5 TFAPI使用2.0建议学习目标目标 无 应用 无 2.5.2 TF2.0最新架构图饱受诟病TF1.0的API混乱 删除 queue runner 以支持 tf.data。 删除图形集合。 API 符号的移动和重命名。 tf.contrib 将从核心 TensorFlow 存储库和构建过程中移除 TensorFlow原创 2021-07-01 16:42:22 · 289 阅读 · 0 评论 -
案例:实现线性回归
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.4 案例:实现线性回归学习目标目标 应用op的name参数实现op的名字修改 应用variable_scope实现图程序作用域的添加 应用scalar或histogram实现张量值的跟踪显示 应用merge_all实现张量值的合并 应用add_summary实现张量值写入文件 应用tf.train.saver实现TensorFlow的原创 2021-07-01 16:42:25 · 448 阅读 · 0 评论 -
会话、张量、变量OP
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.3 会话、张量、变量OP学习目标目标 应用sess.run或者eval运行图程序并获取张量值 应用feed_dict机制实现运行时填充数据 应用placeholder实现创建占位符 知道常见的TensorFlow创建张量 知道常见的张量数学运算操作 说明numpy的数组和张量相同性 说明张量的两种形状改变特点 应用set_sh原创 2021-07-01 16:42:29 · 301 阅读 · 0 评论 -
图与TensorBoard
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.2 图与TensorBoard学习目标目标 说明图的基本使用 应用tf.Graph创建图、tf.get_default_graph获取默认图 知道开启TensorBoard过程 知道图当中op的名字以及命名空间 应用 无 内容预览 2.2.1 什么是图结构 2.2.2 图相关操作 1 默认图 2 创建图原创 2021-07-01 16:42:39 · 244 阅读 · 0 评论 -
TF数据流图
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)2.1 TF数据流图学习目标目标 说明TensorFlow的数据流图结构 应用 无 内容预览 2.1.1 案例:TensorFlow实现一个加法运算 1 代码 2 TensorFlow结构分析 2.1.2 数据流图介绍 2.1.1 案例:TensorFlow实现一个加法运算2.1.1.1 代码def tens原创 2021-07-01 16:42:36 · 286 阅读 · 0 评论 -
深度学习应用简介
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)6.2 深度学习应用简介学习目标目标 无 应用 无 6.2.1区别机器学习是人工智能的一种实现方式;深度学习是一种实现机器学习的技术,或者说是一种特殊的机器学习方法,可以说广义上的机器学习也包括了深度学习,三者的关系如下图所示:1、特征提取方面机器学习的特征工程步骤是要靠手动完成的,而且需要大量领域专业知识 深度学习通.原创 2021-07-01 16:42:44 · 2082 阅读 · 0 评论 -
推荐系统与深度学习关联
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)6.1 推荐系统与深度学习关联学习目标目标 无 应用 无 6.1.1 深度学习到推荐系统深度学习发展成功与局限最近几年深度学习的流行,大家一般认为是从2012年 AlexNet 在图像识别领域的成功作为一个里程碑。AlexNet 提升了整个业界对机器学习的接受程度:以前很多机器学习算法都处在“差不多能做 demo ”的程度,但是 Alex原创 2021-07-01 16:42:47 · 436 阅读 · 0 评论 -
排序模型在线预测
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.7 排序模型在线预测学习目标目标 无 应用 应用spark完成 5.7.1排序模型服务提供多种不同模型排序逻辑 SPARK LR/Tensorflow 5.7.2 排序模型在线预测召回之后的文章结果进行排序 步骤: 1、读取用户特征中心特征 2、读取文章特征中心特征、合并用户文章特征构造预测样本 4、预测并进行排序是原创 2021-07-01 16:42:50 · 445 阅读 · 0 评论 -
离线ctr特征中心更新
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)3.8 离线ctr特征中心更新学习目标目标 了解特征服务中心的作用 应用 无 3.8.1 特征服务中心特征服务中心可以作为离线计算用户与文章的高级特征,充当着重要的角色。可以为程序提供快速的特征处理与特征结果,而且不仅仅提供给离线使用。还可以作为实时的特征供其他场景读取进行原则是:用户,文章能用到的特征都进行处理进...原创 2021-07-01 16:42:59 · 351 阅读 · 0 评论 -
离线排序模型训练
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)3.6 离线排序模型训练学习目标目标 了解文章CTR预估主要作用 知道常见点击率预测的种类和模型 知道常见CTR中特征处理方式 应用 应用spark lr完成模型训练预测评估 3.6.1 离线排序模型-CTR预估 CTR(Click-Through Rate)预估:给定一个Item,预测该Item会被点击的概率 离线的模型训练:原创 2021-07-02 09:35:39 · 505 阅读 · 0 评论 -
推荐缓存服务
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.6 推荐缓存服务学习目标目标 无 应用 无 5.6.1 待推荐结果的redis缓存目的:对待推荐结果进行二级缓存,多级缓存减少数据库读取压力 缓存存储:redis:'reco:{}:{}art' ,对应某个用户,某个频道的缓存结果 步骤: 1、获取redis结果,进行判断 如果redis有,读取需要推荐的文章数量放回,并删除这些原创 2021-07-02 09:34:30 · 288 阅读 · 0 评论 -
召回集读取与推荐中心对接
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.5 召回集读取与推荐中心对接学习目标目标 无 应用 无 5.5.1 召回集读取服务召回读取服务 添加一个召回集的结果读取服务recall_service.py 5.5.2 多路召回结果读取 目的:读取离线和在线存储的召回结果 hbase的存储:cb_recall, als, content, online 步骤:原创 2021-07-02 09:34:39 · 950 阅读 · 1 评论 -
推荐中心逻辑
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.4 推荐中心逻辑学习目标目标 无 应用 无 5.4.1 推荐中心推荐中一般作为整体召回结果读取与排序模型进行排序过程的作用,主要是产生推荐结果的部分。推荐目录server目录为整个推荐中心建立的目录 recall_service.:召回数据读取目录 reco_centor:推荐中心逻辑代码 redis_cache:.原创 2021-07-02 09:34:47 · 365 阅读 · 0 评论 -
ABTest实验中心
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.3 ABTest实验中心学习目标目标 无 应用 无 个性化推荐系统、搜索引擎、广告系统,这些系统都需要在线上不断上线,不断优化,优化之后怎么确定是好是坏。这时就需要ABTest来确定,最近想的办法、优化的算法、优化的逻辑数据是正向的,是有意义的,是提升数据效果的。5.3.1 ABTest有几个重要的功能 一个是ABTest实时分原创 2021-07-02 09:34:51 · 400 阅读 · 0 评论 -
grpc接口对接
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.2 grpc接口对接学习目标目标 无 应用 无 5.2.1 头条推荐接口对接 请求参数: feed流推荐:用户ID,频道ID,推荐文章数量,请求推荐时间戳 相似文章获取:文章ID,推荐文章数量 返回参数: feed流推荐:曝光参数,每篇文章的所有行为参数,上一条时间戳 # 埋点参数参考:#原创 2021-07-02 09:34:58 · 759 阅读 · 1 评论 -
实时推荐业务介绍
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)5.1 实时推荐业务介绍学习目标目标 无 应用 无 5.1.1 实时推荐逻辑 逻辑流程 1、后端发送推荐请求,实时推荐系统拿到请求参数 grpc对接 2、根据用户进行ABTest分流 ABTest实验中心,用于进行分流任务,方便测试调整不同的模型上线 3、推荐中心服务 根据用户在ABTest分配的算.原创 2021-07-02 09:35:02 · 420 阅读 · 0 评论 -
热门与新文章召回
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)4.6 热门与新文章召回学习目标目标 了解热门与新文章召回作用 应用 应用spark streaming完成召回创建 4.6.1 热门文章与新文章热门文章通过对日志数据的处理,来实时增加文章的点击次数等信息 新文章由头条后台审核通过的文章传入kafka redis:10 新文章召回 结构 示例 new_a原创 2021-07-02 09:35:10 · 217 阅读 · 0 评论 -
实时召回集业务
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)4.5 实时召回集业务学习目标目标 实时内容召回的作用 应用 应用spark streaming完成实时召回集的创建 4.5.1 实时召回实现实时召回会用基于画像相似的文章推荐创建online文件夹,建立在线实时处理程序目的:对用户日志进行处理,实时达到求出相似文章,放入用户召回集合中 步骤: 1、配置spark streamin原创 2021-07-02 09:35:14 · 300 阅读 · 0 评论 -
实时计算业务介绍
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)4.1 实时计算业务介绍学习目标目标 了解实时流计算 了解实时计算的业务需求 知道实时计算的作用 应用 无 随着移动设备、物联网设备的持续增长,流式数据呈现了爆发式增长,同时,越来越多的业务场景对数据处理的实时性有了更高的要求,基于离线批量计算的数据处理平台已经无法满足海量数据的实时处理需求,在这个背景下,各种实时流处理平台应运而生。原创 2021-07-04 12:07:07 · 414 阅读 · 0 评论 -
离线用户召回定时更新
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)3.6 离线用户召回定时更新学习目标目标 知道离线内容召回的概念 知道如何进行内容召回计算存储规则 应用 应用spark完成离线用户基于内容的协同过滤推荐 3.6.1 定时更新代码完整代码import osimport sys# 如果当前代码文件运行测试需要加入修改路径,否则后面的导包出现问题BASE_DIR = os.p.原创 2021-07-04 12:07:10 · 291 阅读 · 1 评论 -
离线用户基于内容召回集
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)3.5 离线用户基于内容召回集学习目标目标 知道离线内容召回的概念 知道如何进行内容召回计算存储规则 应用 应用spark完成离线用户基于内容的协同过滤推荐 3.5.1 基于内容召回实现基于Item协同过滤与基于内容协同过滤区别:基于物品的协同过滤: 用户喜欢的东西,然后从剩下的物品中找到和他历史兴趣近似的物品推荐给他,核心是要通过两原创 2021-07-04 12:07:13 · 293 阅读 · 1 评论