日萌社
人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1
人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part2
C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记
IoU交并比、目标检测、RCNN、SPPNet、Fast R-CNN、Faster R-CNN、RPN区域提议网络、FPN特征金字塔、yolo、FCN基于全卷积的语义分割、反卷积、Mask RCNN
神经网络:正则化 范数 Droupout BN 方差 偏差 距离 损失 梯度 指标 学习率 超参数 归一化 标准化 激活 过拟合抑制 数据增强 标签平滑
Tensorflow 基础、迁移学习 微调、自定义 模型/层/损失/评估指标、保存 加载模型、Checkpoint TensorBoard data模块、@tf.function
SVM支持向量机、线性回归、逻辑回归、K-近邻算法KNN、KD树、决策树、集成学习 Bagging 随机森林、集成学习 Boosting AdaBoost GBDT、k-means聚类算法
TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制
在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同
用于回归问题的模型评价:MSE、RMSE、MAE、R-Squared
非极大值抑制NMS(Non Maximum Suppression)
池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint
ImageDataGenerator.flow_from_directory(...)
手势识别:使用EfficientNet模型迁移、VGG16模型迁移
OpenCV:python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛
googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导
神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法
反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用
使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络
数据结构与算法(java/python/C实现):时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈
spark-scala调用tensorflow2.0训练好的模型
CV
CNN:RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN
损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy
浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数
局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)
动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化
偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强
卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层
LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet
深度学习框架 TensorFlow:张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用
Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric
callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator
Tensorflow执行模式:Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session
TensorFlow分布式训练:单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy
垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence
垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
目标检测:Faster R-CNN、Faster RCNN接口
目标检测:YOLO V1、YOLO V2、YOLO V3 算法
KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习
目标分割:FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction
目标分割:DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF
OpenCV:图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并
OpenCV 图像处理:几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔
OpenCV 图像处理:形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽
OpenCV 图像平滑:椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波
OPenCV:傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器
OpenCV:轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征
OpenCV:图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法
OpenCV:边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测
OpenCV 图像特征提取:角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法
OpenCV:视频追踪、meanshift算法、Camshift算法
OpenCV:人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器
自动驾驶:车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计
车流量检测实现:多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算
多目标追踪:DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF
相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot
单目标跟踪 Siamese系列网络:SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask
Adaboost 人脸检测:Haar特征及积分图、分类器的级联
关键点提取:face_recognition、疲劳检测、人脸校准、人脸数据库
调用摄像头使用face_recognition 或 opencv中haar人脸特征实时检测识别人脸、给人脸打马赛克/给人脸贴图
face_recognition、opencv中haar人脸特征:视频/图片 进行 人脸检测/人脸识别
使用face_recognition:摄像头实时给人脸打马赛克、疲劳检测、活体检测(张嘴检测)、计算两张人脸之间的相似度、人脸校准
NLP
Pytorch 基础模型:nn.Module、nn.Sequential、优化器类、常见的损失函数
优化算法:梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练:Dropout、Batch Normalization
Pytorch 数据加载:Dataset、DataLoader、自带数据集(MNIST数据集)
Pytorch:jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)
Pytorch:使用 Embedding 嵌入层 进行 新闻主题分类任务
Pytorch:RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸
Pytorch:嵌入层Embedding、EmbeddingBag
Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d
Pytorch:RNN、LSTM、GRU 构建人名分类器(one-hot版本、Embedding嵌入层版本)
Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch:transpose、view、t()、contiguous()
Pytorch:model.train、model.eval、with torch.no_grad
torch.hub.load自动下载预训练模型文件用以加载预训练模型
bert-base-uncased-pytorch_model.bin
微调脚本文件 transformers:transformers-cli login、transformers-cli upload
Pytorch:NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件
BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
BahdanauAttention注意力机制、LuongAttention注意力机制
tf.keras.losses.SparseCategoricalCrossentropy
python命令执行run_glue.py模型微调文件进行微调模型
tf.random.categorical、温度参数temperature
应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化
保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
IMDB影评的情感分析任务:双层bi-LSTM模型(双向LSTM)
在线聊天的总体架构与工具介绍:Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库
在线部分:werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型(目的:比较两句话text1和text2之间是否有关联)、模型在Flask部署
离线部分+在线部分:命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask
简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化
fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化
在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文
Encoder编码器-Decoder解码器框架 + Attention注意力机制
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
BahdanauAttention注意力机制、LuongAttention注意力机制
BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
机器翻译 MXNet(使用含注意力机制的编码器—解码器,即 Encoder编码器-Decoder解码器框架 + Attention注意力机制)
基于Seq2Seq的中文聊天机器人编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制)
基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)
注意:这一文章“基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)”
该文章实现的Transformer的Model类型模型,实际是改造过的特别版的Transformer,因为Transformer的Model类型模型中只实现了Encoder编码器,
而没有对应实现的Decoder解码器,并且因为当前Transformer的Model类型模型处理的是分类任务,
所以我们此处只用了Encoder编码器来提取特征,最后通过全连接层网络来拟合分类。
机器学习(Sklearn)
人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介
距离度量:欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离
数据分割:留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法
梯度下降:全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
正则化线性模型:岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping
分类中解决类别不平衡问题:imbalanced-learn、过采样、欠采样
分类评估方法:精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。
特征工程-特征提取:字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取
集成学习:Bagging、随机森林、Boosting、GBDT
Sklearn:天池新人实战赛o2o优惠券使用预测 part1
Sklearn:天池新人实战赛o2o优惠券使用预测 part2
Sklearn:天池新人实战赛o2o优惠券使用预测 part3
个性化推荐系统
基于TF-IDF的特征提取技术:基于内容的电影推荐(物品画像、用户画像、为用户产生TOP-N推荐结果)
Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE
Spark:Spark SQL、Spark Streaming
大数据
Cloudera Manager安装(只需要在NODE1主节点执行上述操作便会自动分配部署到各节点)
CDH 6.2.0 安装(先安装CM 6.2.0,再安装CDH 6.2.0)
配置 CentOS 7:安装 CDH 之前,必须进行以下配置
CDH的 hive on spark(spark on yarn)
非CDH的 hive on spark(spark on yarn)
CDH安装某个大数据组件的parcel安装包(例子:CDH安装impala的parcel安装包)
Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE
Permission denied:System.setProperty("HADOOP_USER_NAME", "用户名")
Hadoop底层原理、Hadoop配置、Hadoop命令 和 Hadoop API 的基本使用、Hadoop案例代码
MR程序运行的三种方式:window本地运行、windwo推送程序到linux集群运行、linux集群运行
集群中运行MR程序/spark程序时,引用不到/找不到集群中的jar包
row_number() OVER(PARTITION BY)
case when 条件判断函数 和 row_number 排序函数
Spark:Spark SQL、Spark Streaming
Spark Streaming 整合 Flume(Spark读取Flume)
Spark Streaming 开窗函数 reduceByKeyAndWindow
Spark Streaming 整合 Kafka(Spark读取Kafka)
Spark(SparkSql) 写数据到 MySQL中(Spark读取TCP socket/文件)
spark读取kudu表导出数据为parquet文件(spark kudu parquet)
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
spark程序打包为jar包,并且导出所有第三方依赖的jar包
kafka 生产/消费API、offset管理/原理、kafka命令
oozie + hue 执行 SQL脚本、SQL 脚本中传入参数 ${partdt} 的使用
搜索引擎:Elasticsearch、Solr、Lucene
window、ubuntu双系统的引导界面消失了/选择切换双系统的界面消失了的最快速解决办法
CDH/CM:创建集群多节点,通过 VMware 安装 Centos 7 虚拟机 CentOS Linux release 7.6.1810
Flink报错:does not exist or the user running Flink (‘root‘) has insufficient permissions to access it
Flink报错:NoSuchMethodError: scala.Predef$.refArrayOps
Flink集群安装:Flink的scala程序打包和部署运行
配置 prometheus、pushgateway 监控 Flink metrics指标
prometheus + pushgateway + grafana 监控 Flink
用户画像
安装
安装双系统:win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动
Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8
Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5
window下安装 Keras、TensorFlow(先安装CUDA、cuDNN,再安装Keras、TensorFlow)
强化学习平台安装 Mujoco、mujoco-py、gym、baseline
linux Centos 安装 Tensorflow GPU版本 安装教程
window下 安装 anaconda(python 3.6 / python 3.7)
ubuntu 18 安装后 必须安装vmware tools 和配置 ifconfig、ssh
ubuntu 18 安装 anaconda python 3.7
数据库
MySQL主键、创建索引、UNION 和 UNION ALL
mysql 事务、索引、锁、分区/分表、sql优化、查询优化
Redis 集群搭建、Spring Data Redis使用
Redis 集群搭建、Spring Data Redis使用
java Jedis api:redis集群api JedisCluster、redis连接池api JedisPool
redis报错信息:CLUSTERDOWN Hash slot not served 和 Not all 16384 slots are covered by nodes
mongodb:安装cmake、mongodb、mongodb的C驱动、C++驱动
报错解决
ValueError: Object arrays cannot be loaded when allow_pickle=False
报错 ValueError: setting an array element with a sequence.
报错AttributeError: 'Tensor' object has no attribute 'numpy'
报错:ValueError: Duplicate plugins for name projector
报错:No registered 'swish_f32' OpKernel for GPU devices compatible with node
报错:tensorflow.python.eager.core._FallbackException
报错:Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`
报错:报错文件路径 \Anaconda3\lib\multiprocessing\...
报错:ResourceExhaustedError OOM when allocating
报错:AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'
报错:RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'
报错:RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
RuntimeError: exp_vml_cpu not implemented for 'Long'
RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long
Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead
报错:TypeError: unexpected keyword argument 'autotuneValidationFile'
linux执行脚本文件 /usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory
AttributeError: module 'torch' has no attribute 'quantization'
ModuleNotFoundError: No module named “pip”
报错 error: (-215:Assertion failed) !_src.empty() in function cv::cvtColor
AttributeError: DataFrame object has no attribute dtype
DataConversionWarning: Data was converted to boolean for metric jaccard。warnings.warn(msg, DataConve
Warning警告到底要不要解决、Warning警告潜在的问题
UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no
Java
nginx安装、nginx反向代理/负载均衡、Lua、LuaJIT、openresty、lua-nginx-module、ngx_devel_kit 的安装
nginx 自动解压gzip压缩数据的两种方式:nginx自动解压、后台java程序解压
nginx+keepalived:局域网内网和公网外网 搭建nginx HA 双机热备 高可用
nginx 配置获取GET请求参数、POST请求参数、nginx配置开启跨域访问、nginx+keepalived配置主备切换/双机热备、nginx优化配置
Java 线程池 newCachedThreadPool缓存线程池、newFixedThreadPool固定线程池
java ScheduledExecutorService、Timer 多线程与定时任务的结合使用
Tomcat报错:Invalid character found in method name. HTTP method names must be tokens
Java 多进程、多线程、多线程中的共享变量的安全问题、同步锁、线程同步、ThreadLocal
java 压缩、解压缩时报错 Unexpected end of ZLIB input stream
java gzip压缩/ungzip解压缩、base64 encode编码/decode编码、URLEncode.encode编码/URLDecoder.decode编码
spring boot 项目搭建、并使用Logger日志记录
搭建tomcat中运行的java项目、并使用Logger日志记录
try catch finally 中有 return语句时的执行顺序
java 判断两个日期时间/两个时间戳之间相隔多少天,也可用于获取从1970年以来到某个时间之间相隔多少天