人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1

日萌社

人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1

人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part2


C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记

tensorflow 2.0 函数详解

Numpy 相关函数详解

pandas 相关语法详解

PyTorch 相关函数详解

MXNet 相关函数详解

Keras深度学习实战

python 相关语法详解

matplotlib 相关语法详解

高数 相关知识

卷积神经网络

人工智能中 相关的术语概念知识


IoU交并比、目标检测、RCNN、SPPNet、Fast R-CNN、Faster R-CNN、RPN区域提议网络、FPN特征金字塔、yolo、FCN基于全卷积的语义分割、反卷积、Mask RCNN

神经网络:正则化 范数 Droupout BN 方差 偏差 距离 损失 梯度 指标 学习率 超参数 归一化 标准化 激活 过拟合抑制 数据增强 标签平滑

Tensorflow 基础、迁移学习 微调、自定义 模型/层/损失/评估指标、保存 加载模型、Checkpoint TensorBoard data模块、@tf.function

SVM支持向量机、线性回归、逻辑回归、K-近邻算法KNN、KD树、决策树、集成学习 Bagging 随机森林、集成学习 Boosting AdaBoost GBDT、k-means聚类算法


python面试题 part1

python面试题 part2

正态分布(高斯分布)、均匀分布

TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制

科学记数法中的e

在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同

获取Tensor类型变量的值

用于回归问题的模型评价:MSE、RMSE、MAE、R-Squared

非极大值抑制NMS(Non Maximum Suppression)

池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint

ImageDataGenerator.flow_from_directory(...)

手势识别:使用EfficientNet模型迁移、VGG16模型迁移

OpenCV:python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛

googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导

神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法

反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用

ResNet结构并分析其在计算机视觉方面取得成功的原因

python:求按从小到大的顺序的第N个丑数

BATCH_SIZE大小设置对训练耗时的影响

预训练模型需要加载的权重文件

神经网络模型可视化工具Netron


使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络

数据结构与算法(java/python/C实现):时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈

机器翻译 MXNet(使用含注意力机制的编码器—解码器)

10分钟快速入门 PyTorch – RNN

spark-scala调用tensorflow2.0训练好的模型


CV 

CNN:RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN

计算机视觉面试题

计算机视觉CV:图像处理面试题

面试题:计算机视觉图像处理CV、人脸识别

面试题:计算机视觉图像处理CV

CV面试题:目标检测、目标分割

CV面试题

计算机视觉

最近邻分类器、L1与L2距离

人工神经网络(ANN/NN)、感知机(PLA)

损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy

前向传播、反向传播(后向传播)、梯度下降、导数、链式法则

浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数

局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)

动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化

偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强

卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层

LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet

深度学习框架 TensorFlow:张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)

Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用

Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric

callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator

Tensorflow执行模式:Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session

TensorFlow分布式训练:单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy

垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence

垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减

tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优

目标检测

目标检测:R-CNN

目标检测:SPPNet

目标检测:Fast R-CNN

目标检测:Faster R-CNN、Faster RCNN接口

目标检测:YOLO V1、YOLO V2、YOLO V3 算法

目标检测:SSD 算法

KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习

目标分割

目标分割:FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction

目标分割:SegNet、U-Net

目标分割:DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF

计算IoU:计算交并比

目标分割:Mask RCNN

目标分割:Mask RCNN 气球分割案例 part1

目标分割:Mask RCNN 气球分割案例 part2

目标追踪:FCNT、GOTURN、SiamFC

OpenCV简介

OpenCV:图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并

OpenCV 算数操作:图像的加法、图像的混合

OpenCV 图像处理:几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔

OpenCV 图像处理:形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽

OpenCV 图像平滑:椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波

OpenCV:模版匹配、霍夫变换、霍夫线检测、霍夫圆检测

OPenCV:傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器

OpenCV:轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征

OpenCV:图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法

OpenCV:直方图、灰度直方图、掩膜、直方图均衡化

OpenCV:边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测

OpenCV 图像特征提取:角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法

OpenCV:LBP和HOG特征算子

OpenCV:视频读写、从文件中读取视频并播放、保存视频

OpenCV:视频追踪、meanshift算法、Camshift算法

OpenCV:人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器

numba:编译Python数组和数值计算函数的编译器

imutils

OpenCV中DNN模块、DNN模块的常用API

自动驾驶:车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计

车流量检测实现:多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算

多目标追踪:DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF

计算交并比IOU、候选框不同表示方式之间的转换

卡尔曼滤波器

卡尔曼滤波器实践

目标估计模型-卡尔曼滤波

匈牙利算法

数据关联:利用匈牙利算法对目标框和检测框进行关联

SORT、DeepSORT

多目标追踪

yoloV3模型

基于yoloV3的目标检测

叉乘:基于虚拟线圈法的车流量统计

视频中的车流量统计

车道线检测

相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot

相机校正和图像校正:图像去畸变

车道线提取:Sobel边缘提取算法

透视变换

车道线定位及拟合:直方图确定车道线位置

车道曲率和中心点偏离距离计算

在视频中检测车道线

单目标跟踪SiamMask:特定目标车辆追踪 part1

单目标跟踪SiamMask:特定目标车辆追踪 part2

单目标跟踪 Siamese系列网络:SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask

单目标跟踪:跟踪效果

单目标跟踪:数据集处理

单目标跟踪:模型搭建

单目标跟踪:模型训练

单目标跟踪:模型测试

人脸识别功能实现的原理介绍与算法介绍

人脸识别:人脸数据集

Adaboost 人脸检测:Haar特征及积分图、分类器的级联

关键点提取:face_recognition、疲劳检测、人脸校准、人脸数据库

调用摄像头使用face_recognition 或 opencv中haar人脸特征实时检测识别人脸、给人脸打马赛克/给人脸贴图

Adaboost 人脸检测

face_recognition、opencv中haar人脸特征:视频/图片 进行 人脸检测/人脸识别

使用face_recognition:摄像头实时给人脸打马赛克、疲劳检测、活体检测(张嘴检测)、计算两张人脸之间的相似度、人脸校准

口罩检测:人工自动生成戴口罩数据集、检测人脸是否戴口罩

Dlib:训练Dlib识别人脸器官部位上的特征点

活体检测:keras

表情检测:pyimage

性别检测识别、年龄检测识别


NLP

NLP面试题

面试代码题

面试题

深度学习的介绍

神经网络的介绍

PyTorch 安装 GPU版本(CUDA/cuDNN)

Pytorch 张量

Pytorch 自动求导、梯度下降和反向传播

Pytorch 线性回归

Pytorch 基础模型:nn.Module、nn.Sequential、优化器类、常见的损失函数

优化算法:梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练:Dropout、Batch Normalization

Pytorch 数据加载:Dataset、DataLoader、自带数据集(MNIST数据集)

Pytorch 实现手写数字识别

Pytorch:jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext

Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)

Pytorch:使用 Embedding 嵌入层 进行 新闻主题分类任务

Pytorch:RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸

注意力机制、bmm运算

Pytorch:嵌入层Embedding、EmbeddingBag

Pytorch:pytorch中的多种训练模型写法

Pytorch:RNN、LSTM、GRU

Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d

Pytorch:模型保存与加载方式

Pytorch:RNN、LSTM、GRU 构建人名分类器(one-hot版本、Embedding嵌入层版本)

Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

Embedding词嵌入层的原理

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch:使用Transformer构建语言模型

Pytorch:transpose、view、t()、contiguous()

Pytorch:model.train、model.eval、with torch.no_grad

fasttext:文本分类、训练词向量、词向量迁移

torch.hub.load自动下载预训练模型文件用以加载预训练模型

bert-base-uncased-pytorch_model.bin

微调脚本文件 transformers:transformers-cli login、transformers-cli upload

Pytorch:NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件

莎士比亚风格的文本生成任务

BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

BahdanauAttention注意力机制、LuongAttention注意力机制

tf.keras.losses.SparseCategoricalCrossentropy

python命令执行run_glue.py模型微调文件进行微调模型

tf.random.categorical、温度参数temperature

TensorFlow 2.0 推荐的训练方式写法

run_glue.py微调脚本代码

应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化

保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态

ResNet模型在GPU上的并行实践

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

IMDB影评的情感分析任务:双层bi-LSTM模型(双向LSTM)

智能对话系统:Unit对话API

在线聊天的总体架构与工具介绍:Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库

supervisor 安装

linux 安装 neo4j

neo4j图数据库:Cypher

neo4j图数据库:结构化数据流水线、非结构化数据流水线

命名实体审核任务:BERT中文预训练模型

命名实体审核任务:构建RNN模型

命名实体审核任务:模型训练

命名实体识别任务:BiLSTM+CRF part1

命名实体识别任务:BiLSTM+CRF part2

命名实体识别任务:BiLSTM+CRF part3

在线部分:werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型(目的:比较两句话text1和text2之间是否有关联)、模型在Flask部署

系统联调测试与部署

离线部分+在线部分:命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask

Softmax反向传播推导、Bert的模型架构 

简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化

如何设计一个猜你喜欢的推荐系统

fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化

在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文


Encoder编码器-Decoder解码器框架 + Attention注意力机制

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

BahdanauAttention注意力机制、LuongAttention注意力机制

BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

注意力机制、bmm运算

注意力机制 SENet、CBAM

机器翻译 MXNet(使用含注意力机制的编码器—解码器,即 Encoder编码器-Decoder解码器框架 + Attention注意力机制)

基于Seq2Seq的中文聊天机器人编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制)

基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)

注意:这一文章“基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)”
	该文章实现的Transformer的Model类型模型,实际是改造过的特别版的Transformer,因为Transformer的Model类型模型中只实现了Encoder编码器,
	而没有对应实现的Decoder解码器,并且因为当前Transformer的Model类型模型处理的是分类任务,
	所以我们此处只用了Encoder编码器来提取特征,最后通过全连接层网络来拟合分类。

机器学习(Sklearn) 

面试题:机器学习

Numpy

人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介

Azure机器学习实验

Pandas 读写excel、读写数据库MySQL

Pandas

Matplotlib

95%置信区间

seaborn

KNN:K-近邻算法

特征工程-特征预处理:归一化、标准化

距离度量:欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离

数学:求导/常见函数的导数/矩阵(向量)求导

数据分割:留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法

最小二乘法作为损失函数然后与均方误差(MSE)之间的区别

正规方程

梯度下降:全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。

对称矩阵、方阵、逆矩阵、协方差矩阵

正则化线性模型:岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping

多项式回归

维灾难、欠拟合、过拟合、L1正则化、L2正则化

L1正则化、L2正则化、向量与矩阵的范数

分类中解决类别不平衡问题:imbalanced-learn、过采样、欠采样

无偏估计

线性回归

分类评估方法:精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。

逻辑回归

特征工程-特征提取:字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取

决策树算法(一)

决策树算法(二)

决策树算法(三)

决策树算法(四)

集成学习:Bagging、随机森林、Boosting、GBDT

聚类算法

朴素贝叶斯

SVM支持向量机

EM算法

Huber Loss

HMM模型:马尔可夫链、隐马尔可夫模型

拉格朗日乘子法

极大似然函数取对数的原因

集成学习:XGBoost

集成学习:lightGBM(一)

集成学习:lightGBM(二)

Sklearn:天池新人实战赛o2o优惠券使用预测 part1

Sklearn:天池新人实战赛o2o优惠券使用预测 part2

Sklearn:天池新人实战赛o2o优惠券使用预测 part3

Sklearn:房租租⾦模型预测 版本一

Sklearn:房租租⾦模型预测 版本二 

模型融合stacking


个性化推荐系统

推荐系统:推荐系统架构设计

推荐算法:协同过滤推荐算法、相似度计算

基于协同过滤的电影推荐

推荐系统评估

推荐系统的冷启动问题

基于回归模型的协同过滤推荐

基于矩阵分解的协同过滤算法

基于矩阵分解的协同过滤算法实现:FunkSVD(LFM)

基于矩阵分解的协同过滤算法实现:BiasSvd

基于内容的推荐算法

基于TF-IDF的特征提取技术:基于内容的电影推荐(物品画像、用户画像、为用户产生TOP-N推荐结果)

个性化电商广告推荐系统介绍

根据用户行为数据创建ALS模型并召回商品

CTR预估数据准备

逻辑回归(LR)实现CTR预估

离线推荐数据缓存

实时产生推荐结果

推荐系统业务架构

数据库迁移

用户行为收集到HIVE

离线业务介绍

离线文章画像计算

离线增量文章画像计算

Apscheduler定时更新文章画像

Word2Vec与文章相似度

文章相似度增量更新

用户画像计算更新

用户行为数据处理与画像计算

离线召回与排序介绍

召回表设计与模型召回、 离线用户基于模型召回集

离线用户基于内容召回集

离线用户召回定时更新

实时计算业务介绍

实时日志分析

实时召回集业务

热门与新文章召回

Spark性能优化

实时推荐业务介绍

grpc接口对接

ABTest实验中心

推荐中心逻辑

召回集读取与推荐中心对接

推荐缓存服务

离线排序模型训练

离线ctr特征中心更新

排序模型在线预测

推荐系统与深度学习关联

词向量-word2vec

DNN文本多分类

TFRecords与训练数据存储

传统CTR排序模型

分桶与特征交叉

排序模型进阶-FM&FTRL

深度学习CTR排序模型

排序模型进阶-Wide&Deep

WDL模型导出

排序模型在线测试

泛娱乐推荐系统

召回模块:Web接口业务流介绍

召回模块:构建双画像(用户画像和物品画像)

召回模块:多召回策略

召回模块:召回金字塔

召回模块:规则过滤器

召回模块:用户推荐逻辑完善

排序模块:模型选择与原理

排序模块:泛娱乐特征工程与模型代码构建


Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE

Hive

HBase

Spark:Spark SQL、Spark Streaming

Flume

Kafka


深度学习应用简介

TF数据流图

图与TensorBoard

会话、张量、变量OP

案例:实现线性回归

TFAPI使用2.0建议

tf.estimator使用入门

神经网络基础

深度学习应用简介

图与TensorBoard

会话、张量、变量OP

案例:实现线性回归

TFAPI使用2.0建议

tf.estimator使用入门

神经网络基础

神经网络多分类原理与反向传播原理

神经网络分类

TensorFlow Serving模型部署


大数据

Cloudera Manager安装(只需要在NODE1主节点执行上述操作便会自动分配部署到各节点)

CDH 6.2.0 安装(先安装CM 6.2.0,再安装CDH 6.2.0)

配置 CentOS 7:安装 CDH 之前,必须进行以下配置

CDH5(CDH 5.16.1)安装

CDH 6 安装

CDH 6 的使用(hadoop ha、yarn ha)

CDH优化

CDH 安装 sqoop1

CDH的 hive on spark(spark on yarn)

非CDH的 hive on spark(spark on yarn)

CDH的 hive 整合 hbase

CDH的 Phoenix、hbase操作

非CDH的 hive 整合 hbase、Phoenix

大数据组件安装(非CDH) 总文章

大数据组件使用 总文章

CDH 安装 Flume、Kafka、Kudu

CDH安装某个大数据组件的parcel安装包(例子:CDH安装impala的parcel安装包)

集群、分布式

数据仓库设计

网站/APP 流量分析、用户访问分析

网站/APP 流量分析、点击流分析、用户访问分析

window 安装和配置 hadoop

Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE

Permission denied:System.setProperty("HADOOP_USER_NAME", "用户名")

hadoop客户端代码

hadoop 安装(非CDH)

Hadoop底层原理、Hadoop配置、Hadoop命令 和 Hadoop API 的基本使用、Hadoop案例代码

Hadoop底层原理图

MR程序运行的三种方式:window本地运行、windwo推送程序到linux集群运行、linux集群运行

mapreduce 实时消费 kafka 数据

mapreduce 倒排索引

集群中运行MR程序/spark程序时,引用不到/找不到集群中的jar包

Hadoop HA 集群搭建(非CDH版本)

mapreduce 数据去重

mapreduce Top N

Hive

Hive实现update和delete

map、flatMap(流的扁平化)、split 的区别

overwrite 的使用区别

row_number() OVER(PARTITION BY)

DATEDIFF、to_date

case when 条件判断函数 和 row_number 排序函数

Hive的安装和部署(非CDH)

Hive 开窗函数

Hive 的使用和配置、底层原理(第一部分)

Hive 的使用和配置、底层原理(第二部分)

HBase

Spark:Spark SQL、Spark Streaming

Spark Streaming 整合 Flume(Spark读取Flume)

Spark 实时处理 总文章

Spark Streaming 开窗函数 reduceByKeyAndWindow

Spark Streaming 整合 Kafka(Spark读取Kafka)

Spark(SparkSql) 写数据到 MySQL中(Spark读取TCP socket/文件)

spark读取kudu表导出数据为parquet文件(spark kudu parquet)

spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

spark程序打包为jar包,并且导出所有第三方依赖的jar包

Storm 原理、API

Kudu 创建主键

Kudu 原理、API使用、代码

Kudu Java API 条件查询

kudu 导入/导出 数据

Kudu 分页查询的两种方式

zookeeper 集群搭建、原理

Impala

Impala 操作/读写 Kudu,使用druid连接池

CDH 中 kafka 的使用注意

Kafka Eagle 安装和配置

kafka 生产/消费API、offset管理/原理、kafka命令

Kafka 安装、原理、使用

kafka 安装(非CDH)

kafka 命令、API

flume 的安装和部署(非CDH)

Flume的使用和配置、底层原理

非CDH 安装 Sqoop

Sqoop 的导入、导出 使用方法

phoenix 执行sql脚本

phoenix客户端

CDH的 hue 整合 oozie

oozie + hue 执行 SQL脚本、SQL 脚本中传入参数 ${partdt} 的使用

Azkaban(工作流调度器)

dbvisualizer

网站埋点+网站日志自定义采集系统+nginx的相关安装

搜索引擎:Elasticsearch、Solr、Lucene

ELK中的ES:Elasticsearch

Lucene 得分算法

Lucene 原理、API使用

Solr 原理、API 使用

Solr的安装与配置

Spring Data Solr 使用

Solr 高亮显示

SolrCloud 的搭建、使用


window、ubuntu双系统的引导界面消失了/选择切换双系统的界面消失了的最快速解决办法

maven scala项目打包

CDH/CM:创建集群多节点,通过 VMware 安装 Centos 7 虚拟机 CentOS Linux release 7.6.1810

原生 hadoop安装

Flink报错:does not exist or the user running Flink (‘root‘) has insufficient permissions to access it

Flink报错:NoSuchMethodError: scala.Predef$.refArrayOps

Flink集群安装:Flink的scala程序打包和部署运行

配置 prometheus、pushgateway 监控 Flink metrics指标

prometheus + pushgateway + grafana 监控 Flink

 


用户画像

用户画像 各维度表的结构图

用户画像 客户基本属性表

用户画像 客户消费模型表

用户画像 客户喜好消费的商品分类模型表

用户画像 用户访问模型表

用户画像 用户画像表

用户画像 总文章


安装

安装双系统:win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动

ubuntu安装NVIDIA显卡驱动

Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8

TensorFlow2、CUDA10、cuDNN7.6.5

Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5

win10 安装 子系统ubuntu18.04

Anaconda 创建虚拟环境、删除/查看虚拟环境

ubuntu安装anaconda python3.7版本

TensorFlow 2.0 环境搭建

window下安装 Keras、TensorFlow(先安装CUDA、cuDNN,再安装Keras、TensorFlow)

window下安装MXNet

MXNet安装

window 安装 PyTorch

PyTorch安装

百度飞浆paddlepaddle下载安装

强化学习平台安装 Mujoco、mujoco-py、gym、baseline

linux Centos 安装 Tensorflow GPU版本 安装教程

pycocotools 安装

whl、tar.bz2 安装方式

ubuntu 18 安装 pychar

安装 CentOS 7

window下 安装 anaconda(python 3.6 / python 3.7)

安装 ubuntu 16/18

Docker 安装与部署

ubuntu 卸载 python3

ubuntu 18 安装后 必须安装vmware tools 和配置 ifconfig、ssh

ubuntu 18 安装 jdk1.8

ubuntu 18 安装 anaconda python 3.7


数据库

MySQL part1

MySQL part2

MySQL part3

mysql 安装、sql语法

mysql 安装配置使用、sql语法

MySQL 5.7.24 安装、my.cnf配置文件

MySQL主键、创建索引、UNION 和 UNION ALL

MyCAT 安装和配置

mysql 事务、索引、锁、分区/分表、sql优化、查询优化

一条sql语句完成MySQL去重留一

Redis part1

Redis part2

Redis part3

window 安装 redis

Redis集群 安装、命令、API

Redis 集群搭建、Spring Data Redis使用

redis 集群搭建

Redis 集群搭建、Spring Data Redis使用

java Jedis api:redis集群api JedisCluster、redis连接池api JedisPool

redis报错信息:CLUSTERDOWN Hash slot not served 和 Not all 16384 slots are covered by nodes

neo4j图数据库:Cypher

mongodb:安装cmake、mongodb、mongodb的C驱动、C++驱动

linux 安装 Redis

linux 安装 neo4j


报错解决

ValueError: Object arrays cannot be loaded when allow_pickle=False

报错 ValueError: setting an array element with a sequence.

报错AttributeError: 'Tensor' object has no attribute 'numpy'

报错:ValueError: Duplicate plugins for name projector

报错:No registered 'swish_f32' OpKernel for GPU devices compatible with node

报错:tensorflow.python.eager.core._FallbackException

报错:Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`

报错:报错文件路径 \Anaconda3\lib\multiprocessing\...

报错:ResourceExhaustedError OOM when allocating

报错:AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'

报错:RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'

报错:RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead

RuntimeError: exp_vml_cpu not implemented for 'Long'

RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long

Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead

报错:TypeError: unexpected keyword argument 'autotuneValidationFile'

linux执行脚本文件 /usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory

AttributeError: module 'torch' has no attribute 'quantization'

ModuleNotFoundError: No module named “pip”

报错 error: (-215:Assertion failed) !_src.empty() in function cv::cvtColor

AttributeError: DataFrame object has no attribute dtype

DataConversionWarning: Data was converted to boolean for metric jaccard。warnings.warn(msg, DataConve

 Warning警告到底要不要解决、Warning警告潜在的问题

UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no


Java

逆向工程

Eclipse 做jar包

Eclipse 相关配置

Eclipse 创建Maven工程

虚拟机 克隆:完整克隆 模式

解决IDEA中的maven始终无法加载并下载完整的jar包

nginx安装、nginx反向代理/负载均衡、Lua、LuaJIT、openresty、lua-nginx-module、ngx_devel_kit 的安装

nginx 自动解压gzip压缩数据的两种方式:nginx自动解压、后台java程序解压

nginx 把 POST请求数据 写入到 日志文件中

nginx+keepalived:局域网内网和公网外网 搭建nginx HA 双机热备 高可用

nginx 配置获取GET请求参数、POST请求参数、nginx配置开启跨域访问、nginx+keepalived配置主备切换/双机热备、nginx优化配置

Java 线程池 newCachedThreadPool缓存线程池、newFixedThreadPool固定线程池

java 多线程 实时监控日志文件并实时读取新数据

java ScheduledExecutorService、Timer 多线程与定时任务的结合使用

使用Maven发布项目到远程的Tomcat中

tomcat 默认端口修改

Tomcat报错:Invalid character found in method name. HTTP method names must be tokens

Java 多进程、多线程、多线程中的共享变量的安全问题、同步锁、线程同步、ThreadLocal

java 压缩、解压缩时报错 Unexpected end of ZLIB input stream

java gzip压缩/ungzip解压缩、base64 encode编码/decode编码、URLEncode.encode编码/URLDecoder.decode编码

spring boot 项目搭建、并使用Logger日志记录

搭建tomcat中运行的java项目、并使用Logger日志记录

spring boot 启动命令行传参

java 判断时间范围

java IP转换为国家省份城市 

try catch finally 中有 return语句时的执行顺序

 java 判断两个日期时间/两个时间戳之间相隔多少天,也可用于获取从1970年以来到某个时间之间相隔多少天

运行java程序(jar)指定内存大小

把java项目打包为jar包、war包

 

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

あずにゃん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值