zhuiyunzhugang的博客

原创 hogwild! 的pyton实现代码

import tqdmimport torchimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Fimport torch.multiprocessing as mpimport torchvision.transforms as transformsfrom torch.ut...

原创 分布式深度学习three

对tensorflow的dataflow进行了了解，节点：代表各类操作（operation),具体包括数学运算、数据填充、结果输出和变量读写等。有向边：描述节点间的输入、输出关系，而张量（Tensor）则在边上流动。Tensoflow中的数据流图是有向图，不能连成为环。Tensorflow实现的dataflow的过程是：Client设定计算图，通过session发送给master。Master对图进行执行的过程。这个设计用dataflow替代了具体执行指令，当有新的想法时，可以高效的完成。不必修改大

翻译 DeepFlow: Deep Learning-Based Malware Detection by Mining Android Application for Abnormal Usage 2

B.恶意和良性的应用程序我们对3000个良性应用程序和8000个恶意应用程序进行特征提取，其中良性应用程序是从谷歌播放商店，涵盖了最受欢迎的应用程序在各种类别，后者包括来自恶意软件家族Android恶意软件基因组计划[21]和VirusShare[17]濁因为我们假设谷歌Play Store中流行的应用程序是合法的，所以我们认为从这些良性应用程序中提取的流构成了敏感数据的“正常”使用。相反，从恶意应用中提取的数据流揭示了敏感数据的“异常”使用。我们的研究结合了良性和恶意应用程序的数据流分析，不仅

翻译 DeepFlow: Deep Learning-Based Malware Detection by Mining Android Application

题目：DeepFlow: Deep Learning-Based Malware Detection by Mining Android Application for Abnormal Usage of Sensitive Data单位：中国科技大学摘要：Android的开放性允许应用程序开发人员充分利用系统。虽然这种灵活性给开发人员和用户带来了好处，但也可能带来与恶意应用程序相关的重大问题。传统的基于签名或异常行为的恶意软件检测方法在处理新型恶意软件时是无效的。为了解决这个问题，机器学习

原创 pytorch基础和安装

pytorch安装01演示系统环境 Windows10 Pytorch1.4 CUDA10.0 VS2015 Python3.6.5 CPU版本install pytorch torchvision cpuonly -c pytorchGPU版本install pytorch torchvision cudatoolkit=10.0 -c pytorch测试安装是否正常, CUDA支持正常...

原创 关于辽大信息学院选导师的一点儿心得

首先，看到这个博文的时候。你可能已经上岸了。欢迎进入一所211综合院校。信息学院成立源远流长。涉及科类比较多，从电工电子到软件，以及生物学。学院的哲理楼也是孕育了一大批辽大优秀的学子。其他的不扯了，谈选导师的事情。首先，学院任何一位老师都有自己的特长，且拥有强大的科研能力。如果你暂时没发现自己有啥特长。可以随便选一个导师就行啦。每位导师都能把你培养成材。如果你有自己感兴趣的点，你可以根据导师的方向进行选择。（这是个双选的过程，有可能很多人都喜欢这个方向。最后决定是靠导师决定的）。部分导师选人

原创 分布式机器学习模型并行的理解two

针对于模型并行，我的理解是可以把神经网络的模型拆开，每一层放到一个worker中。例如模型有三层。可以放到3个worker中。worker1、worker2、worker3。前向传播。worker1计算完成的输出是worker2的输入。worker2和worker3同理。self.net1 = torch.nn.Linear(10, 10).to('cuda:0') # 将net1放置在第1个GPU上 self.relu = torch.nn.ReLU() self.net...

原创 分布式深度学习系统one

精读了2012年的一篇《Large Scale Distributed Deep Networks》中了解到。分布式深度学习主要是对梯度的计算进行分布。目的为了处理数据量大，内存或硬盘开销大的任务或者为了提高训练效率，节省时间。目前的研究可分为模型分布和数据分布两种。数据分布最常见，数据分布在副本模型环境上分别训练部分数据的过程。经常用到的是ps参数服务器，例如有3个worker，实现数据分布，拿一层来看。Worker1计算完梯度后，传到ps参数服务器。其他的worker操作方式相同。等待3个worker

原创 傅里叶变换时域和频域之间的对应关系

开始位置对应与频域的相位转动速度对应振动频率半径对应振幅两个信号可以进行叠加，生成新的信号可以通过振幅，相位，频率，用多个正弦波合成一个时域信号。相反也可以得到频域信号...

原创 欧拉公式

复数的概念z=a+bi（a,b均为实数）的数称为复数，其中a称为实部，b称为虚部，i称为虚数单位。当z的虚部等于零时，常称z为实数；当z的虚部不等于零时，实部等于零时，常称z为纯虚数欧拉公式是复数平面的单位圆 也是一种天然的信号基本成分(傅里叶变换的复单位圆表示)可由cosx+isinx表示。...

原创 推荐算法代码实现

loaddata.py# coding=utf-8import osimport jsonimport pandas as pdimport pickleimport numpy as npTPS_DIR = '../data/music'TP_file = os.path.join(TPS_DIR, 'Digital_Music_5.json')f = open(TP_file)users_id = []items_id = []ratings = []reviews

原创 图神经网络的卷积方法有哪些？

原创 stacking的代码机器核心思想

核心思想：先用不同的分类模型进行分类。然后模型的输出作为次级模型的输入。基本上是最终结果是好于单个分类模型

原创 PCA降维的例子

import numpy as npimport matplotlib.pyplot as plt#载入数据data=np.genfromtxt("data.csv",delimiter=",")x_data=data[:,0]y_data=data[:,-1]plt.scatter(x_data,y_data)plt.show()print(x_data.shape)#数据中...

原创 DBCAN代码

#coding=utf-8from sklearn.cluster import DBSCANimport numpy as npimport matplotlib.pyplot as plt#载入数据data=np.genfromtxt("kmeans.txt",delimiter=" ")model=DBSCAN(eps=1,min_samples=4)#这两个超参数可以进行修改...

原创 实现贝叶斯的代码

import numpy as npfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import classification_report,confusion_matrixfrom sklearn.naive_bayes import...

原创 svm处理非线性分类的方式。代码如下

import matplotlib.pyplot as pltimport numpy as npfrom sklearn import svmfrom sklearn.metrics import classification_reportdata=np.genfromtxt("LR-testSet2.txt",delimiter=",")#print(data)x_data=da...

原创 svm线性分类代码，可直接运行

#encoding=utf-8"""@author=wanggangdata:1.5,2020"""import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svmx_data=np.r_[np.random.randn(20,2)-[-2,2],np.random.randn(20,2)+[2,2]...

原创 np.r_的含义

np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。