赵英超的博客

相互学习,共同进步

Django 数据库连接使用

整个项目已经放在Github上, 随时更新, 项目地址Django Model每一个Django Model都继承自django.db.models.Model 在Model当中每一个属性attribute都代表一个database field 通过Django Model API可以执行数据库...

2018-01-29 16:06:12

阅读数:323

评论数:0

TensorFlow 基础

使用TensorFlow,你必须明白TensorFlow: 使用图(graph)来表示任务被称之为会话(Session)的上下文(context)中执行图使用tensor表示数据通过变量(Variable)维护状态使用feed和fetch可以为任意操作(arbitrary operati...

2018-01-25 20:37:11

阅读数:168

评论数:0

《深度学习原理与TensorFlow实践》学习笔记

作者 | 王清 目录 图像识别的经典课题 计算机视觉 图像识别课题 卷积神经网络原理 前深度学习时代 卷积操作Convolution 池化Pooling ReLURectified...

2018-01-25 20:32:02

阅读数:427

评论数:0

深度学习框架比较(Caffe, TensorFlow, MXNet, Torch, Theano)

在这里,我将会介绍当前比较主流的5种深度学习框架,包括 Caffe, TensorFlow, MXNet, Torch, Theano,并对这些框架进行分析。 首先对这些框架进行总览。 库名称 开发语言 速度 灵活性 ...

2018-01-25 20:19:43

阅读数:3183

评论数:0

TensorFlow 官方文档中文版

http://bigdata.rzaixian.com/tensorflowzh/ https://github.com/jikexueyuanwiki/tensorflow-zh TensorFlow 官方文档中文版 R语言在线大数据文档集合...

2018-01-25 20:16:19

阅读数:173

评论数:0

Tensorflow学习笔记:机器学习必备API

前一节介绍了一些最基本的概念和使用方法。因为我个人的最终目的还是在深度学习上,所以一些深度学习和机器学习模块是必须要了解的,这其中包括了tf.train  、tf.contrib.learn、还有如训练神经网络必备的tf.nn等API。这里准备把常用的API和使用方法按照使用频次进行一个排列,可以...

2018-01-25 20:10:50

阅读数:202

评论数:0

linux 文件权限(s、t、i、a)解析

r(Read,读取):对文件而言,具有读取文件内容的权限;对目录来说,具有浏览目 录的权限。 w(Write,写入):对文件而言,具有新增、修改文件内容的权限;对目录来说,具有删除、移动目录内文件的权限。x(eXecute,执行):对文件而言,具有执行文件的权限;对目录了来说该用户具有进入目录的权...

2018-01-25 16:07:35

阅读数:132

评论数:0

vim Vundle

单独使用vim编辑文件时并没有如此错误提示。 解决方案 由于单独使用vim时并没有如此错误,怀疑默认的编辑器并非vim,利用echo $EDITOR查看默认的编辑器结果为空,因此设置默认的编辑器为vim. 编辑~/.bashrc,在末尾添加export EDITOR=vim,然后...

2018-01-25 10:19:17

阅读数:60

评论数:0

Python科学计算基础篇

关于Numpy Numpy是Python的一个矩阵类型,提供大量矩阵处理函数,内部通过C实现。 包含两种数据结构,数组array和矩阵matrix,其实就是array而已 构建数组array 通过tuple构建array In[1]: from numpy import * In[2]...

2018-01-24 10:21:56

阅读数:684

评论数:0

IntelliJ IDEA 2017.3激活与汉化

本文以IntelliJ IDEA 2017.3为例进行讲解。(持续更新:2018年1月21日) 适用版本(其它版本未测试): IntelliJ IDEA 2017.2.6 IntelliJ IDEA 2017.3 IntelliJ IDEA 2017.3.1 IntelliJ IDEA ...

2018-01-23 09:43:07

阅读数:4190

评论数:6

hive order by,sort by, distribute by, cluster by作用以及用法

1. order by     Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启...

2018-01-22 20:37:02

阅读数:99

评论数:0

Hive调优

在一些特定的业务场景下,使用hive默认的配置对数据进行分析,虽然默认的配置能够实现业务需求,但是分析效率可能会很低。 Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。   以下,几种方式调优的属性。   1、列裁剪   在通过Hive读取数据的时候...

2018-01-22 20:31:43

阅读数:146

评论数:0

Hive 索引

hive里的索引是什么?   索引是标准的数据库技术,hive 0.7版本之后支持索引。Hive提供有限的索引功能,这不像传统的关系型数据库那样有“键(key)”的概念,用户可以在某些列上创建索引来加速某些操作,给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚...

2018-01-22 19:35:41

阅读数:98

评论数:0

hive视图

可以先,从MySQL里的视图概念理解入手         视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口,与基本表不同,它是一个虚表。在数据库中,存放的只是视图的定义,而不存放视图包含的数据项,这些项目仍然存放在原来的基本表结构中。         视图可以被定义为多个表的连接...

2018-01-22 17:25:33

阅读数:86

评论数:0

Hive 分区 分桶使用

为了对表进行合理的管理以及提高查询效率,Hive可以将表组织成“分区”。   分区是表的部分列的集合,可以为频繁使用的数据建立分区,这样查找分区中的数据时就不需要扫描全表,这对于提高查找效率很有帮助。     分区是一种根据“分区列”(partition column)的值对表进行粗略...

2018-01-22 17:17:33

阅读数:391

评论数:1

linux内核优化,内核参数详解

一、前言 本文档针对OOP8生产环境,具体优化策略需要根据实际情况进行调整;本文档将在以下几个方面来阐述如何针对RedHat Enterprise Linux进行性能优化。 1)       Linux Proc文件系统,通过对Proc文件系统进行调整,达到性能优化的目的。 2)      ...

2018-01-20 10:26:03

阅读数:81

评论数:0

分布式系统领域经典论文翻译集

分布式领域论文译序sql&nosql年代记SMAQ:海量数据的存储计算和查询一.google论文系列1.      google系列论文译序2.      The anatomy of a large-scale hypertextual Web search engine (译 zz)3...

2018-01-18 16:44:11

阅读数:133

评论数:0

Linux下CGroup进行CPU、内存等资源控制

留存 from: http://www.cnblogs.com/kevingrace/p/5685433.html  and  http://www.cnblogs.com/wang_yb/p/3942208.html CGroup 介绍 CGroup 是 Control...

2018-01-17 16:53:34

阅读数:249

评论数:0

yarn使用cgroup隔离资源

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重. 还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源 cgroup cgroup是系统提...

2018-01-17 16:51:37

阅读数:217

评论数:0

Linux Container Cgroup

Cgroups是什么? Cgroups是control groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO等等)的机制。最初由google的工程师提出,后来被整合进Linux内核。Cgroups...

2018-01-17 16:41:43

阅读数:84

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭