- 博客(114)
- 收藏
- 关注
RSS订阅原创 商业银行大数据之路三部曲1：去IOE
商业银行大数据之路三部曲1：去IOE商业银行大数据之路三部曲2：数据治理商业银行大数据之路三部曲3：智能化----------------------------------------------------------------------------------即便缺少BAT的技术优势，传统商业银行去IOE，也可四两拨千斤------------------------...
2018-01-31 12:32:34
1263
1
Python机器学习快速入门系列4： 线性回归
网上找的机器学习的资料对于新手来说往往很难， 经常一上来就甩你一堆像外星文一样的公式方程，然后就把你满腔的学习热情给无情浇灭， 让你觉得是不是该回去学下数学再好好做人。笔者也是一样屡屡被虐，才略有领悟， 回过头来看，发现其实机器学习入门本来可以不这么艰难。 Python机器学习快速入门系列文章，希望能够以简单易懂、通俗而有趣的方式，把大家带入Machine Learning的世界。 1...
2017-02-04 09:00:33
314
Python机器学习快速入门系列2： 矩阵数学知识整理
机器学习算法中，对矩阵的操作非常频繁，如果不熟悉矩阵的数学知识， 或者不太理解Python中对于矩阵操作的方法， 学习起来会寸步难行， 因此这篇笔记用于整理Python和数学相关的基础知识点，方便查阅。 1. Array创建矩阵， 矩阵转为Array一般是从Array来创建， 各种编程语言都使用Arrayimport numpy as npaArr=[ [6,2,3]...
2017-02-03 14:35:23
270
原创 Python机器学习快速入门系列1：环境安装 Anaconda
想要开始玩机器学习， 敲个hello world第一关就是环境问题， 而python环境下，有3个包必须要装： numpy, pandas 和sklearn。 numpy和pandas都是负责数据计算处理的， 而sklearn封装了机器学习算法， 因此尤其重要。一般的流程， 我们会先安装一个python环境， 然后用pip或者easy_install把这几个包装上。 但实际操作时， 随...
2017-02-01 11:55:19
270
原创 Python机器学习快速入门系列4： 线性回归
网上找的机器学习的资料对于新手来说往往很难， 经常一上来就甩你一堆像外星文一样的公式方程，然后就把你满腔的学习热情给无情浇灭， 让你觉得是不是该回去学下数学再好好做人。笔者也是一样屡屡被虐，才略有领悟， 回过头来看，发现其实机器学习入门本来可以不这么艰难。 Python机器学习快速入门系列文章，希望能够以简单易懂、通俗而有趣的方式，把大家带入Machine Learning的世界。关注微信公众...
2017-01-23 15:52:29
156
常用大数据技术名词通俗解释
常用大数据技术名词通俗解释 Hadoop:最早出现的大数据的概念就是体现在Hadoop上面，简单理解就是虚拟了一个存储系统，一个文件在多台机器上保存多份，丢失几率很小。由于机器集群可以横向扩充，因此能保存理论上无穷多的文件，因此称为大数据平台。 MapReduce:在Hadoop存文件的基础上，MapReduce担任处理文件的角色，它读到文件，并把处理文件的任务分成很多子...
2015-12-30 12:23:50
955
用sqoop从Hive to Mysql导数
hive和mysql分别建表如下： hive> desc grzx_base_info;OKname string age int mysql> desc grzx_base_info;+-------+-------...
2015-12-29 11:53:07
349
hive和hbase的联合表
在hive中创建表： 主键，账户状态，余额，同时定义好其在hbase中的mapping表名，以及键值对。 注意：hive表中必须有字段key作为主键 CREATE TABLE grzx_common(key string, account_status string, balance string) STORED BY 'org.apache.hadoop.hive.hbase...
2015-12-29 11:04:15
175
财务报表分析关键点总结
又到了看报表炒股的时候了，总结一下之前的笔记，用来作选股依据，5分钟看一股。满足下列条件的股票，虽然可能不会大涨，但是绝对不可能大跌。 1. 经营现金流量/收入>0.5 参数可配置，越大股票越好2. 资产负债率<50%, 越小越好3. 流动性>1.5 越大越好4. 毛利率>50%, 毛利率同期增长>10%为最优5. ROE必须大...
2015-05-20 07:31:26
1243
VMWare虚拟机集群搭建Hadoop with Hive
虚拟机下载，以及序列号准备VMware Workstation v11.1.0 https://download3.vmware.com/software/wkst/file/VMware-workstation-full-11.1.0-2496824.exekey ：1F04Z-6D111-7Z029-AV0Q4-3AEH8 Linux操作系统Centos 6.6CentO...
2015-05-13 21:22:52
551
Hive行列转换
行列转换在ETL中是非常常见的场景，Hive中也毫不意外的遇到了：事例1drop table if exists row_column_test; create table row_column_test ( name string ,category string ,id string ...
2015-05-07 09:07:52
163
Hive编程指南读书笔记
1. MapReduce的任务， Map之后，会进行排序，然后才会传入Reduce作业。 MapReduce的本质是结果集从1个集合到另外一个集合归并过滤的过程。 2. HBase的场景是所要查询的列只是一个列的子集的时候，查询速度会很快。 提供行级别的更新和快速查询。(亿级别的数据查询) 3. Hive可以用java编码来扩充Hive的功能UDF函数。 1. ...
2015-05-07 09:01:07
176
原创 2014年终总结
2014转眼就过去了，现在在这样的一个静静的午后回想其来， 发现过去这一年还真是跌宕起伏，好多会影响到未来的事情都差点发生了。 遇到了不少挫折，但是这些所有的挫折在现在看来都是铺垫，都是为了迎接最后的胜利。塞翁失马，焉知非福是这一年的最深刻的总结。 14年的是以疯狂的加班开始的，多个打杂项目同时在组内展开，而且问题不断。作为小组长担负着印度，总部的接口人的角色，也是被人玩命地...
2015-01-03 19:55:36
140
架构师的自我修养(一)
1. 架构师既是技术专家，同时也是业务领域的专家，能够预见业务领域风险，并提供解决的办法。技术上经验丰富的人会有很多，只要在技术的道路上，总是会沉淀各种各样的技术。而对于业务的把握，则是一个缘分。需要有额外的兴趣，额外的时间投入，才能够有机会在相关的业务领域深入下去。 2. 架构师在选择技术的时候，要为客户着想，而不是为自己的简历着想，添上光辉一笔。 3. 选取框架技术的时候，量体...
2014-03-17 21:36:29
129
Oracle的表
堆表 -- 普通表99%的应用在使用到表的时候，都是使用堆表。Heap，这是一个无序的空间，插入的数据会找到一个合适的位置来存储，带有随机性，而不是按插入的顺序来存储。所以，在全表扫描的时候，返回的数据是按照空间检索的顺序来找到并返回记录。 索引组织表和堆表相比起来，索引组织表的所有的数据都是保存在索引的数据结构里面，存在索引段里面而非表段，所有的数据插入都是有序的放置在指定的连...
2014-03-05 11:05:39
96
Oracle的Redo和Undo
延迟段创建： create table的时候，并没有真正分配段，而已等真正需要insert的时候才进行分配空间。 Update+ Commit所做的工作： update:生成undo信息修改数据块给数据块加锁标记，得到锁生成Redo信息commit:为事务生成SCN，计数LGWR把Redo日志写入到磁盘 -- IO最花时间, PLSQ...
2014-03-05 09:06:18
214
Oracle的事务
显式调用编写Oracle程序的时候，一个比较好的习惯就是要显示地执行Commit或者Rollback. 一些工具如Sqlplus在退出的时候，会自动commit，而另外一些则会rollback。 如果过分的依赖这些隐式地调用，那么有可能造成不可预估的后果。 SET TRANSACTION 或者 DBMS_TRANSACTION 可以显示地开始一个事务， 但这不必要， Ora...
2014-03-04 10:31:17
117
Oracle的锁
Oracle的锁是行锁，实现方式是在块上进行标识锁状态，因此几乎没有相关的开销，锁定1行和锁定1百万行的开销几乎是一样的。 由于Oracle的并发和多版本的实现，存在丢失更新的文件，需要代码手工去避免，这也是出于性能的考虑，让Oracle天然具有读写分离的特性。 悲观锁： select for update nowait.nowait的区别在于其他线程对于相同资源的访问并不...
2014-03-04 08:57:33
97
Oracle的并发和多版本控制
写不会阻塞读，这是Oracle和其他数据库的一个根本的区别。Oracle能够同时物化多个版本的数据，每次写入数据，都会另外生成一个版本，并附上时间戳，而当一个读操作发起时，它只能读到这个时间戳以内的版本，超过这个时间戳所更新的数据，是不会返回在结果集里面。所以一个程序如果只是读操作，那么它永远也不会被阻塞，也不会发生死锁。从某种意义上看，Oracle天然就具备了读写分离的特性。不像Mysql，需...
2014-03-03 22:27:53
323
原创 SQL性能调优技巧
Data Model设计的Tip 1. 以三个范式为基础，业务的独立性和原子性拆分要合适，杜绝Key的冗余和不充分依赖2. 对于有NULL值的时候，说明可以拆分为子类， 如果有互斥值，比如两个字段，如果A有值，那么B就不能有值3. 隐藏的约束，某个Column为A值，那么另外一个Column就必须为B值，或者某个Column只能是1~20的值4. 对于Boolean值，比如某...
2014-02-28 23:49:20
87
原创 从言必称“云”看近十年的技术概念炒作
任何一家科技企业，推出自己的新产品的时候，不管怎么样，总得在里面加上一个云字，仿佛不加上这个帽子就是土鳖，一加上立马就成了“高大上”，连股票都能涨停。Oracle CEO拉里几年前曾经对这种现象异常反感，但后来也不得不加入了炒作的大营，开始大谈云战略以及Oracle已经在这个领域的辉煌战绩。于是乎，一夜之间100多个应用什么都不用改就突然变成了On the Cloud，忽悠，大家一起忽悠...
2014-02-15 23:06:05
156
原创 面向服务的企业应用架构2
使用SOA架构的企业，应该是有一定IT系统基础的企业，最好是已经实施过ERP，或者HCM，CRM等的企业。企业发展到一定的程度，会需要上线相应的ERP来规范化流程，数据。而当企业进一步发展后，单一的ERP产品已经无法满足业务变化的需要，比如一个业务不仅和生产相关，同时还和人力资源相关，另外还和公司内新开发的一个第三方系统关联。ERP应用二次开发已经无法满足这种需求，而SOA就能很轻松的胜...
2014-02-15 18:39:36
134
原创 面向服务的企业应用架构1
Anne在博客中说SOA已死，指的是无谓的技术辩论已死，如什么是最好的ESB，WS-*和REST什么为优，JAX-RS, 哪种规范最好。这些长久以来一直是大家研究的焦点，但事实上，这些并不是SOA的核心，SOA更是一种架构理念，和具体的实现技术无关。SOA架构的目的是以系统的整合为主要目的。当大型企业发展到一定的规模，必然会出现各式各样的系统，每个系统都有其特色和长处，新系统的需求可能...
2014-02-08 10:48:27
155
Oracle SOA Suite: Medicator and OSB
Medicator和OSB (Oracle Service Bus)存在的目的，从架构的设计模式上看，和解耦多态等理念非常的相似。 通过Proxy代理的方式，把真正某个Service的实现进行隐藏，让依赖于Service的应用只依赖Service接口，而在接口后面Routing过去的Service，可以更方便的维护和修改。专业的术语Loosely-Coupling Services....
2014-02-04 23:00:57
102
Oracle SOA Suite: Adapter
SOA架构的一个核心的使命是整合企业现存的各式各样的计算资源，它不仅仅是代码层面的整合，更是硬件，计算能力，服务能力的整合。Oracle SOA Suite在这方面做得特别的贴切，它提供了一组Adapter的组件用来包装现存的资源。现存资源被使用的情景一般都能涵括在如下的一些方式： * 文件交互方式，外界往相应的目录传入一个文件，系统扫描目录，获取文件指令，计算完毕后，向指定目录生...
2014-02-03 23:34:32
109
ORACLE SOA Suite OverView
SOA是一场架构的变革，那既然是变革，那就一定是有内在的原因来推动这个架构的变革。在过去几十年的时间里面，应用程序架构已经经历了3次巨大的变革，从Terminal/主机--> Client/Server-->Browser/Server, 无一例外，程序的复杂度，需求易变性，资源重用的等，都是不断推动架构变革的内在动力。而到如今，随着协同工作，企业资源管理等需求，单一的产品已经很难满足客户多样的需...
2014-02-01 23:01:02
104
货币战争5 读书笔记
看这本书如果当做故事书，那就看看就好，也很有意思。但是如果想真正理解相关的金融知识，还是需要一定的基础，其中有些逻辑关系特别难梳理，比如说国债回购抵押负利率的现象和原因，不知道是书上没讲清还是我没理解好，终归是没明白。还好我对财务，股票，以及债券等做过一些相应的学习课程，理解得也是7788，这篇笔记目的就是再重新梳理一遍知识点，进行总结，真正再消化一次。正如宋老师在最后一页说的，有些思想你以为想清...
2014-02-01 22:56:42
408
原创 2013工作总结
虽然IT生涯进入了第10个年头，但是我觉得我的职业生涯才刚刚开始，这就是我对过去这2013年的总括。 职业发展的目标已经非常明确，那就是要成为全国一流的技术型财务专家，能够主导财务系统架构，集成和开发，让财务更好的支撑业务的发展。 随着迈入高龄程序员的行列之后，一直在思考的一个问题就是未来10年，20年我该做什么。希望找到一件事情能够持续的研究积累，深入下去，另外还需要门槛比...
2014-01-24 18:15:56
74
原创 Fusion Financial之 VRM (一)
VRM(Virtual Revenue Management)是Oracle下一代财务系统的Fusion Financial Product Family中的一员，主要目的是为了满足一些高科技公司对于收入确认的特殊要求，比如License, Hardware以及Service等的收入确认，确保其能够满足GAAP的收入确认原则。对于这些高科技公司，大部分的Sales，都是以打包的形式销售，也就是软件...
2014-01-23 19:11:33
346
甲骨文2013二季报解析
作为甲骨文公司的一员，同时又是财务系统的开发小组长，对公司财报的研读，便成为了我的一个乐趣。发现财报中一些隐藏的东西，或者对未来的走势产生一个基本的预期，这都会让我特别觉得有成就感。首先，CFO Safra同学的邮件标题就是EPS上涨5%，也就是每股收益上涨了5%. 这也是让人觉得眼前一亮，在连续被几个评级机构不推荐购买后，来一个上涨5%，让投资者的信心也是有不少的提振。细化分析...
2014-01-07 11:20:09
90
财务产品的概要设计和详细设计
概要设计(FDDSO)和详细(FDD)是Oracle的财务产品业务设计中非常重要的地位，以至于在后来产品交付后，这些文档也会被经常作为证据，用来在PM, QA 和Dev之间划分责任。比如某某功能FDD定义好了，但是Dev实现有偏差，这是Dev的责任。或者某个功能客户需要，但是在FDD里面没有提及，这是PM的责任等等。概要设计FDDSO概括的叙述产品的功能，范围，和其他产品的关系。同...
2014-01-05 15:33:18
328
财务系统设计的思考
说到财务系统的设计，就不由得联想到了目前很流行的一个职业“互联网产品经理”，他们的设计着眼于用户体验，创造出新的功能，改善着上亿网民的生活，比如扫一扫，摇一摇等。财务系统不同于互联网的产品，它的复杂性对于没有深入了解它的人来说，是不太能想象出来的。互联网的功能开发，讲究的是时效，从一个点子，到产品发布可能只用一周的时间，然后如果市场冷淡，可能第三周就下线了。而财务产品通常经历着非常漫长...
2014-01-05 14:13:06
172
原创 全面预算管理 -- 读书笔记
经营预算编制的方法： 1. 销售预算，预算编制的起点 2. 生产预算：以销定产 3. 采购预算： 以产订购 4. 制造费用预算： 以产定耗 5. 人工预算费用： 以产定工 6. 单位产品成本预算： 预计成本的定制 7. 销售及管理费用预算： 预计的费用标准2. 企业的预算不能只由财务部门来做，这样的预算即使做出来，也是不准确的，不能反应并体...
2013-09-29 13:44:17
644
原创 财务报表分析
1. 财报看报表时间 * 三季报中做出预测， 可以推测全年利润 10.1 ~ 10.31 中小板公司 * 全年业绩预告，11.1 ~ 1.31， 年报一般是4月份。 如果公司超过1.31还没有预报，那么全年业绩变动在50%以下，盈亏没有转变 * 资产重组，或者招股说明中也存在业绩披露 * 如果有传闻，那么公司必须披露快报。 预告--》快报-->年报 逐步详实 * 新...
2013-09-24 09:20:49
1979
原创 不缴纳糊涂税 -- 合理规避税务风险
1. 生意是三方的生意，国家也在参与。经营合法不算真正的合法，缴税合法才是真正意义上合法。 * 产品最大的成本是税收 * 真正决定税务的业务。 3L的车15%税，2.98的车12%的税2. 所得税-- 当前25%， 高薪技术产业为15%（评审一次三年有效）3. 软件企业增值税17%，但高出 3%的部分， 即征即退，会计记入“补贴收入”科目，不记入所得税。两免三减。 ...
2013-09-24 09:16:24
823
原创 应收账款管理实务 -- 读书笔记
概述1. 当今行业竞争中， 赊销以及货到付款的经营方式导致大量的应收款资产。 改善应收账款的质量，增加现金流，减少坏账，对于企业来说至关重要。2. 所有公司都在为增加收入而不断地消耗资源，如果炫丽的产品不能转换为收入，并最终转换成现金，那么终将枯竭而亡。3. 营业周期 =存货周转天数 + 应收账款周转周期 DOS越短越好,超过100天不正常了， 软件公司的话60天左...
2013-09-21 16:04:51
1802
好妈妈胜过好老师
提高爱的质量 * 告诉小孩打针有些疼，但是可以承受，鼓励说他小时候特别不怕打针，让打针的阿姨说他小时候从来不怕打针的，激发他的勇气。 * 不捉弄小孩，不玩妈妈不要你的游戏。 * 给小板凳揉揉，学会包容，从别人的角度想问题。学会分享东西，不偏执自己的利益。 * 给小孩一个圣诞老人的童话，一个期待。 * 青春期摊开来讲道理，自信坦荡才能正确引导自我。 * 批评采用委婉的方式...
2013-08-05 21:15:00
187
原创 开发Oracle数据库应用的正确和不正确的方法
看书的目的在于深入理解Oracle到底能做什么，尽量多的学习Oracle的功能，避免重复发明轮子。提高工作效率的一个原则就是做正确的事情，如果花费几个月的心血才研究实现出来的东西，却能够通过简单的配置Oracle就能实现，那么未免效率太过低下了。1. 基于数据库应用开发的基本原则在于， 如果功能能够在数据库中实现，那么就优先在数据库中实现。尽量用一条SQL语句来完成工作，如果实在是...
2012-10-04 17:52:34
82
原创 11g新特性 pivot&unpivot 的行列转换
笔记如下：--求所有BR中，曾经有大于2次状态是Closed, 并且至少做过一次Unpaid的BR集合select * from(select customer_trx_id, status from ar_transaction_history_all)pivot ( count(status) for status in ('CLOSED' a...
2012-09-10 23:24:29
97
原创 11g新特性 递归子查询 替代 Connect by
在这个例子里面，关于history的记录，每条记录都有一个prv_trx_history_id指向上一条的记录， 因此，可以采用递归的方式列出所有的History. (注，此处不用order by creation_date的原因是，可能同一时间可能会插入多条，这样就无法区分先后)select his.customer_trx_id, his.transaction_history_i...
2012-09-10 21:46:59
308
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人