- 博客(38)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 为什么我们从github clone下来的maven项目本地运行报错
github上的项目clone到本地，比如是个Springboot的项目，我们用idea运行莫名其妙的报各种问题，常见的有以下异常：- java.lang.NoClassDefFoundError：xxxx- java.lang.ClassNotFoundException:xxxxx- java.lang.NoSuchMethodError：xxxx- java.lang.LinkageError：xxxx
2023-10-23 14:50:46
238
原创 【知识产权-01】知识产权建设之专利那些事
在当今信息爆炸的时代，知识产权的保护变得尤为重要。专利是知识产权的一种重要形式，它是创新和发明的重要保护手段。几张图片向大家介绍专利的审查流程、不同方式的审查周期、专利检索以及技术交底书的基本知识，方便大家查阅
2023-07-07 23:00:00
279
原创 【管理系列-09】软件成本怎么评估，知己知彼才能做软件造价
通常我们评估项目成本会找几个有类似产品开发经验的工程师去评估开发成本，为了更加精确，我们会分成若干类和若干小项去评估，当然这种评估比较简单高效，经验丰富的工程师能较为准确的评估出来项目成本，我们称这种方法为**经验法**。当然，经验法对内完全没问题，知根知底，但是对外就有很多问题，你把凭经验评估出来让领导进行预算审批，领导签字时心里发慌，审计能通过吗。因此在立项时就应该考虑工程造价合理科学有依据，那么有没有以审计的视角基于客观、科学、量化的造价依据对成本进行评估呢，另一个方法就应运而生了，我们称这...
2023-06-25 22:00:00
1089
原创 【数据治理-06】做好数据分类分级，为数据安全有序流动保驾护航
我们常说人以类聚，物以群分，确实是这样，杜威说过“所有知识都是分类”！很好理解，分类是认知经济，任何有效分类，都可以极大地节省我们的认知精力。数据分类分级具体说来，其实包含了2个方面，一方面涉及数据架构中的分类，另一方面涉及数据安全的分级。数据分类和分级相辅相成，在数据流通、数据安全、数据共享等方面发挥着重要作用，接下来我们开始聊聊这个话题...
2023-06-20 18:31:56
1167
原创 【数据安全-02】AI打假利器数字水印，及java+opencv实现
AIGC 的火爆引燃了数字水印，说实话数字水印并不是一项新的技术，但是这时候某些公司拿出来宣传一下特别应景，相应股票蹭蹭地涨。数字水印是什么呢，顾名思义，和我们在pdf中打的水印作用差不多，起到明确版权、防伪验真的作用。但是不同于传统肉眼可见的水印，数字水印也叫隐藏式水印，能够在人眼几乎无法察觉的情况下将水印信息秘密嵌入到音频、图像或视频中去，除了减少对画质的影响外，有个重要的功能就是保护著作权，使得盗版者无法感知水印存在，让版权的鉴定的溯源变得更轻松，让我们一起看看技术实现......
2023-05-25 22:30:00
1713
1
原创 Java iText 编辑PDF时常遇到问题
【代码】Java iText 编辑PDF时常遇到问题。1. java.lang.IllegalArgumentException: PdfReader not opened with owner password。2. java.lang.NoClassDefFoundError: org.bouncycastle.asn1.ASN1Encodable
2023-05-18 20:30:00
1090
原创 【数字化转型-06】数字化转型咨询项目中如何做好高层访谈
咨询项目中少不了至关重要的一步，那就是高层访谈，做好高层访谈，对于咨询项目至关重要，我们接触的维度越高，就会越能把控项目的真实意图，有的放矢，不会让下面的人带偏；另一方面我们也可以把我们对于企业数字化转型的理解和领导交流，获得确认，为接下来的沟通汇报铺路，最好能和领导达成共识，这是我们助力企业变革的内在动力。我们一起从访谈前、访谈中、访谈后三个阶段探讨一下。在步入正提前，我想说无论见多大的领导都不要紧张，如果紧张了说明认识不够....
2023-05-15 20:15:00
844
原创 【数字化转型-05】数字化转型中战略驱动的利器——平衡计分卡
今年的4月19日， 华为第20届全球分析师大会上，华为孟晚舟在大会上发表了“初心如磐，奋楫笃行，共赢数字化未来”的主题演讲，其中分享了对数字化转型的三个核心洞见，首先，**战略驱动是根本**，数字化本质是战略选择和战略规划，成功的数字化转型都是由战略驱动，而非技术驱动.....由此我们引出今天讨论的话题——企业战略，今天我们企业都在讲数字化转型，但是很少意识到到战略驱动是根本，定了战略没有科学的落地方法.....今天，我们一起了解一下号称75年来最具影响力的战略管理利器——平衡计分卡......
2023-05-11 21:00:00
958
原创 【数据架构系列-06】一文搞懂数据模型的3种类型——概念模型、逻辑模型、物理模型
从现实世界发展到智慧世界，要数经历**现实世界、信息世界、计算机世界、数据世界、智慧世界**五个不同的世界，我们天生具有从混沌的世界抽象信息变为信息世界的能力，但是到另外几个世界需要我们懂得计算机知识，懂得如何更好地把数据保存并应用到计算机中，这种能力就是数据建模能力，具体来说就是要搞懂数据模型，以及数据模型的三种境界——概念模型、逻辑模型、物理模型，接下来一起聊聊...
2023-04-28 18:19:47
4218
原创 【数据治理-05】什么数据才是货真价实的数据资产，一起聊聊数据资产
在国家层面一些列文件、纲要、政策、办法等政府力量的推动下，数据资产这个词越来越频繁的出现在我们寻常工作当中，现在越来越觉得这个词被滥用，大有“一切数据皆是资产”的感觉，业务数据是资产、技术数据是资产，不能共享的数据是资产、能共享的更是资产，就连后台日志数据、用户行为数据、监控数据都是资产，眉毛胡子一把抓，让每种数据都成为资产，这种无可厚非的思想总感觉不太专业，那么什么数据才是货真价实的数据资产，让我们一起聊聊数据资产.....
2023-04-10 16:45:16
533
原创 【Hadoop-yarn-01】大白话讲讲资源调度器YARN，原来这么好理解
YARN作为Hadoop集群的御用调度器，在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。有了机器就有了资源，有了资源就有了调度。举2个很鲜活的场景：1. 在单台机器上，你开了3个程序，分别是A、B、C，3个程序把资源基本上耗光了，你再想开个D，系统没有资源了，或者变的很卡，所以你关掉了A和B，腾出来的资源让D用，这就是人肉调度。2. 由多台机器上组成的集群，情况更加复杂，一共有多少CPU，MEM，怎么把指定的应用跑在合适的机器上，总会想均衡，不要累死的累死，闲死的闲死.....
2023-03-17 21:45:00
465
原创 【数据架构系列-04】趁着国家数据局来了，一起聊聊政府数据开放，未来道阻且长
这几天朋友圈、订阅号、新闻推送频繁出来的消息是国家要成立数据局，“3月7日下午，根据国务院关于提请审议国务院机构改革方案的议案，组建国家数据局，一个全新的机构即将诞生”。可见国家是多么的重视数据建设，也庆幸自己的工作也在这个领域，这两天也在看相关报道，大部分都是宏观的，专家解读也很到位，感觉未来形势一片大好。赶着热点，根据个人的认识，也聊聊政府数据开放，请不要盲目乐观，未来道阻且长......
2023-03-13 21:00:00
534
原创 【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大数据平台成了最里层。难道我们几年前称呼的大数据平台就没有了数据应用服务，也没有了面向主题的数据集合。我们还是找几篇以前的论文看看，看看那个时代我们对这些名词是怎样的认知......
2023-03-07 19:30:00
2106
2
原创 【管理系列-02】项目经理要敢于说“不”
在上篇提到要敢于说“不”，难道就是和甲方对着干吗，拿出光脚的不怕穿鞋的谁怕谁的姿态？显然不是，那样无异于自掘坟墓。真正的敢于说“不”，是坚守正道，基于项目把控、专业认知，强烈的责任感而做出的据理力争，这是受人尊重的。我们往往在选拔项目经理时侧重于那些所谓“高情商”的人，这种素质固然重要，但是千万不要忽视他的技术、世面和责任心，不要忘了，项目经理的天职是对质量、成本、进度负责，对于不难的项目还好，对于大型攻坚项目，没有扎实的专业素养，怎么把控全局，关键时刻一知半解，根本不会有说“不”的底气...
2023-02-17 23:45:00
65
原创 【数据治理-03】无规矩不成方圆，聊聊如何建立数据标准
无规矩，不成方圆！数据标准（Data Standards）是保障数据的内外部使用和交换的一致性和准确性的规范性约束，作为数据治理的基石，是绕不开的一项工作，如此重要的活如何干，咱们一起聊聊。当前国家层面高度重视数据资产建设，各行各业都在自上而下的推动建设数据标准，取得了很大的成效，我们首先要看看人家高手怎么制定的，推荐大家一个好用的网站...
2023-02-17 18:45:00
756
原创 [数据治理-02]一个例子搞懂元数据、参考数据、主数据、交易数据...的关系
“一生二，二生三，三生万物”，一就是元数据，二就是主数据，三就是交易数据，万物即指标数据。主数据有元数据，交易数据有元数据，一切数据都有元数据。让我们一个例子搞懂数据分类...
2023-02-16 17:44:57
1751
原创 【数据库-Hive-01】hive为什么不支持更新和删除，一起找找根源
Hive支持更新和删除吗？这是一道典型的大数据面试题，绝大部分人回答不支持。其实也没错，但是更准确的回答是可以支持，主要是看怎么建表的，如果想要支持Update功能要按以下方式建表：Hive对使用Update功能的表有特定的语法要求, 语法要求如下... 为什么设计成不支持内，我们一起聊聊根源...
2023-02-06 17:16:03
4137
原创 【数据架构系列-02】从《数据中台能力成熟度模型》的发布，聊聊火了的中台
2023年1月4日，信通院发布了《数据中台能力成熟度模型》框架，不由让我浮想联翩，之后是不是还会出现业务中台、技术中台、AI 中台、算法中台的能力成熟度模型呢。不知道为什么，按理应该同时公开发布的文档截止到1月30日在网上也没有找到，只是查到发布会的部分PPT，大致浏览了一下，依然是熟悉的套路，基于能力成熟度模型（CMM）思想，划分为5个等级，6个域，每个域又划分为若干个子域，每个子域中有若干个能力项，每个能力项有若干个分级要求，根据这些具体的能力要求，对企业现状打分，就能得出企业当前数据中台能力状况。
2023-01-31 20:00:00
1621
原创 【数据库-通用知识系列-01】数据库规范化设计之范式，让数据库表看起来更专业
我们在设计数据库时考虑的因素包括读取性能，数据一致性，数据冗余度，可扩展性等，好好学习数据库规范化的知识，设计的数据库表看起来才专业。
2023-01-28 21:30:00
568
原创 【数据安全-01】一起聊聊数据安全
信息安全的本质就是保护数据被合法地使用，或者一句话“让对的人看到对的数据！近来各种各样的安全名词满天飞，什么信息安全、网络安全、应用安全、数据安全、物联网安全、AI安全… 相应的法律、标准、资质、认证、安全方向产品、创业公司等等搞得如火如荼，对安全重视已然到了空前的程度。今天就来聊聊数据安全。说到数据安全，首先应该要和其他安全做个区分，毕竟搞清楚边界还是有必要的。各种各样的安全名词是伴随科技的发展、社会的进步产生的。
2023-01-15 22:19:54
1088
原创 【数据质量】一起聊聊数据质量
数据质量关注的是数据的健康，数据健康和人的健康很相似，人的健康会影响人的生活品质，同样数据的健康会影响数据的使用品质。为了保证我们健康，我们需要养成良好的生活习惯，膳食平衡，注意锻炼，定期体检，使我的的身体健康。同样数据也需要如此，我们需要好的开发规范，执行数据标准，定期数据质量评估，采取干预保持数据质量长青...
2023-01-13 22:21:40
1027
原创 【数据治理-01】开篇：一起聊聊数据治理
**统一赵秦车轨**，**推行秦篆**，**统一七国文字**，**兵器统一标准**，**统一度量衡**。数据治理这个名字起得好，一般人听不懂，实际上并不是IT人员的专属，广义上来说我们日常工作生活不自觉的都在做着数据治理。比如按照指定的格式命名我们的照片，整理我们的文件夹目录，按指定格式填写我们的信息等等都属于数据治理的范畴，这样就很好理解数据治理的目标了，让我们更高效的工作，更方便的管理和共享数据。为什么会有数据治理，谜底就在谜面里面，因为有数据啊，并且数据越来越多，越来越乱，不好流通使用。
2023-01-11 22:24:07
490
原创 【管理系列-01】你真的会做项目经理吗
这些年我工作角色上从软件开发、到技术负责人、到项目经理、到多个项目的负责人，亲身经历了大大小小不同类型的软件开发项目，在项目经理一职上也逐渐的有一些感悟，2023年新年伊始，总结分享出来，让刚步入项目经理角色的人少走弯路，或许有些观点不对，大家挑着看。
2023-01-06 15:28:51
571
原创 【数据架构系列-01】数据架构之数据血缘：数据从哪里来，到哪里去
从上述两个图可以直观的感受数据血缘的本质是什么，数据血缘（Data Lineage）即数据的来龙去脉，记录数据如何转化而来，流向何方，用可视化技术细粒度的刻画了数据从源流向终端用户的路径，帮助数据科学家洞察数据，发现数据错误的根源。数据血缘和数据起源（Data Provenance）含义相似，主要区别在于数据起源是面向业务人员，在数据更高层级揭示了数据的产生，而数据血缘更加细粒度，在业务层级和技术层级提供了一个更细粒度的视角。数据血缘号称数据的GPS，在数据治理中隶属于元数据管理的范畴。粒度级别说明。
2023-01-06 13:37:14
3474
原创 你真的会做项目经理吗
这些年我工作角色上从软件开发、到技术负责人、到项目经理、到多个项目的负责人，亲身经历了大大小小不同类型的软件开发项目，在项目经理一职上也逐渐的有一些感悟，总结分享出来，让刚步入项目经理角色的人少走弯路，或许有些观点不对，大家挑着看。
2023-01-03 18:46:55
491
原创 【数字化转型-01】企业数字化转型的底层逻辑
信息化时代给我们生活带来了质的改变，十多年前我们需要去交电费、水费，排队办理银行业务，排队去买火车票，办理政务业务跑断腿...现在大部分活动在家动动手就搞定，这本质上来说都是通过科技和管理改革实现全要素生产率的提高。如下图所示，我们的生活和办公正在经历着巨大的改变，从“大部分生活在物理世界中完成，少量行为借助信息化提升效率”转变到“大部分社会活动及交互都在数字化世界中进行，少量决策指挥信息回到物理世界完成”，把物理世界重构建模到数字化世界，减少了物理世界人们的“时空浪费”...这才是数字化转型的底层逻辑
2023-01-01 22:40:19
467
原创 【ElasticSearch】Helloworld（一）
研究Elasticsearch已经一年多了，期间走了不少弯路，踩过很多坑，一直想写点东西分享给大家，但是迟迟没有动笔，一则怕水平有限误了大家，二则自己懈怠了。最近看了一些挂着博客专家的title，写的一些ES的博客，很多都是官网上的一些翻译，并且很陈旧，甚至是误人子弟，很少有自己的总结与深入研究。如果让我给建议去学习ES，一定不要去看他们的blog，去看最新的官方文档，去装一个ES练习做Demo。E
2017-09-12 11:01:19
609
原创 java设计模式（一）：看看一个HelloWorld能卷到什么程度
目前常用的设计模式有几十种，简单的死记硬除了面试外别无他用，更重要的是熟练运用到实际场景中去，去用好用对至关重要。本栏就从HelloWorld揭开设计模式的面纱。下面是每个程序员的第一个程序。public class HelloWorld {public static void main(String[] args) {System.out.println("Hello, world!
2017-09-02 17:58:29
420
1
原创 面向高稳定，高性能之-Hbase数据实时同步到ElasticSearch(之二)
我在这篇focus在两个主题：如何支持多表同步共用一个jar包，如何持续稳定的与ES交互写入数据。在《 使用Hbase协作器(Coprocessor)同步数据到ElasticSearch》中作者把两个关键组件中的属性和方法都声明为static，这意味什么？类方法和属性在所有的线程中共享，源代码请参考该博客。问题出来了，当你用如下传参数的方式绑定到多个表：alter 'tes
2017-06-22 15:06:44
7751
10
原创 面向高稳定，高性能之-Hbase数据实时同步到ElasticSearch(之一)
近来一直focus在构建ETL数据中心这块，需要把Hbase的若干张表数据实时同步到ElasticSearch中，调研了一段时间，在网上可参考无非就那几篇文档：1. HBase数据同步到ElasticSearch的方案2.使用Hbase协作器(Coprocessor)同步数据到ElasticSearch3. Hbase官方文档。4. ElasticSearch Java API
2017-06-22 11:33:07
2641
原创 Java Web开发：Spring MVC连接 MongoDB启动用户名密码
mongodb3.0版本后密码加密有两种方式，MONGODB－CR两种方式，3.0版本之后默认为SCRAM－SHA－1，而spring mongodb默认是MONGODB－CR，此版本并不支持设置加密方式，导致常常出现如下问题:CannotGetMongoDbConnectionException
2016-11-12 15:30:47
8208
1
原创 Tomcat启动报错： : org.apache.catalina.LifecycleException
Root Cause：工程依赖包由Maven管理下载，默认maven的远程repository server下载有时中断，导致Maven下载的jar包存在问题。解决方案：1. 从新配置maven的settings.xml，增加国内mirror alimaven aliyun maven http://maven.aliyun.com/ne
2016-10-21 10:55:26
16419
1
原创 MongoDB+Mysql这样架构，mysql的作用是什么？
刚刚看了一篇bbs的回复，觉得写得挺有道理。问题1：首先我们来分析下mysql 与mongodb的特点与优劣。下面是我以前做的ppt的部分截图。再来分析下应用场景，a.如果需要将mongodb作为后端db来代替mysql使用，即这里mysql与mongodb 属于平行级别，那么，这样的使用可能有以下几种情况的考量：(1)mongodb所负责部分以
2014-11-30 18:45:42
2140
转载 Unicode和UTF-8的关系
今天中午，我突然想搞清楚Unicode和UTF-8之间的关系，于是就开始在网上查资料。 结果，这个问题比我想象的复杂，从午饭后一直看到晚上9点，才算初步搞清楚。 下面就是我的笔记，主要用来整理自己的思路。但是，我尽量试图写得通俗易懂，希望能对其他朋友有用。毕竟，字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得一点字符编码的知识。 1. ASCII码 我们知
2014-04-16 22:17:15
361
转载 2013年的“中国规模”负载
今年是双十一购物狂欢节的第五个年头，每一年这个时刻对于技术团队而言都是一次真刀实枪的数字战争。一方面，我们会提前在产品和业务层面努力创新，力争在当天为消费者留下更优质的购物体验。另一方面，全国人民的热情也是技术架构和细节不断优化的动力。下面我就简单介绍下，今年双十一的准备过程中技术上的一些突破和亮点。全链路压测压力测试对于评估网站性能的重要性是不言而喻的，但是，无论是线下模拟的单一
2013-11-11 11:12:18
530
数据分类分级相关标准规范、相关论文
2023-06-20
企业数字化转型 转型架构 转型路径 构建数字化转型思维模式
2023-05-12
人工智能（AI）介绍PPT 图片可编辑 方便学习和汇报
2023-05-11
企业数据治理方法论ppt 图片可编辑 方便学习汇报
2023-05-11
数字化转型方法论ppt 图都是可编辑的 方便大家学习汇报
2023-05-11
chatGTP研究框架-2023
2023-05-04
DataFun发布《DataFun数据智能知识地图》
2023-03-06
Hibernate_api.chm
2012-12-13
Spring Framework 开发参考手册.chm
2012-12-06
云计算课件-中科院
2012-11-30
云计算课程——中科院
2012-11-30
云计算课程-——中科院
2012-11-30
云计算课件——中科院
2012-11-30
攻克Linux系统教程
2012-11-29
linux网络命令
2012-11-29
ubuntu教程
2012-11-29
Linux基础命令教程豪华版
2012-11-29
FlashFXP ftp客户端
2012-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人