- 博客(875)
- 资源 (43)
- 收藏
- 关注
原创 金融业大数据应用场景
如果能够引入外部数据,还可以进一步加快数据价值的变现。外部数据中比较好的有社交数据、电商交易数据、移动大数据、运营商数据、工商司法数据、公安数据、教育数据和银联交易数据等。大数据在金融行业的应用范围较广,典型的案例有花旗银行利用 IBM 沃森电脑为财富管理客户推荐产品,并预测未来计算机推荐理财的市场将超过银行专业理财师;摩根大通银行利用决策树技术,降低了不良贷款率,转化了提前还款客户,一年为摩根...
2020-04-07 17:05:48
9720
3
原创 量化交易主流框架介绍
量化交易主流框架介绍talibtalib的简称是Technical Analysis Library,主要功能是计算行情数据的技术分析指标numpy介绍:一个用python实现的科学计算包。包括:1、一个强大的N维数组对象Array;2、比较成熟的(广播)函数库;3、用于整合C/C++和Fortran代码的工具包;4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包s...
2018-10-15 19:16:46
7142
8
原创 【AI编程】腾讯云CodeBuddy
CodeBuddy 是腾讯云推出的 AI 辅助编程工具,通过将 AI 深度融入全流程,实现从产品构思到产品发布的一站式高效交付平台。产品支持IDE、插件和 CLI 三种形态,覆盖从专业开发者到零基础用户的全场景需求。
2026-07-07 17:14:19
302
原创 【AI智能体】腾讯WorkBuddy介绍(二)
WorkBuddy 提供三种工作模式,对应不同的执行权限与交互方式首次使用优先选择Ask模式;熟悉后再按任务复杂度切换至 Plan 或 Craft 模式。处理重要文件前请先备份。(1)问一问(Ask)仅问答与信息查看,不修改文件。用于了解内容、确认需求。(2)做一做(Craft)直接执行任务并修改文件,用于文档生成、表格处理、文件整理。(3)想一想(Plan)先生成执行计划,确认后再操作,多步骤任务、需审阅改动范围。
2026-07-07 16:19:03
243
原创 【AI智能体】腾讯WorkBuddy介绍(一)
WorkBuddy 是腾讯出品的全场景 AI 办公工作台。说出要求、开始执行任务、交付完整成果。完美连接腾讯办公生态,你的办公好搭子。只需用一句话描述需求,WorkBuddy 便能像同事一样自主规划和执行复杂任务,并交付可验收的结果。与传统的 AI 对话不同,WorkBuddy 不仅能"听懂人话",还能"带脑子思考"并"实际操作本地文件",真正帮您干活。
2026-07-07 16:02:35
457
原创 jieba分词高级用法 5类场景
1、新建user_dict.txt,格式:词语 词频 词性(词频、词性可省略)大数据开发 100 青岛海边 902、代码加载# 加载自定义词典text = "我今天去青岛海边做大数据开发"print(res)# 输出:['我', '今天', '去', '青岛海边', '做', '大数据开发']
2026-06-25 11:52:36
147
原创 jieba分词4种用法
jieba 是 Python 最常用的中文分词库,主要用于中文文本拆分、关键词提取、词性标注,广泛应用于爬虫、搜索、文本分析、NLP 业务场景。安装命令。
2026-06-25 11:35:49
66
原创 【华为DataArts Studio】(二)主要应用场景
从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析,一站式数据智能运营平台,帮助企业快速构建数据运营能力。快速将线下数据迁移上云,将数据集成到云上大数据服务中,并在DataArts Studio的界面中就可以进行快速的数据开发工作,让企业数据体系的建设变得如此简单。通过应用华为在企业业务领域积累的丰富的行业领域模型和算法,帮助企业构建数据中台,快速提升数据运营能力。
2026-06-16 17:01:43
275
原创 【华为DataArts Studio】(一)认识DataArts
数据治理中心(DataArts Studio)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。以下是产品架构图:如图所示,DataArts Studio基于数据底座,提供数据集成、开发、治理等能力。
2026-06-16 16:17:51
323
原创 IDEA无需破解,永久免费!学Java必看
但即使没有订阅,IDEA 依然能够正常使用,可以免费用于商业和非商业项目,畅享 Java 和 Kotlin 开发所需的全部功能。IntelliJ IDEA 继续在第一时间为最新 Java 版本提供支持,同时还会为即将发布的 Java 版本提供早期支持,例如,允许您直接在 IDE 中安装抢先体验版。与 Java 25 不同,Java 26 没有引入任何新的稳定语言功能,但带来了模式匹配和延迟常量预览功能,这些功能已在 IntelliJ IDEA 中得到支持。
2026-06-10 17:15:49
2313
原创 【Doris从0到1】(二)Docker部署
输出解析: Alive=true(FE)或 Alive=1(BE)表示节点运行正常。使用 MySQL 客户端连接集群,检查 FE 和 BE 状态。第 1 步(1/3):下载启动脚本。第 3 步(3/3):验证集群状态。第 2 步(2/3):启动集群。
2026-06-09 08:05:42
246
原创 【Doris从零到一】(一)Apache Doris 概述
Apache Doris 是一款基于 MPP 架构的高性能、实时分析型数据库,以高效、简单、统一著称:在亚秒级时间内返回海量数据查询结果,一套系统同时支持高并发点查询和高吞吐复杂分析。
2026-05-26 17:14:42
731
原创 Notepad++ 下载避坑指南
最近团队新入职了几名应届同学,统一配发了新办公电脑,首要工作想让他们几个自主完成环境配置。原以为安装 Notepad++ 是一件无脑的小事,结果折腾了半天,要么下载到带捆绑、弹窗广告的流氓软件,要么误入收费钓鱼网站,最后还是我单独下载发他们了了安装包。这件事也让我发现,看似简单的软件安装也藏着超多互联网下载陷阱,还是决定写一篇博文整理一下可能踩的坑。(大周一上班花了点时间写的,希望对大家有帮助, ̄︶ ̄。
2026-05-25 10:41:11
633
原创 一文读懂Kafka中的“消费”(对标MySQL数据库)
Kafka存了一堆实时数据,Flink/程序把这些数据拿出来、读一遍、做计算处理,这个全过程就叫消费。Kafka消费:靠Offset书签,只读新数据、从未读的位置继续读,不会重复读历史数据(同消费者组内)Kafka:Flink任务持续读取Topic数据 → 过滤、开窗、聚合统计 → 这就是消费数据。Kafka消费:永久运行、持续监听,新数据一来,立刻自动读取处理,永不停止。Kafka:数据是动态流式的,源源不断新增,属于无界数据。MySQL查询:一次性执行,查完结束,静态读离线数据。
2026-05-21 15:24:42
217
原创 【Kafka笔记】(四)Kafka 三种消费模式
开启 Checkpoint 后,Flink 自动管理 Offset,宕机重启不丢数据、不重复数据。实现依赖:Flink Checkpoint + Kafka 手动 Offset 提交。Flink 通过 group.id 绑定消费者组,记录消费位置。Kafka 分区数决定 Flink 最大并行消费能力。实时任务 99% 数据源都是 Kafka。不丢不重,精准消费,企业生产唯一标准。数据一定能消费成功,可能重复消费。不会重复消费,可能丢失数据。
2026-05-21 15:14:45
210
原创 【Kafka笔记】(二)核心架构与专属名词解释
生产标准:关闭 Kafka 自动提交,依赖 Flink 精准 Offset 管理。例如:vehicle_data(车联网数据)、order_log(订单数据)生产铁律:Flink 并行度 ≤ Kafka 分区数,否则消费能力无法拉满。手动提交:消费成功再提交,Flink Checkpoint 就是手动精准提交。核心:Flink 消费数据,本质就是消费某个 Topic 的数据。示例:Flink 任务、数据同步服务、消息推送服务。自动提交:简单但容易丢数据、重复数据(生产禁用)
2026-05-21 15:07:40
438
原创 【Kafka笔记】(一)认识 Kafka
Kafka 是一款分布式、高吞吐、低延迟、持久化的消息队列/流处理平台。通俗的讲Kafka 就是一个“实时数据中转站+数据蓄水池”上游业务/设备产生数据 → 发给 Kafka 存起来下游 Flink、服务、数仓 → 从 Kafka 实时拉取数据计算。
2026-05-21 14:59:33
138
原创 【FlinkSQL笔记】(三)Flink SQL 核心重难点(窗口函数、水印)
实时场景(车联网、物联网)中,网络波动、设备重连会导致:先产生的数据,后到达Flink,直接导致窗口统计结果错误。
2026-05-21 14:22:43
533
原创 【FlinkSQL笔记】(二)Flink SQL 基础语法详解
TIMESTAMP(3):高精度时间戳(实时任务必备,保留3位毫秒)group.id:消费者组,自定义不重复即可,用于记录消费偏移量。bootstrap.servers:Kafka集群地址端口。STRING:字符串(对应MySQL varchar)connector:指定数据源类型,固定kafka。format:数据序列化格式,企业99%为json。latest:从当前最新数据开始消费(生产默认)earliest:从头消费所有历史数据(测试用)BIGINT:长整型(计数、时间戳常用)DOUBLE:浮点型。
2026-05-21 14:16:42
349
原创 【FlinkSQL笔记】(一)什么是Flink SQL
Flink SQL 是 Flink 官方推出的流批一体 SQL 计算语法,无需编写大量代码,用标准SQL即可开发实时计算任务。核心优势:零代码压力:复用标准SQL语法,学习成本极低企业主流:云平台(华为云/阿里云)实时任务90%基于Flink SQL开发能力全覆盖:实时清洗、聚合、开窗、关联、数据同步均可实现天然实时:毫秒级延迟,支持乱序数据处理。
2026-05-21 14:11:01
336
原创 【Flink学习】(九)Flink 容错机制 Checkpoint 与 Savepoint
本文整理 Flink 生产级容错方案,学会保障线上实时任务稳定运行,避免数据异常问题。
2026-05-20 22:45:31
287
原创 【Flink学习】(六)Flink 三大时间语义 + 水位线 Watermark
本文我主要整理Flink 时间相关知识,实时计算最大难点:数据乱序,为窗口计算打下基础。
2026-05-20 22:31:29
339
原创 【Flink学习】(五)Flink 并行度与任务链,任务运行核心原理
本文主要整理Flink 底层任务运行机制,学会合理设置并行度,初步具备任务调优思维。
2026-05-20 22:28:29
160
原创 【Flink学习】(四)Flink 常用转换算子,数据流数据处理
Split 分流、SideOutput 侧输出流,将一条数据流拆分多分支,实现不同数据不同逻辑处理。sum 求和、max 最大值、min 最小值、reduce 自定义聚合算子,流式持续聚合计算。KeyBy 算子:数据流分组,等同于 SQL group by,实时分组核心。FlatMap 算子:一对多数据拆分,字符串拆分、数组拆分。Map 算子:一对一数据转换,字段修改、数据格式转换。Filter 算子:数据过滤,剔除脏数据、无效数据。Connect:合并不同类型数据流,相互关联处理。
2026-05-20 22:26:14
156
原创 一文读懂Flink全家桶(Flink、Flink SQL、PyFlink、Java Flink )
Flink、Flink SQL、PyFlink、Java Flink 到底啥关系?其实全是同一个 Apache Flink 框架,只是写法不一样、语言不一样、用法不一样。
2026-05-20 00:43:29
663
原创 【Flink学习】(三)Flink 数据源详解,主流 Source 数据读取
Flink 对接 Kafka 消费实时数据,配置消费者组、主题、序列化方式,实现实时读取消息队列数据。内置数据源、文件数据源、网络数据源、Kafka 主流数据源、自定义数据源。3、区分有界流(文件)、无界流(实时数据流)本地测试:集合、元素、Socket 数据源。线上实时业务:统一使用 Kafka 数据源。离线分析:本地文件、HDFS 文件。2、读取 HDFS 分布式文件。1、读取本地单行文本文件。
2026-05-20 00:37:32
228
原创 【Flink学习】(二)Flink 本地环境搭建,运行第一个入门程序
/ 1. 获取流执行环境// 设置全局并行度// 2. 读取本地文本文件作为数据源// 3. 数据拆分处理});// 分组求和统计次数.sum(1).print();// 5. 执行任务env.execute("第一个Flink入门程序");
2026-05-20 00:19:37
182
原创 【Flink学习】(一)初识 Flink,大数据实时计算核心认知
Apache Flink 是一款分布式、高性能、高吞吐、低延迟的开源流式计算引擎,支持流处理、批处理,目前大数据实时领域主流框架。
2026-05-20 00:16:10
244
原创 一文读懂华为云DataArts:企业数据管理一站式平台
在数据驱动的时代,华为云DataArts以一站式全生命周期管理、云原生弹性架构、低代码AI赋能、全链路安全可信、生态深度融合五大核心优势,解决企业数据管理全流程痛点,助力企业从“数据杂乱”到“数据治理”再到“数据价值释放”的跨越。无论你是互联网、金融、制造、政务还是零售行业,无论企业规模大小,DataArts都能适配需求,成为企业数字化转型的核心“数据引擎”,让数据真正成为驱动业务增长的核心生产力。
2026-05-14 09:36:43
550
原创 企微机器人消息推送(Python实现案例)
企微机器人推送,本质就是用一个带唯一密钥的 Webhook 地址,通过 HTTP POST 把 JSON 消息发给企微服务器,由它转发到指定群。具体可参考官网:https://developer.work.weixin.qq.com/document/path/99110。你的系统 / 脚本向这个 URL 发HTTP POST+JSON 消息体。全程是单向推送:你的系统→企微服务器→群成员,无需扫码、无需授权。企微服务端校验 key 合法后,把消息转发到对应群聊。下面把原理、流程、关键细节讲清楚。
2026-05-14 08:36:09
539
原创 Obsidian使用指南
Obsidian(黑曜石) 是一款主打本地私有、双向链接与知识网络的 Markdown 笔记与知识管理软件,常被用来构建个人 “第二大脑”。官方网站:https://obsidian.md/下载链接:https://obsidian.md/download。
2026-04-01 17:01:32
1418
原创 查看impala版本
在Apache Impala中,查看版本信息通常可以通过几种方法来实现。Apache Impala是一个开源的大数据查询引擎,它允许用户以SQL的方式查询存储在Hadoop上的数据。打开终端或命令提示符。
2026-03-31 16:22:54
83
原创 2026 最强开源 AI 智能体:OpenClaw,为什么全网都叫它 AI 龙虾?
OpenClaw 国内优化版:https://github.com/jiulingyun/openclaw-cn。GitHub 源码:https://github.com/openclaw/openclaw。官方文档(含中文):https://docs.openclaw.ai/zh-CN。技能市场(3000 + 插件):https://clawhub.ai/2、自动写代码、跑脚本、处理 Excel、发邮件、爬网页。官网:https://openclaw.ai/
2026-03-10 13:37:23
1655
2
原创 HBase集群连接方式
如果您已经创建了HBase集群,可以使用HBase Shell、Thrift server、Java api方式连接集群,进行数据业务操作。
2026-01-27 08:46:27
221
原创 压缩文件zip和rar格式有什么区别
采用 RAR 专有压缩算法(结合了 LZSS、LZ77 等改进算法),压缩率显著高于 ZIP,尤其是在压缩多个文件或大型文件包时,能节省更多存储空间。RAR 是 WinRAR 公司的专有格式,受专利保护,解压 RAR 文件虽然多数软件支持,但创建 RAR 文件通常需要付费购买 WinRAR 授权(个人用户可免费试用,但商业用途需付费)。ZIP是开放标准,无专利和版权限制,几乎所有操作系统(Windows、macOS、Linux、Android、iOS)都原生支持,无需额外安装软件就能解压。
2025-12-29 15:51:55
2572
机器学习02--K近邻算法
2018-11-08
机器学习09--决策树02
2018-11-08
笨办法学python
2018-10-18
数据分析--matplotlib绘图和可视化
2018-11-08
MySQL性能优化之参数配置
2018-11-08
python面试笔试题(现场应聘收集)
2018-10-18
机器学习01--机器学习入门知识(数据科学 5 机器学习介绍)
2018-11-08
机器学习03--决策树01
2018-11-08
集群搭建手册_CDH5.13.1版.docx
2020-03-11
Airflow安装配置和web端插件安装
2020-07-01
navicat 连接oracle 11g驱动包
2020-05-28
陀螺仪调度部署和使用(美云智数).rar
2020-05-14
Day2-pandas-Ⅰ.xmind
2020-01-13
Day3-pandas-Ⅱ.xmind
2020-01-13
Day4-pandas-Ⅲ.xmind
2020-01-13
Day7-pandas-Ⅳ:数据加载与透视表.xmind
2020-01-13
Day1-IPython与Numpy.xmind
2020-01-13
Day5-Scipy.xmind
2020-01-13
azkaban安装包(web+excutor)
2020-03-27
Day10-决策树与贝叶斯.xmind
2020-01-13
Day9-LinearRegression线性回归与逻辑斯蒂回归.xmind
2020-01-13
TensorFlow.xmind
2020-01-13
Day8-KNN.xmind
2020-01-13
Day6-matplotlib.xmind
2020-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅