fzip-CSDN博客

原创如何在实际应用中选择Blaze或Apache Gluten？

Blaze和Apache Gluten都是基于Spark插件机制实现的Native执行引擎，通过将Spark物理执行计划转换为中间格式，交由后端Native引擎执行。Blaze基于Rust和DataFusion开发，Gluten基于C++和Velox/ClickHouse开发，各有技术特点。

2025-08-29 18:00:24 549

原创 tez的dag和spark的dag有什么区别

Tez 的 DAG 是 “为 SQL 批处理优化的静态管道”，Spark 的 DAG 是 “为多场景设计的动态内存计算流”，两者分别在各自的领域（大规模批处理 SQL vs 多模态计算）展现优势。

2025-08-29 00:15:00 865

原创 hive on tez如果是2个大表union会写几次临时文件到hdfs目录，数据量如何计算

UNION（去重）：4 次临时文件写入，总数据量约3*(A + B) - C；实际数据量需结合压缩、过滤、重复率等因素调整，核心是 “每个 Stage 的输出都会产生临时文件”。

2025-08-28 16:20:44 845

原创 hive on tez为什么写表时，要写临时文件到hdfs目录

Hive on Tez写表时使用HDFS临时目录，并非“额外步骤”，而是分布式计算场景下保障数据可靠性、计算高效性的必然设计。

2025-08-28 16:17:15 646

原创记二次hdfs集群缓慢问题核查：dfs.namenode.handler.count高

业务侧使用hive进行数据ETL，原始数据每天有很多小文件（kb级别），业务同时处理2天的数据，大概60W+文件，加上hive insert overwrite 中写tmp的逻辑，会导致写hdfs目录操作数翻一倍（120万），直接把`hdfs namenode dfs.namenode.handler.count`这个参数打满，hdfs 元数据夯死，整个hive任务陷入死循环，task不停失败，不停重试，不停写hdfs。

2025-08-26 14:48:43 794

原创 id_rsa open ssh private key和rsa private key区别：Caused by: invalid privatekey:[B***

将 OpenSSH 格式私钥转换为 PKCS#1 标准格式，确保 Java 工具能正确解析

2025-08-14 15:31:20 741

原创 Spark在什么情况下CBO才会判断失误，如何避免

CBO 判断失误的核心原因是“统计信息不可靠”或“数据特性超出建模能力”。通过定期更新统计信息用 Hint 干预关键计划处理数据倾斜和简化复杂查询，可大幅减少失误概率。实际应用中，需结合 Spark UI 监控和执行计划分析，持续优化统计信息和查询逻辑，让 CBO 更好地发挥作用。

2025-08-08 15:15:02 844

原创生产环境Tomcat运行一段时间后，如何测试其性能是否满足后续使用

全面评估 Tomcat 的性能现状，定位潜在问题，确保其能支撑后续业务增长。

2025-08-08 09:54:10 791

原创数据库RBO-基于规则的优化器，常见优化策略

RBO基于规则的优化器

2025-07-31 17:45:53 956

原创 Sort Merge Join为什么是Spark中最优的join

Sort Merge Join 通过 “先分区（聚合同 Key）→ 再排序（整理顺序）→ 最后合并（线性匹配）” 的流程，将分布式环境下的大表连接转化为可并行的局部有序数据匹配，在内存有限、数据量大的场景中展现出远超 Hash Join 或 Broadcast Join 的稳定性和效率，因此成为 Spark 等框架处理大表连接的首选策略。

2025-07-31 14:24:23 1030

原创第一层nginx访问url如何透传到第二层nginx

实现第一层 Nginx 到第二层 Nginx 的 URL 完整透传，适用于需要多级代理且保留原始请求路径的场景。

2025-07-23 15:12:23 910

原创如何解决flink job有101个task，已完成100个，还有1个还在运行，但是已完成的100个task对应taskmanager不释放问题

显著提升 Flink 集群的资源利用率，避免因少数 Task 阻塞导致的资源浪费。

2025-07-18 19:33:54 649

原创如何解决一个flink on yarn集群上已经跑了一个job，再提交第二个job的时候，task报java heap size oom的问题

先通过YARN UI确认集群剩余资源，判断是“资源不足”还是“配置不合理”；若资源不足：降低现有Job的并行度/内存配置，或隔离队列；若配置不合理：调整TaskManager堆内存参数（如长期解决：扩容YARN集群资源，或优化Job代码避免内存浪费。通过以上步骤，可逐步定位并解决“第二个Job提交时Task OOM”的问题。核心原则是“让资源分配与实际需求匹配”，避免过度占用或配置不足。

2025-07-18 19:32:38 694

原创 flink sql读hive catalog数据，将string类型的时间戳数据排序后写入kafka，如何保障写入kafka的数据是有序的

实现从 Hive 到 Kafka 的有序数据传输。

2025-07-16 17:03:06 694

原创 flink sql如何对hive string类型的时间戳进行排序

通过先转换时间类型再排序，可有效解决 Hive 字符串时间戳的排序问题。注意根据实际格式选择正确的转换函数，并结合执行模式优化性能。

2025-07-16 16:53:44 548

原创 fuser

通过该命令，可快速定位端口占用问题，是 Linux 系统运维中的常用工具。

2025-07-10 16:31:48 186

原创 Doris的数据类型json和variant区别

如果数据严格符合 JSON 格式且需要复杂查询，选 JSON；如果数据类型多样或结构多变，选 Variant。

2025-07-08 16:00:29 630

原创 YARN container cpu超核如何解决

解决 YARN Container CPU 超核问题，提升集群稳定性和资源利用率

2025-07-07 19:47:32 365

原创 Linux中程序的limits中的Max open files的配置由哪些参数决定

有效提升系统允许的最大文件打开数，避免 "Too many open files" 错误。

2025-07-07 15:44:01 547

原创成为一名大数据平台SRE需要具备哪些专业SRE技能-概念

可量化、匹配业务优先级、基于用户体验、动态调整。

2025-07-02 16:27:41 904

原创在已有生产环境的主机上，安装docker需要注意什么

在生产环境主机上安装 Docker 需谨慎，避免影响现有服务。通过以上步骤，可确保 Docker 在生产环境中安全、稳定运行，同时避免对现有服务造成影响。

2025-07-02 15:45:20 1157

原创成为一名大数据平台SRE需要具备哪些技能？

领域核心技能大数据平台Hadoop/HDFS/YARN、Spark/Flink、Hive/HBase、Kafka、数据湖SRE方法论SLO/SLA、自动化运维、混沌工程、故障排查、容量规划编程Python/Shell/Java、SQL、分布式计算框架开发系统基础Linux、网络协议、分布式系统理论软技能跨团队协作、文档编写、技术方案设计通过技术深度（如精通Flink原理）工程实践（如落地自动化监控系统）方法论（如SLO驱动的可靠性提升）

2025-07-01 19:57:56 1183