fzip-CSDN博客

原创浅试MCP：spring ai使用mcp调用deepseek的API接口

通过 Spring AI + MCP + DeepSeek 的整合，开发者能快速构建支持工具调用的智能 Agent 系统。

2025-04-23 18:35:01 226

原创 nvme nvme0: controller is down； will reset: CSTS=0x3, PCI_STATUS=0x10

固态硬盘nvme报错

2025-04-16 21:11:45 368

原创 Doris部署生产集群最低要求的部署方案

Doris部署生产集群最低要求的部署方案

2025-04-16 20:51:56 1166

原创 Flink Hive Catalog最佳实践

Flink Hive Catalog最佳实践

2025-04-15 18:16:02 735

原创 Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to ‘Proc

方法为数据分配时间戳并生成水位线（Watermark），事件时间窗口仍会因缺少时间戳信息而报错。显式设置时间语义，Flink 无法从数据中获取有效时间戳，导致默认时间戳为。若业务允许基于处理时间计算，可直接替换为处理时间窗口（如。正确提取数据中的事件时间字段。水位线用于标记事件时间的进展。报错问题，并根据业务需求选择合适的时间语义。），避免窗口因等待延迟数据而过早关闭。），无需分配时间戳或生成水位线。中设置合理的乱序容忍时间（如。定义如何从数据中提取时间戳。或非时间戳值），仍会触发。

2025-04-14 10:04:07 760

原创 ES报错this action would add 2 shareds,but this cluster currently has 3000/3000 maximum normal shards o

尝试新建索引或写入数据时，若涉及分片分配（如索引自动创建、副本分配等），会触发此限制。建议优先清理无用索引，再优化分片分配策略。索引的副本分片（Replica Shard）过多、分片大小不均或未及时清理无用索引，可能导致分片数量快速达到上限。，这是 Elasticsearch 集群分片（Shard）数量达到上限导致的限制问题。若业务数据持续增长但未调整分片配额，或未合理规划分片分布（如单个节点承载过多分片），会加速分片耗尽。：此操作需谨慎，分片过多可能导致节点内存压力增大和性能下降。

2025-04-11 16:32:16 651

原创哨兵模式下，Redis主从同步原理，新增的Redis从节点如何同步

新增从节点的同步在哨兵模式下仍依赖Redis原生主从复制机制，但哨兵通过自动故障转移和状态监控增强了高可用性。合理配置同步参数和缓冲区大小，可有效提升同步效率与稳定性。

2025-04-11 09:41:29 385

原创 Redis的used_memory_peak_perc和used_memory_dataset_perc超过90%会怎么样

指标健康范围超过90%的风险场景<80%内存交换、持久化失败、OOM70%~90%写入拒绝、缓冲区溢出、碎片化加剧若需进一步诊断，可通过命令获取详细数据，并结合分析大Key分布。长期高内存占用建议升级实例规格或优化业务逻辑。

2025-04-09 17:39:08 776

原创 Kafka集群带NAT地址转换，客户端如何跟集群通信

要与配置了NAT地址转换的Kafka集群通信，需结合NAT映射规则和Kafka的监听配置，确保客户端能通过公网地址正确路由到内网服务。

2025-04-09 10:23:29 378

原创 Redis如何判断哨兵模式下节点之间数据是否一致

通过以上方法综合判断，可以较全面地评估哨兵模式下Redis节点的数据一致性状态。哨兵会持续监控主从节点的复制偏移量，若从节点偏移量落后主节点超过阈值，哨兵会触发警告或自动修复机制。分别在两个节点执行该命令，对比键列表是否完全一致（需注意此命令可能影响性能，慎用于生产环境）。命令模拟从节点同步主节点数据，观察同步过程中是否有错误或延迟，间接判断一致性。（客观下线）警告，这些状态可能暗示节点数据同步异常。命令获取每个键的值，比较主从节点的数据差异。

2025-04-08 21:07:26 389

原创 Redis哨兵模式下执行sentinel failover mymaster命令可能导致什么风险，如何避免

确保客户端（如 Jedis、Lettuce）支持自动感知主节点变更，并配置合理的重试机制。确保主节点和从节点的 RDB/AOF 持久化已完成，避免因未持久化数据导致丢失。优先依赖哨兵的自动故障转移机制，仅在必要时手动干预。切换后，确保新主节点完成数据加载和连接池初始化，再开放流量。避免在业务高峰期触发故障转移，减少对客户端的影响。切换后检查客户端日志，确认连接已切换到新主节点。将其提升为主节点，再通过哨兵更新配置。）的偏移量，确保差值在可接受范围内。（故障转移超时时间），避免误判。

2025-04-08 21:05:35 967

原创 flink cdc的source数据流如何配置事件时间，如何设置时间语义，分配时间戳并生成水位线

通过以上配置，Flink CDC 数据流即可正确使用事件时间语义，处理乱序数据并触发窗口计算。具体策略需根据业务延迟容忍度和数据特征调整。若使用 Flink 1.12+ 版本，事件时间已是默认语义，但仍建议显式设置以避免混淆。在 Flink CDC 中为 Source 数据流配置事件时间需要结合。CDC 数据（如 MySQL Binlog）通常包含变更时间字段（如。若数据严格有序（如 Kafka 分区有序），可直接使用此策略。此策略允许最大 5 秒的乱序延迟，适用于大多数业务场景。

2025-04-07 19:27:46 567

原创 org.apache.flink.configuration.Configuration cannot be cast to org.apache.flink.configuration.Delega

项目中引入了多个不同版本的 Flink 依赖，导致 JVM 类加载器加载了不同版本的。确保项目中所有 Flink 依赖的版本一致，并与集群环境版本匹配。，优先加载用户代码中的类。若用户代码中包含了 Flink 核心类（如。例如，用户自定义依赖中的 Flink 库与集群环境中的版本不一致。若仍无法解决，建议提供完整的依赖列表和代码片段以进一步分析。修改 Flink 的类加载顺序，使其优先加载集群环境的类（），可能导致同一类被不同类加载器加载，进而类型不兼容时，若两者的类加载来源不同或依赖冲突，会触发。

2025-04-07 19:25:50 567

原创 Caused by: java.lang.ClassNotFoundException: com.ververica.cdc.debezium.DebeziumDeserializationSchem

该问题的核心是类路径缺失或版本不兼容，需依次排查依赖配置、构建环境、部署流程及版本匹配。

2025-04-03 14:16:50 288

原创 java.lang.IllegalStateException: The “before“ field of UPDATE/DELETE message is null

Debezium 在捕获 PostgreSQL 表的变更数据（UPDATE/DELETE）时，必须获取操作前的行数据（即。执行 ALTER TABLE ... REPLICA IDENTITY FULL。PostgreSQL REPLICA IDENTITY设置。，使其完整记录变更前的行数据。验证 wal_level = logical。需要调整 PostgreSQL 表的。，导致变更日志中缺少完整的旧值。重新启动Flink CDC任务。并确保变更数据的完整捕获。Flink CDC任务报错。

2025-04-02 18:20:56 844

原创 Linux的TCP连接数到达2万，其中tcp_tw、tcp_alloc、tcp_inuse都很高，可能出现什么问题

当 TCP 连接数达到 2 万且关键指标高位运行时，需重点关注端口资源内存压力队列溢出和应用性能。通过调整内核参数、优化应用设计、使用长连接和监控工具，可以有效缓解问题。对于超大规模场景，可能需要结合负载均衡或内核旁路技术进一步优化。

2025-04-02 14:32:11 1336

原创 Flink将双流join后的结果封装成一个java对象，写入doris

首先需定义与 Doris 表结构对应的 POJO 类。假设 Join 后的结果包含userIdorderIdamount// 无参构造函数（Flink POJO 必须）// 全参构造函数// Getter/Setter 方法（Flink 反射依赖）// 其他字段类似...通过 Flink-Doris-Connector 实现 Join 结果写入 Doris 的核心步骤包括：对象封装、序列化、Sink 配置及参数调优。

2025-04-01 20:37:15 453

原创 Flink双流join中，KeySelector如何使用

在Flink双流Join操作中，用于定义两个流中元素的关联键，其核心作用是将数据按相同逻辑分区，确保相同键的元素进入同一窗口或时间区间进行关联。

2025-04-01 20:36:44 673

原创 Flink在双流Join中，window如何选择

在Flink双流Join中，窗口（Window）的选择直接影响数据关联的准确性、时效性和资源消耗。

2025-03-31 17:59:38 924

原创 ORC和Parquet同为列存储，他们有什么先天的区别

优先ORC：若使用Hive且需要事务支持，或数据重复率高、追求极致压缩。优先Parquet：若处理嵌套数据、跨平台（如Spark、数据湖），或需灵活压缩算法。两者的差异源于设计目标的根本不同：ORC偏向Hive生态的深度优化，Parquet则追求通用性与复杂数据兼容性。

2025-03-31 01:00:00 985

原创 Flink项目工程代码管理规范

通过以上规范，可确保双流 Join 项目的代码可维护性和运行稳定性。实际开发中需结合业务需求灵活调整，同时参考 Flink 官方文档进行优化。

2025-03-30 02:45:00 1656

原创 hudi和iceberg在功能和场景上都有什么优缺点

两者均在快速迭代中，Hudi 逐步增强并发能力（如异步索引），Iceberg 也在优化实时流处理（如 Flink 深度集成），需结合最新版本特性评估。Apache Hudi 和 Iceberg 作为主流数据湖表格式，在功能和适用场景上各有侧重。

2025-03-30 02:15:00 457

原创 NVIDIA H200 Tensor Core GPU简介

内存与带宽：141GB HBM3e内存（4.8TB/s带宽），容量和带宽较H100提升近2倍和1.4倍。性能提升LLM推理性能达H100的2倍（如Llama2 70B）。HPC应用性能提升最高110倍（如科学仿真）。能效与成本：相同功耗下优化TCO，降低大规模部署成本。企业支持：H200 NVL支持多GPU互联，提供灵活配置和1.7倍LLM推理加速；搭配NVIDIA AI Enterprise软件生态，简化企业AI开发与部署。技术规格。

2025-03-29 09:42:14 950

原创 NVIDIA H100 Tensor Core GPU

NVIDIA H100 Tensor Core GPU为各类工作负载提供卓越性能、可扩展性和安全性。基于NVIDIA Hopper架构的突破性创新，H100在大型语言模型推理上将性能提升30倍，为对话式AI树立行业标杆。，提供60万亿次FP64计算性能，并通过动态编程指令（DPX）实现7倍性能提升。，在保持低延迟的同时，相比A100系统性能提升达5倍，为数据中心提供最优性能与扩展能力。（注：所有性能数据均为实验室测试结果，实际应用可能有所变化，具体配置详见原始技术文档）（注：*表示支持稀疏计算）

2025-03-29 09:41:19 355

原创英伟达GPU SKU设计核心策略

英伟达的GPU SKU（库存单位）设计基于多维度技术分层与市场需求，通过架构迭代、硬件配置差异化和应用场景细分实现产品矩阵的精准覆盖。以下是其设计策略的核心要点：英伟达通过架构代际划分构建技术壁垒，不同代际的GPU对应不同性能梯度的SKU。例如：不同代际的SKU通过核心数量（如CUDA Core、RT Core）和频率差异形成性能梯度。例如，消费级RTX 40系列中，RTX 4090与RTX 4080的核心数差异达30%，频率差距约15%，以区分高端与次旗舰市场。以下是基于图片信息整理的NVIDIA GPU

2025-03-28 16:30:50 622

原创 postgres中CREATE PUBLICATION dbz_publication FOR ALL TABLES什么用，relreplident是什么意思

通过此命令，PostgreSQL 成为一个高效的数据源，支持现代数据架构中的实时数据流转需求。实际使用时需结合订阅（复制标识决定了在逻辑复制（Logical Replication）过程中，如何唯一标识表中的一行数据。）和工具链（如 Debezium）完成端到端配置。在 PostgreSQL 中，执行。复制标识支持以下四种模式，通过。中的一个字段，用于表示表的。PostgreSQL 中的。

2025-03-28 16:06:44 936

原创窗口函数返回值未继承时间属性报错：OVER windows‘ ordering in stream mode must be defined on a time attribute.

在 Flink SQL 中，TIMESTAMP，时间属性需要显式声明（事件时间或处理时间）才能用于窗口操作。OVERORDER BYWATERMARKPROCTIME()TIMESTAMP如果使用或生成窗口起始时间（如），但或proc_time未正确声明为时间属性，则也不会自动继承时间属性。若时间属性字段参与了计算（例如），则会被物化为普通时间戳，失去时间属性特性，导致无法用于ORDER BY。在表定义中通过WATERMARK或PROCTIME()

2025-03-27 00:45:00 1754

原创 Flink watermark的时间字段有空值，建表的时候，如何处理

并配合 Watermark 空闲检测机制，确保流处理作业的稳定性。若需更复杂的空值补偿逻辑，可结合 Flink 状态编程（如。对空值比例进行监控（如通过 Flink Metrics 或日志告警），避免因大量空值导致时间语义失效。来避免因空值导致的窗口计算异常或任务失败。在 Flink 中处理时间字段存在空值时，需通过。在 DataStream API 中通过实现。若表定义包含主键，需确保替代时间字段（如。针对因空值导致的延迟数据，通过。）的生成逻辑不影响唯一性约束。

2025-03-27 00:15:00 439

原创数据源为postgres的多表关联flink开发需求，开发思路

此错误表明 PostgreSQL 数据库当前处于恢复模式（如备用节点或崩溃恢复中），而逻辑解码（Logical Decoding）功能（用于 CDC 数据捕获）在此模式下不可用。通过以上思路，可实现高可靠、低延迟的 PostgreSQL 多表关联 Flink 程序，需根据具体业务需求（如实时性要求、数据规模）灵活调整方案。

2025-03-26 01:30:00 1352

原创 Doris通过时间字段，按照周分组统计的sql

通过上述方法，可灵活应对不同业务场景下的按周统计需求，推荐优先使用。若需更直观的日期范围展示，可结合动态周起止日期计算。

2025-03-26 00:15:00 541

原创数据安全动态基线定义，和安全阈值有什么区别

数据安全动态基线定义与安全阈值在目标、应用方式和功能定位上存在本质区别，以下是两者的对比分析：数据安全动态基线安全阈值数据安全动态基线的生成依赖于机器学习与规则引擎的深度融合，二者通过互补机制实现基线动态调整与风险实时感知，其核心逻辑可分为以下三个层级：无监督学习构建初始基线基于用户、设备、应用及数据的多维实体行为日志，采用核密度估计、聚类算法及孤立森林等无监督学习模型。例如：强化学习优化基线阈值在噪声干扰场景（如传感器误报、节假日流量波动），通过强化学习结合人类反馈动态调整基线阈值。例如水厂系统误判高

2025-03-25 01:00:00 726

Linux常用命令以及使用样例.pdf

空空如也