常生果-CSDN博客

转载 Spark RDD 详细介绍

　　RDD(Resilent Distributed Datasets)俗称弹性分布式数据集,是Spark 底层的分布式存储的数据结构,可以说是 Spark 的核心, Spark API 的所有操作都是基于 RDD 的. 有容错机制并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD只是数据集的抽象，分区内部并不会存储具体的数据。 R...

2018-09-13 17:47:58 1164

ThreadLocal是什么　　ThreadLocal并非是一个线程的本地实现版本，它并不是一个Thread，而是thread local variable（线程局部变量）。线程局部变量（ThreadLocal）的功用非常简单，就是为每一个使用该变量的线程都提供一个变量值的副本，是每一个线程都可以独立地改变自己的副本，而不会和其它线程的副本冲突。从线程的角度看，就好像每一个线程都完全拥有该变量。　　ThreadLocal的接口：　　Ob

2010-11-26 10:08:00 1394 1

原创【python】Tesseract-OCR训练字库

Tesseract识别支持自己训练的字库，自己训练出来的字库一般具有轻量、有针对性、识别率高的特点，那么本教程就手把手教你如何制作适合自己脚本的字库文件，并且如何用IDE工具调试偏色保证识别效果。

2025-04-13 20:33:43 1048

原创【Python】Mac安装Tesseract详解

OpenCV本身不具备OCR识别功能，但可以通过与Tesseract结合使用，Tesseract是一个开源的OCR（Optical Character Recognition）引擎，OCR是一种技术，它可以识别和解析图像中的文本内容，使计算机能够理解并处理这些文本。Tesseract提供了丰富的配置选项和接口，使得开发者可以根据自己的需求和场景进行定制化和集成。通过使用Tesseract，你可以将一张包含文字的图像（如扫描文档、照片或截屏）输入到引擎中，然后Tesseract会通过一系列的图像处理和模式识别

2025-04-13 19:20:49 859

原创【Python】OpenCV 详解入门教程

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库，它提供了从基本操作到复杂算法的广泛工具集。无论你是图像处理的新手还是希望提升技能的专业人士，OpenCV都能成为你的强大助手。OpenCV是一个跨平台的库，它实现了多种编程语言的接口，包括Python。它被广泛用于实时图像处理、对象检测、人脸识别、视频分析等领域。使用OpenCV，我们可以轻松地读取、处理和保存图像，以及执行复杂的图像分析任务。

2025-04-13 12:20:13 900

原创 Mac如何更换终端默认的python版本

2.在打开的配置文件中输入（以下代码3.12替换为所下载的版本即可）5.在终端输入python或者python3检测更换成功。一、Mac中如何更换终端默认的python版本。#下面是修改python版本的命令就是环境变量。3.Command+s保存文件后关闭文件。1、打开终端输入下列代码，打开配置文件。mac电脑的python环境。4.回到终端窗口执行以下代码。

2025-04-12 23:56:05 286

原创 Python安装Matplotlib

Matplotlib 是一款用于数据可视化的 Python 软件包，支持跨平台运行，它能够根据 NumPy ndarray 数组来绘制 2D 图像，它使用简单、代码清晰易懂。库的构成Figure：指整个图形，您可以把它理解成一张画布，它包括了所有的元素，比如标题、轴线等Axes：绘制 2D 图像的实际区域，也称为轴域区，或者绘图区Axis：指坐标系中的垂直轴与水平轴，包含轴的长度大小（图中轴长为 7）、轴标签（指 x 轴，y轴）和刻度标签。

2025-04-12 22:17:35 196

原创 Mac电脑Pytorch环境配置

PyTorch是一个用于机器学习和深度学习的开源深度学习框架，由Facebook于2016年发布，其主要实现了自动微分功能，并引入动态计算图使模型建立更加灵活。Pytorch可分为前后端两个部分，前端是与用户直接交互的python API，后端是框架内部实现的部分，包括Autograd，它是一个自动微分引擎。Pytorch基于已有的张量库Torch开发，在PyTorch的早期版本中，使用的是Torch7，后来随着PyTorch的发展，逐渐演变成了PyTorch所使用的张量库。

2025-04-12 21:21:48 904

原创【Java版】OpenCV-图片亮度对比

1.1 什么是对比度对比度是指图像中相邻像素之间亮度或颜色的差异程度。对比度越高，图像中不同区域之间的颜色差异越明显。对比度的提高可以使图像看起来更加清晰和生动。1.2 为什么要增加对比度增加图像的对比度可以使图像更加清晰，更具视觉吸引力。在一些图像处理应用中，如图像识别、目标检测等任务中，高对比度的图像能够提高算法的准确性和性能。1.3 OpenCV图片增加对比度在图像处理领域，对比度是指图像中亮度不同区域之间的差异程度。提高图像对比度可以使图像看起来更加清晰和生动。

2025-04-02 07:55:38 738

原创【Java版】OpenCV-Laplacian边缘检测和轮廓查找

在Java环境下实现Laplacian边缘检测提供了便利。通过JavaCV，我们可以轻松地将Laplacian缘检测算法应用到各种图像处理项目中，充分发挥其优势。在图像处理领域，边缘检测是一项至关重要的任务。图像中的边缘包含了丰富的信息，例如物体的轮廓、区域的边界等。边缘检测算法有多种，其中Laplacian边缘检测算法以其精确性和可靠性而备受关注。Laplacian边缘检测算法的目标是在尽可能减少噪声影响的同时，准确地检测出图像中的边缘。

2025-04-01 22:16:18 383

原创【Java版】OpenCV-Sobel边缘检测和轮廓查找

在Java环境下实现Sobel边缘检测提供了便利。通过JavaCV，我们可以轻松地将Sobel边缘检测算法应用到各种图像处理项目中，充分发挥其优势。在图像处理领域，边缘检测是一项至关重要的任务。图像中的边缘包含了丰富的信息，例如物体的轮廓、区域的边界等。边缘检测算法有多种，其中 Sobel边缘检测算法以其精确性和可靠性而备受关注。Sobel边缘检测算法的目标是在尽可能减少噪声影响的同时，准确地检测出图像中的边缘。

2025-04-01 22:09:29 452

原创【Java版】OpenCV-Canny边缘检测和轮廓查找

在Java环境下实现Canny边缘检测提供了便利。通过JavaCV，我们可以轻松地将Canny边缘检测算法应用到各种图像处理项目中，充分发挥其优势。在图像处理领域，边缘检测是一项至关重要的任务。图像中的边缘包含了丰富的信息，例如物体的轮廓、区域的边界等。边缘检测算法有多种，其中 Canny边缘检测算法以其精确性和可靠性而备受关注。Canny边缘检测算法的目标是在尽可能减少噪声影响的同时，准确地检测出图像中的边缘。

2025-04-01 21:59:06 507

原创【Java版】OpenCV边缘检测

JavaCV是一个在Java平台上用于计算机视觉的库，它为我们在Java环境下实现Canny边缘检测提供了便利。通过JavaCV，我们可以轻松地将Canny边缘检测算法应用到各种图像处理项目中。边缘检测是一项至关重要的任务。图像中的边缘包含了丰富的信息，例如物体的轮廓区域的边界等。边缘检测算法有多种，其中Canny边缘检测算法以其精确性和可靠性而备受关注。Canny边缘检测算法的目标是在尽可能减少噪声影响的同时，准确地检测出图像中的边缘。如 Canny 、Sobel 、Laplacian 算子等。

2025-04-01 21:39:09 443

原创【Java版】OpenCV实现窗口图片显示

JavaCV是一个基于OpenCV的Java接口，使得Java开发者能够更方便地使用OpenCV库。图片展示是在图片处理过程中，经常遇到的且方便调试的主要的功能之一。

2025-04-01 20:20:59 219

原创【Java版】OpenCV图片灰度化处理

JavaCV是一个基于OpenCV的Java接口，使得Java开发者能够更方便地使用OpenCV库。灰度图是一种只包含亮度信息的图像，每个像素的值表示其亮度。相比于 RGB 彩色图像，灰度图不仅使用了较少的存储空间，而且在某些图像处理时，处理速度也更加迅速。因此，灰度图在图像分析、模式识别等领域有着广泛的应用。

2025-04-01 19:48:02 370

原创【Java版】 JavaCV 视觉处理库详解

JavaCV 是基于 OpenCV 和其他计算机视觉/多媒体库的 Java 接口，提供了 Java 平台上的高效计算机视觉和音视频处理能力。它封装了多个底层 C/C++ 库（如 OpenCV、FFmpeg、libdc1394 等），并通过 Java Native Access（JNA）或 JavaCPP 技术实现 Java 调用，使开发者能在 Java 或 Android 项目中轻松使用这些功能。OpenCV、ARToolKitPlus、libdc1394 2.x 、PGR FlyCapture 和。

2025-04-01 19:37:18 1121

原创 OpenCV的介绍

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库，图像处理：滤波、边缘检测、色彩转换、几何变换（旋转/缩放）、形态学操作等。视频分析：运动检测、目标跟踪、光流计算、背景减除等。特征提取与匹配：SIFT、SURF、ORB、角点检测、描述符匹配等。物体检测与识别：人脸/眼睛检测（Haar级联、DNN）、文字识别（OCR）、目标检测（YOLO、SSD）等。3D重建：立体视觉、深度图生成、相机标定、SLAM（如ORB-SLA）

2025-04-01 19:04:31 439

原创【AI】Mac本地部署DeepSeek与Chatbox整合

Chatbox是一款基于Tauri的跨平台开源客户端应用程序，简单易用。除了 Ollama 之外，我们还通过 API 支持其他几种流行的大型模型。推荐理由跨平台客户端应用程序，支持Windows/ MacOS/ Linux/ iOS/ Android。除了 Ollama 之外，它还支持多种大型语言模型。无需部署本地应用程序即可使用。chatBox下载地址选择Intel版本进行安装选择：使用自己的API Key 或本地模型选择deepSeek模型正常交互对话命令窗口交互。

2025-02-18 21:01:35 505

原创【AI】Mac 本地化部署Deepseek

deepSeek专注于开发先进的大语言模型（LLM）和相关技术。DeepSeek是一款由国内人工智能公司研发的大型语言模型，拥有强大的自然语言处理能力，能够理解并回答问题，还能辅助写代码、整理资料和解决复杂的数学问题。与OpenAI开发的ChatGPT相比，DeepSeek不仅率先实现了媲美OpenAI-o1模型的效果，还大幅降低了推理模型的成本。其新模型DeepSeek-R1以十分之一的成本达到了GPT-o1级别的表现，引发海外AI圈的广泛讨论。本文主要是本地部署deepSeek应用。

2025-02-18 17:45:32 1012

原创【AI】Mac安装Ollama和deepSeek REST API交互

‌Ollama是一个开源的本地大语言模型运行框架，设计用于简化在本地运行大型语言模型的过程，降低使用门槛。‌它通过简单的安装指令，使得用户可以通过一条命令在本地运行开源大型语言模型，例如Llama2。Ollama保留了类似Docker的操作习惯，支持上传和管理大语言模型仓库，包括DeepSeek、Llama 2、Mistral、Qwen等模型。③可扩展：Ollama支持多种模型架构，并可以扩展以支持新的模型。它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。

2025-02-18 16:25:40 519

原创 Mac电脑python环境搭建

以上操作就是使用easy_install这个软件和包管理工具，去将符合当前默认python版本的pip工具从镜像源上下载安装好了，安装完成之后可以使用pip -version这个命令来查看能够正常使用。mac操作系统是自带了有python2.7这个版本的，但是它没有idle、pythonLauncher以及pip等附带工具，还需要自己去将其下载安装才可以。因此，在安装matplotlib之前，需要确保你的Mac上安装了Xcode命令行工具，因为它们包含了编。Homebrew安装的软件包，只需在终端中输入。

2025-02-18 15:13:29 4057 1

原创【面试】面试官让我谈谈ThreadLocal的使用

首先是ThreadLocal能干啥的问题,我们知道解决多线程的并发问题,最常见的思想就是加锁，我们很轻易的就能想到Synchronized关键字，但是使用synchronized关键字加锁会导致程序的性能降低。synchronized主要使用时间换空间,侧重于多线程程序的同步性threadlocal主要是用空间换时间，侧重于线程之间的隔离并发场景下，会存在多个线程同时修改一个共享变量的场景。这就可能会出现。为了解决线性安全问题，可以用加锁的方式，比如使用或者Lock。但是加锁的方式，可能会导致系统变慢。

2024-11-08 00:14:03 837

原创【面试】考官问我如何实现分布式锁？

分布式锁是一种在分布式系统环境下，通过多个节点对共享资源进行访问控制的一种同步机制。它的主要目的是防止多个节点同时操作同一份数据，从而避免数据的不一致性。基于Mysql实现分布式锁，基于Zookeeper实现分布式锁，基于reids实现分布式锁。设计分布式锁的原则：1，加锁和释放锁必须是同一个客户端。2，互斥性，同一时刻只能有一个线程获得锁。3，可重入性，当一个线程获取锁后，还可以再次获取这个锁，避免死锁发生。4，高性能，要做到高并发、低延迟；5，高可用，当小部分节点挂掉后，仍然能够对外提供服务。

2024-11-07 22:41:37 1181

原创【Mysql】详解数据库的分库分表

当MySQL单表数据量过大，比如超过5千万条的时候，读写性能变得很差。而且常规的优化手段已经不起作用了，比如：SQL调优、添加索引、主从复制、读写分离。这时候就需要用到MySQL终极优化方案 — 分库分表。当数据库的QPS过高，数据库连接数不足的时候，就需要分库。当单表数据量过大，读写性能较差，就需要分表。当两者都有的时候，就需要分库分表。垂直分库分表以及分库分表的多种策略：范围法，基因法，Hash取模法以及路由配置法等。

2024-11-07 21:38:14 1161

原创【面试】考官问我如何实现分库分表？

2024-11-07 19:43:04 1005

原创【Mysql】雪花算法（Snowflake）

雪花算法（Snowflake）是一种生成全局唯一ID的分布式算法。它的主要功能是在分布式系统中生成一个全局唯一的ID，且ID是按照时间有序递增的。Snowflake 中文的意思为雪花，所以 Snowflake算法常被称为雪花算法，是 Twitter（现“X”）开源的分布式 ID 生成算法，是一种分布式主键ID生成的解决方案。生成后是一个 64bit 的 long 型的数值，组成部分引入了时间戳，基本保持了自增。互联网大厂实现的雪花开源项目：二、核心思想Snowflake算法使用一个64位的二进

2024-11-07 18:49:52 2900

原创【面试】考官问我MySQL如何实现高并发电商订单ID

雪花算法（Snowflake）是一种生成全局唯一ID的分布式算法。它的主要功能是在分布式系统中生成一个全局唯一的ID，且ID是按照时间有序递增的。Snowflake算法使用一个64位的二进制数字作为ID。这64位long型ID被分割成四个部分：符号位、时间戳、工作机器ID、序列号。通过这几部分来表示不同的信息，将数据映射到具有特定结构的分布式系统中，实现数据的存储和查询。雪花算法广泛应用于分布式系统中的唯一ID生成。它可以保证在分布式环境中生成的ID是唯一且有序的。常见的应用场合包括订单号生成、分布式数据。

2024-11-07 13:01:51 523

原创【面试】考官问我如何用 Redis 统计独立用户访问量？

Linear算法和位图类似，但实际使用的不多，这里不多做介绍了。本文要介绍的Redis HyperLogLog，从名字也可以看出来，Redis实现是基于HyperLogLog Counting（HLLC）算法的，HyperLogLog是LogLog算法的一个改进和优化，后面我们会一起讲解这两个算法，并学习HyperLogLog是如何在LogLog的基础上改进的。Redis HyperLoglog最多使用12k内存来进行基数统计，并且误差可以保持在0.81%左右。

2024-11-07 12:24:18 1091

原创【面试】谈谈SpringBoot的@Import用法

SpringBoot自动装配，就是默认使用ImportSelector的方式加载META-INF/spring.factories中指定的配置类。导入 ImportBeanDefinitionRegistrar 实现类。导入 ImportSelector 实现类。一般用于加载配置文件中的类。，这个注解的作用：使用@import导入的类。，用于导入配置类或者需要被Spring。

2024-11-06 13:03:59 283

原创【面试】Spring Boot 监视器

在 Spring Boot 中，监视器（）是一个用于监控和管理应用程序的模块，提供了丰富的功能和端点（endpoints），可以帮助开发人员实时查看应用程序的运行状态、性能指标和健康状况，以及执行一些管理操作。监视器模块的主要目的是让开发人员更方便地监控和管理应用程序，帮助他们发现潜在问题、优化性能和提高可靠性。Spring Boot提供了自动配置模块用于支持 SpringBoot 应用的监控。Spring Boot Actuator模块提供了生产级别的功能，比如。

2024-11-06 12:13:59 332

原创【SpringBoot】WebMvcConfigurer的工作原理

WebMvcConfigurer是Spring MVC框架中的一个核心接口，它允许开发者自定义Spring MVC的配置，以满足应用程序的特定需求。通过实现这个接口，开发者可以注册拦截器、添加视图控制器、配置视图解析器等，而无需使用XML配置。@OverrideWebMvcConfigurer是一个回调接口，它提供了一系列方法来配置Spring MVC的行为。

2024-11-05 20:35:25 1528

原创【面试】SpringBoot如何解决跨域

因为你同源策略原因，浏览器回组织不同域名的网络请求，SpringBoot解决跨域问题有很多种办法，WebMvcConfigurer和@CrossOrigin注解是最常用的解决办法。使用WebMvcConfigurer接口来添加全局的跨域配置。可以重写addCorsMappings方法来设置允许跨域的规则。使用 `@CrossOrigin` 注解，特定的控制器或方法上配置跨域

2024-11-05 19:36:29 224

原创【面试】Redis中Bitmap、布隆过滤器和Hypeloglog区别

Redis中的Bitmap（位图）是一种较为特殊数据类型，它以最小单位bit来存储数据，我们知道一个字节由 8个 bit 组成，和传统数据结构用字节存储相比，这使得它在处理大量二值状态（true、false 或 0、1等只有两种状态）数据时具有极高的空间效率。不过，它不是一种全新的数据类型，其底层实现仍是基于 String 类型。HyperLogLog（HLL）和Bloom Filter（布隆过滤器）是两种常用于大规模数据处理的概率数据结构，它们用于解决不同的问题，并具有不同的特性和应用场景。

2024-11-05 17:23:07 806

原创【Redis】应用场景-布隆过滤器（Bloom Filter）

BloomFilter 的算法是，首先分配一块内存空间做 bit 数组，数组的 bit 位初始值全部设为 0。加入元素时，采用 k 个相互独立的 Hash 函数计算，然后将元素 Hash 映射的 K 个位置全部设置为 1。检测 key 是否存在，仍然用这 k 个 Hash 函数计算出 k 个位置，如果位置全部为 1，则表明 key 存在，否则不存在。

2024-11-05 16:42:47 753

原创【Redis】应用场景-统计海量 UV日活（HyperLogLog）

Redis 提供了一种高效的解决方案：HyperLogLog。HyperLogLog 是一种基数估算算法，能够在常量时间内对集合中不同元素的近似数量进行快速估算。本文就来详细介绍下如何使用 Redis 统计海量 UV。HyperLogLog 是一种基数估算算法，可以用于快速计算一个集合中的不同元素数量的近似值。hyperloglog 算法，利用非常少的空间，实现比较大的数据量级统计；

2024-11-05 16:27:29 1063

原创【Redis】应用场景-排行榜（ZSet）

我们将全面解析 Redis 的 Zset 类型。我们将从 Zset 的基本概念和特性开始，然后深入到它的内部实现和性能优化。我们还将通过实际的示例来展示如何在实际应用中使用 Zset。无论你是刚接触 Redis，还是已经有一定经验的开发者，我相信你都能从这篇文章中学到一些有用的知识。在 Redis中Zset（有序集合）类型可能是最复杂，但也是最强大的一种。Zset 不仅可以存储键值对，还可以为每个元素分配一个分数，然后根据这个分数进行排序。这使得 Zset 非常适合用于实现排行榜、时间线等功能。

2024-11-05 15:17:46 2097

原创【Redis】应用场景-统计访问次数（BitMap）

本文详细介绍了Redis中的位图操作，包括SETBIT用于设置二进制位，BITCOUNT统计位图中1的个数，BITPOS查找指定值的二进制位位置，以及BITFIELD在位图中存储和操作整数值。位图在内存管理和统计场景中具有高效性，BITFIELD提供了灵活的数据存储和计算选项。

2024-11-04 19:39:51 1347

原创【面试】后端项目为何要使用Redis？

Redis是单进程模型，采用单线程架构，避免了多线程的竞争开销，适合高并发环境。10w/s的处理速度，DB理想状态是1w/s,DB数据落盘，磁盘是网络IO的性能主要影响之一，Redis主要是内存，响应速度是非常快。分布式锁、订阅发布/消息队列、事务等，都是它的辅助，完全可以由其他中间健代替，没有必要完全使用它，之所以使用Redis关键还是他的。的耗时操作要有进度提示，并且可以随时中止或取消，这样才能给用户最好的体验。pipline批处理，可以达到100w/s的理想速度。那么，经过周密的计算，一。

2024-11-04 12:56:08 326

原创【面试】Redis6.0 之前为什么一直不使用多线程？

Redis 在 6.0 版本之前一直采用单线程架构，这是因为 Redis 主要是内存操作，单线程模型足以应对大部分高性能场景。而单线程模型的优势在于避免了多线程带来的上下文切换和锁的开销，使得 Redis 保持极高的性能和简单性。

2024-11-04 12:20:56 994

原创【面试】Redis 与 Memcached的区别

而Redis集群化采用的是每个节点维护一部分虚拟槽位，通过key的哈希计算，将key映射到具体的虚拟槽位上，这个槽位再映射到具体的Redis节点。缺点一旦某个请求处理耗时比较长，那么整个Redis就会阻塞住，直到这个请求处理完成后返回，才能处理下一个请求，使用Redis时一定要避免复杂的耗时操作。从支持的数据类型来讲，Redis的支持的数据类型比Memchaced的文本和二进行类型要丰富很多，它还支持List，Set，hash,Zset等多种数据类型。，主线程接收到请求后，分发给子线程处理。

2024-11-04 12:13:35 918