SpringBoot + MinIO 轻松构建对象存储服务，支持私有化部署！

于 2024-08-14 10:43:06 发布
阅读量722 收藏 5
点赞数 30
文章标签： spring boot 人工智能 自然语言处理 ai大模型 LLM 私有化部署 大模型应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhishi0000/article/details/141184519
版权

01、背景介绍

在实际的软件系统开发过程中，经常避免不了需要用到文件存储服务。

例如，对于小型的网站系统，通常会将文件存储服务和网站系统部署在一台服务器中，以实现低成本的资源投入，如果访问量不大，基本上没什么问题。当访问量逐渐升高，此时网站的文件资源读取越来越频繁，单台服务器可能难以承载较大的请求量，这个时候网站可能会出现打不开，甚至系统异常等问题。

当出现这个场景，很容易第一时间想到将文件采用云存储服务来解决。所谓云存储服务，简单的说，就是将访问很频繁的文件资源服务，由本地改成云厂商提供的文件存储服务，比如阿里云 OSS、七牛云、腾讯云、百度云等等，迁移之后，网站的访问压力会得到极大的释放，服务也会变得更加稳定。但是，这些云存储服务大部分都是收费的，以阿里云为例，数据存储通常按照 0.12 元/GB/月的标准来收费，虽然便宜，但是日积月累下来也是一笔不小的开支啊。

为了节省成本，很多项目团队会自己搭建一套云存储服务，比如采用开源的 fastDFS 工具来作为文件存储服务器，虽然能性能不错，但是软件安装环境非常复杂，最重要的是没有一个完整的技术文档，大部分都是某某公司或者某某网友自己总结的文档，每次维护起来很是麻烦。

直到出现了 MinIO，云存储服务工具又多了一个新的可选项。

MinIO 是一款号称世界上速度最快的对象存储服务器，专为大规模数据存储和分析而设计。它支持在各种环境中部署，包括物理服务器、虚拟机、容器等，最关键的是它的技术文档非常完善，非常容易上手；同时，对个人用户是完全开源免费的。

今天通过这篇文章，我们一起了解一下如何利用 MinIO 来搭建一套属于自己的云存储服务。

02、方案实践

2.1、minio 快速安装

minio 工具的安装非常简单，如果你本机安装了 Docker 容器，可以通过 Docker 命令一键实现安装操作。

以 windows 操作系统为例，安装命令如下。
在这里插入图片描述

相关参数解读：

  • docker run：表示启动运行容器
  • -p：表示为容器绑定一个本地的端口
  • -name：表示为容器创建一个本地的名字
  • -v：表示将文件路径设置为容器使用的持久卷位置。当 MinIO 将数据写入 /data时，该数据会镜像到本地路径~/minio/data, 使其能够在容器重新启动时保持持久化。您可以设置任何具有读取、写入和删除权限的文件路径来使用。
  • -e：表示设置登陆控制台的用户名和密码。其中控制台的访问地址为http://本机ip:9001，api 的访问地址为http://本机ip:9000。

如果没有 docker 容器，可以采用软件包方式进行安装，具体实现方式可以参考官网文档，地址如下。

https://minio.org.cn/docs/minio/container/index.html

服务启动成功之后，在浏览器中访问http://127.0.0.1:9001地址，会看到类似于如下界面。

图片

输入上文设置的用户名和密码，即可登陆！

2.2、minio 使用介绍

登陆成功之后，会看到类似于如下的主界面。

图片

由于官方并没有提供汉化版，如果想要实现中文展示，可以使用浏览器插件进行翻译，翻译之后的内容如下。

图片

在对象存储服务里面，所有的文件都是以桶的形式来组织的。简单的说，你可以将桶看作是目录，这个目录下有很多的文件或者文件夹，这和其它云存储服务基本一致。

下面我们一起来快速体验一下！

2.2.1、创建存储桶

所有的文件必须要存储到桶中，因此我们需要先创建一个存储桶。

图片

如果想要修改存储桶信息，点击左侧的Buckets菜单，就可以看到相关的存储桶配置信息。

2.2.2、上传和下载文件

存储桶创建完成之后，就可以上传文件了。

点击Object Browser菜单，可以看到刚刚创建的存储桶public-bucket，点击进入，上传我们想要存储的文件了。

图片

图片

图片

如果想要下载文件或者预览文件，点击文件，右侧会弹出相关的操作按钮，点击相应的操作按钮就可以了。

2.2.3、设置文件公开访问

默认创建的存储桶，都是私有桶，也就是说无法被公开访问。

图片

以上文的文件为例，如果以 api 的方式直接访问，会提示无权限，示例如下：

图片

通常来说，我们会将数据写入操作进行控制；对于读操作，很多不涉及安全问题的，我们希望能被互联网公开访问，以便加快文件的访问速度，此时如何实现呢？

可以在存储桶里面配置，将数据读取权限设置为公开访问，操作示例如下：

图片

此时，我们再次以 api 的方式访问，结果如下：

图片

可以清晰的看到，此时文件可以公开访问了。

2.3、springBoot 集成 minio 实现文件存储

最后，我们一起来看看，如何在 Spring Boot 工程中集成 minio 客户端以便实现文件存储服务。

2.3.1、创建用户访问密钥

MinIO 支持通过用户、密码来管理存储桶，我们可以利用 minio 客户端来实现文件的上传和下载。

点击Access Keys菜单，创建用户名和密码并将其保存，下文会用到。

图片

2.3.2、引入依赖包

在 Spring Boot 工程，引入 minio 客户端依赖包。

在这里插入图片描述

2.3.3、添加相关配置

在application.properties文件中，添加 minio 相关的配置信息.
在这里插入图片描述

2.3.4、编写 Minio 客户端配置类

基于上文的配置信息，编写 Minio 客户端配置类。
在这里插入图片描述

2.3.5、编写上传和文件预览服务

接着利用 minioClient 客户端，编写上传和文件预览服务。
在这里插入图片描述

2.3.6、编写上传页面

在resources/static目录下，创建index.html文件，编写上传页面。
在这里插入图片描述

2.3.7、最后验证一下服务

最后，将服务启动，一起来验证一下代码的正确性。

1）上传服务验证

在浏览器端，访问http://127.0.0.1:8080/，选择文件并上传，示例如下。

图片

回到 minio 控制台，可以看到刚刚上传的文件信息。

图片

2）文件预览地址验证

在浏览器端，访问http://127.0.0.1:8080/getPreviewUrl?fileName=图片.jpeg，会返回一段带有签名的文件预览地址，示例如下。

图片

将其地址复制出来直接访问，可以清晰的看到图片能正常展示。

图片

通过getPresignedObjectUrl()方法生成的文件地址链接，无论是是公有桶还是私有桶，都可以正常访问。与getObjectUrl()方法生成的文件预览地址相比，它带有过期时间，这样设计的目的也是为了保护文件资源，避免频繁窃取。

03、小结

最后总结一下，本文主要围绕利用 minio 实现对象存储服务，进行了一次知识内容的总结，如果有描述不对的地方，欢迎留言指出。

在实际的使用过程中，通常会这样处理。

  • 如果当前文件不包含隐私信息，比如图片，可以配置公共访问权限，构建永久访问链接。
  • 如果当前文件包含隐私信息，比如营业执照图片，可以配置私有桶，构建带有有效时长的访问链接，比如配置过期时间1小时等。

示例代码地址：

https://gitee.com/pzblogs/spring-boot-example-demo

04、参考

1.https://minio.org.cn/docs/minio/container/index.html

写到最后

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

最后感谢各位的阅读。

python_知世
关注
  • 30
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
springboot+minio文件服务器的demo
02-22
springboot+minio文件服务器的demo,开箱即用 springboot+minio文件服务器的demo,开箱即用 springboot+minio文件服务器的demo,开箱即用 springboot+minio文件服务器的demo,开箱即用 springboot+minio文件服务器的demo...
SpringBoot + minio实现文件切片极速上传技术源码（敢说全网整合完整度前三）
06-02
Minio是一款开源的对象存储服务器，它可以运行在多种操作系统上，包括Linux、Windows和MacOS等。它提供了一种简单、可扩展、高可用的对象存储解决方案，支持多种数据格式，包括对象、块和文件等。 以下是Minio的...
【OSS对象存储】Springboot集成阿里云OSS + 私有化部署Minio
mst的专栏
07-23 685
1. 掌握阿里云OSS、私有化部署Minio两种对象存储的使用方式。 2. 运用工厂+策略模式，封装OSS对象存储API，可实现动态切换。 3. minio配置https访问
Spring Boot + minIO 搭建文件存储服务器，实现文件存储
qq_42842689的博客
09-26 1746
Spring Boot + minIO 实现存储服务
MinIO对象存储服务与SpringBoot集成
zhuyu19911016520
11-02 2819
MinIO      MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等      相当于利用MinIO自建一个OSS对象存储服务      MinIO是一个支持分布式部署的对象存储
开源对象存储系统minio部署配置与SpringBoot客户端整合访问
penngo的专栏
09-05 3714
开源对象存储系统minio部署配置与SpringBoot客户端整合访问
MinIO介绍部署与springboot集成
m0_67266585的博客
04-21 1188
MinIO介绍部署与springboot集成 1. MinIO基本信息 2. MinIO特性 3. 应用场景 4. 存储架构 4.1 单主机，单硬盘模式 4.2 单主机，多硬盘模式 4.3 多主机、多硬盘模式（分布式） 5. 基础概念 6. 部署 6.1 二进制方式部署 6.2 Docker方式部署 6.3 控制台访问设置 7. Springboot集成使用 7.1 引入jar包 7.2 增加配置 7.3 代码集成 8. 参考资料 进入新的项目团队，在文件存储方面使用minio工
Docker部署MinIO分布式存储系统+SpringBoot整合MinIO
阿木木AEcru的博客
02-24 2059
中文官网MinIO Container中文文档Minio是一个高性能、分布式对象存储系统，兼容Amazon S3 API。它可以通过搭建私有云来提供存储服务，也可以作为公共云中的对象存储服务。Minio的实现原理是基于分布式的架构，数据被分割为多个部分并存储在不同的服务器上。这些服务器通过一个一致性哈希算法将数据划分为不同的分片，并且使用Erasure Coding来提供数据冗余和容错能力。客户端通过S3协议与Minio进行交互，可以像操作Amazon S3一样进行数据的上传、下载、删除等操作。
minio开源的对象存储服务器安装及使用
weixin_43564783的博客
07-22 1731
MinIO是一个开源的对象存储服务器，设计用于实现高性能、可扩展的云存储。它兼容Amazon S3云存储服务的API，因此可以与现有的S3兼容应用程序进行集成。MinIO可以部署在本地服务器、私有云环境或公共云上，如AWS、Azure、Google Cloud等。它通过将数据分散在多个独立节点上实现高可用性和容错性，同时提供强大的分布式对象存储能力。使用MinIO，你可以通过简单的RESTful API/API对象将数据上传、存储和检索到MinIO服务器。
【SpringBoot框架篇】25.集成Minio实现文件的分布式对象存储
皓亮君的博客
12-06 3530
使用Minio实现文件的分布式存储
K8s部署微服务（springboot+vue）
qq_43403676的博客
07-04 7578
本文主要记录K8s部署微服务项目（springboot后台+vue前端，动态部署自定义项目），也包括对网关、鉴权、用户等基础模块的部署。k8s部署项目，即创建相应的资源有命令行创建和yaml文件创建两种方式，由于命令行创建配置麻烦，且不具备复用性，因此本文均采用yaml文件创建资源的方式。
SpringBoot + minio实现文件切片极速上传技术源码
03-13
Minio是一款开源的对象存储服务器，它可以运行在多种操作系统上，包括Linux、Windows和MacOS等。它提供了一种简单、可扩展、高可用的对象存储解决方案，支持多种数据格式，包括对象、块和文件等。 以下是Minio的...
springboot集成minio实现的文件服务组件(含Vue前端源码).zip
06-24
在本项目中，我们主要探讨的是如何利用SpringBoot框架与MinIO进行集成，构建一个功能完善的文件服务组件。MinIO是一款高性能的对象存储服务器，而SpringBoot则是Java领域中广泛使用的微服务开发框架，两者结合可以...
spring boot-17
Flying_Fish_roe的博客
08-10 679
Spring Boot 是一种用于构建独立的、可执行的、生产级的Spring应用程序的框架。在Spring Boot中，可以使用配置文件来设置应用程序的各种属性和行为。在本文中，我将总结Spring Boot的核心配置文件，并在1000字内进行详细说明。application.properties/application.yml 这是Spring Boot的主配置文件，用于配置应用程序的各种属性。可以通过设置属性的键值对来修改默认配置。例如，可以设置server.port属性来指定应用程序的端口号。
Spring boot敏感参数加密配置
最新发布
东皋长歌的专栏
08-13 692
在项目中很多参数会被配置到配置文件中，比如说密钥，用户名，数据库连接，账号密码之类的，如果用明文配置，会有一定的安全风险。为了减小风险，增加对敏感配置数据的加密配置。# 算法识别前缀(当算法发现配置文件中的值以这前缀开始，后缀结尾时，会使用指定算法解密)// 指定秘钥，和yml配置文件中保持一致。// 指定秘钥，和yml配置文件中保持一致。* @param plaintext 明文。* @param data 加密后数据。密文用指定的前后缀包围: ENC(xxx)# 配置文件加解密配置。
Spring Boot 常用设计模式
萧曳丶
08-06 1051
在Spring Boot中，常用的设计模式多种多样，这些设计模式不仅帮助维护了代码的清晰度和灵活性，还使得框架易于扩展和维护。
实时数据推送：Spring Boot 中两种 SSE 实战方案
服务员的博客
08-12 305
更适合处理大量并发连接和数据流的场景，代码简洁优雅，更符合响应式编程的思想。更适合处理单个请求的异步结果返回，代码相对简单，但可扩展性有限。你可以根据具体的业务需求选择合适的方案来实现实时数据推送功能。无论选择哪种方案，SSE 都为我们提供了一种轻量级、高效、易于实现的实时数据传输方案，可以帮助我们构建更加优秀的用户体验.
Spring Boot项目中使用WebSocket消息代理功能
qq_42572322的博客
08-13 327
然后在任意页面发送消息，其他浏览器都会接收并且显示出来，包括发送方的页面也会显示。因为大家都订阅了/topic/messages频道。是 Spring Framework 中的一个类，它提供了向 WebSocket 客户端发送消息的多种方法。当然你也可以不适用@SendTo注解来向订阅地址发送消息。方法会返回一个格式化的响应消息，该消息会被发送到。这样你打开html页面，可以多开几个浏览器。方法会被调用，并将消息传递给。
springboot+minio
07-12
Spring Boot集成Minio工具类的步骤如下： 1. 添加Minio依赖 在pom.xml文件中添加以下依赖： ``` <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>RELEASE.2021-06-17T22-59-28Z</version> </dependency> ``` 2. 配置Minio连接信息 在application.properties文件中添加以下配置： ``` minio.endpoint=http://localhost:900 minio.accessKey=minioadmin minio.secretKey=minioadmin minio.bucketName=test ``` 3. 创建Minio工具类 创建一个MinioUtil类，用于封装Minio的操作方法，例如上传文件、删除文件等。 ``` @Component public class MinioUtil { @Value("${minio.endpoint}") private String endpoint; @Value("${minio.accessKey}") private String accessKey; @Value("${minio.secretKey}") private String secretKey; @Value("${minio.bucketName}") private String bucketName; private MinioClient minioClient; @PostConstruct public void init() throws Exception { minioClient = new MinioClient(endpoint, accessKey, secretKey); if (!minioClient.bucketExists(bucketName)) { minioClient.makeBucket(bucketName); } } public void uploadFile(String objectName, String filePath) throws Exception { minioClient.putObject(bucketName, objectName, filePath, null); } public void deleteFile(String objectName) throws Exception { minioClient.removeObject(bucketName, objectName); } public String getFileUrl(String objectName) throws Exception { return minioClient.presignedGetObject(bucketName, objectName); } } ``` 4. 使用Minio工具类 在需要使用Minio的地方，注入MinioUtil类，调用其方法即可。 ``` @Autowired private MinioUtil minioUtil; public void uploadFile() throws Exception { minioUtil.uploadFile("test.jpg", "/path/to/test.jpg"); } public void deleteFile() throws Exception { minioUtil.deleteFile("test.jpg"); } public String getFileUrl() throws Exception { return minioUtil.getFileUrl("test.jpg"); } ``` 以上就是Spring Boot集成Minio工具类的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值