安全独立图片服务(Minio和Thumbor)

最新推荐文章于 2024-08-28 18:41:26 发布
最新推荐文章于 2024-08-28 18:41:26 发布
阅读量2.4k 收藏 4
点赞数 2
分类专栏： 图片服务 文章标签： linux docker centos java 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zws1987/article/details/114393079
版权

安全独立图片服务(Minio和Thumbor)

多数应用系统都会用到图片存储，从系统架构角度来说，像图片存储这样的服务应该尽量从核心业务中剥离出来。很多人会选择在线云存储服务，比如七牛云存储、百度、阿里之类的oss。但是很多企业项目因为各种需求，还是会要求图片服务部署在内部。所以我们还是可能会需要一个可独立部署的图片服务。

自己开发实现一套图片存储服务系统，会花不少功夫，但如果有现成的方案何乐而不为呢？我在Github上发现Minio和Thumbor这两个项目可以帮我们达成需求。

Minio

Minio Cloud Storage是一个分布式对象存储系统。它是一个基于Go的开源项目，并且实现了Amazon S3的API。也就是说Minio相当于一个开源的Amazon S3。

使用docker安装可能是最省事的方式，两行命令即可安装下载并且运行起来。注意，这种启动模式仅限于测试环境下，一旦命令终止，数据将会消失。生产环境下的安装部署请参考文档。

Docker 容器

稳定版
docker pull minio/minio
docker run -p 9000:9000 minio/minio server /data12
尝鲜版
docker pull minio/minio:edge
docker run -p 9000:9000 minio/minio:edge server /data12

更多Docker部署信息请访问 这里

macOS

Homebrew

使用 Homebrew安装minio

brew install minio/stable/minio
minio server /data12
Note

如果你之前使用 brew install minio安装过minio, 可以用 minio/stable/minio 官方镜像进行重装. 由于golang 1.8的bug,homebrew版本不太稳定。

brew uninstall minio
brew install minio/stable/minio12
下载二进制文件
操作系统CPU架构地址
Apple macOS64-bit Intelhttps://dl.minio.io/server/minio/release/darwin-amd64/minio
chmod 755 minio
./minio server /data12

GNU/Linux

下载二进制文件
操作系统CPU架构地址
GNU/Linux64-bit Intelhttps://dl.minio.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data12
启动之后，命令行中就会显示一堆系统信息。
Endpoint:  http://172.17.0.2:9000  http://127.0.0.1:9000

AccessKey: PT7TIDXEV7KH7S5R91JH

SecretKey: 17hdYH0mF2Ljd3ahZ7JGyi5l/ZPjunLlldUMY/A0

Region:    us-east-1

SQS ARNs:  <none>

之后就可以在浏览器中访问 http://127.0.0.1:9000 并且使用AccessKey和SecretKey登录。

其核心功能很简单，创建bucket，上传文件。其所有的文件链接都是含有过期时间的私有链接。然后我们就可以使用其提供的SDK使用了，就是这么简单。

minio专注于文件存储，并没有什么图片处理功能，但是我们可以使用thumbor这个服务来做图片处理。

Thumbor

Thumbor是一个非常强大的图片处理服务，可以实现图片裁剪、缩放、滤镜，甚至是人脸识别。

它是一个基于Python的开源项目，在python环境下可以通过pip安装。

pip install thumbor

然后使用下面命令即可运行。

thumbor-config > ./thumbor.conf # 生成配置文件

thumbor --port=8888 --conf=thumbor.conf

该服务运行在本地的8888端口，之后可以就可以直接通过url调用服务了。

比如这张图片 https://www.apple.com/cn/home/images/gallery/iphone_alt_small_2x.jpg

就可以使用 http://localhost:8888/unsafe/300x200/https://www.apple.com/cn/home/images/gallery/iphone_alt_small_2x.jpg 这个url使其缩放到300x200大小。

Thumbor AWS

Thumbor处理图片很强大，但是只提供了很弱的图片存储功能。其图片上传修改接口没有做验证，所以默认情况下没有开启。但是Thumbor有一些社区支持，第三方开发者做了一些扩展。其中Thumbor AWS 这个扩展可以把Thumbor后端跟Amazon S3整合起来。在url上提交图片文件的key，Thumbor的后端会从Amazon S3中取出文件做处理。而之前Minio兼容Amazon S3的Api。所以意味着只需要做一点改动，就可以整合这两个服务。最终就可以达成，利用Minio上传存储图片，利用Thumbor取出图片做处理。

我们利用pip来安装这个扩展。

pip install tc_aws

Thumbor AWS这个扩展利用Boto3连接Amazon S3的SDK，根据Boto3文档中的配置，我们需要创建 ~/.aws/credentials 这个文件，并且填写刚才Minio提供的AccessKey和SecretKey，授权这个服务访问Minio。

[default]

aws_access_key_id = YOUR_ACCESS_KEY

aws_secret_access_key = YOUR_SECRET_KEY

之后在刚才利用thumbor_conf生成的thumbor.conf中修改一些配置。

TC_AWS_REGION='us-east-1' #填写minio提供的Region

TC_AWS_ENDPOINT='http://127.0.0.1:9000' #将默认的Amazon S3地址换成minio运行地址

LOADER = 'tc_aws.loaders.s3_loader' #将Thumbor的loader换成tc_aws.loaders.s3_loader

重新启动Thumbor，然后就可以在浏览器中通过Thumbor访问Minio中的图片了。

非安全模式访问

比如，在Minio的docker这个bucket中上传了一张aaa.jpg，然后我们就可以通过 http://localhost:8888/unsafe/docker/aaa.jpg 这个地址访问到这张图片的原图。当然，我们可以通过 http://localhost:8888/unsafe/300x200/docker/aaa.jpg 这种方式对这张图片进行300x200的缩放。

注意：

thumbor.conf 文件中配置访问方式

## The security key thumbor uses to sign image URLs
## Defaults to: 'MY_SECURE_KEY'
##SECURITY_KEY = 'MY_SECURE_KEY'

## Indicates if the /unsafe URL should be available
## Defaults to: True
##ALLOW_UNSAFE_URL = True

安全模式访问

比如，在Minio的docker这个bucket中上传了一张aaa.jpg，然后我们就可以通过安全模式 http://localhost:8888/6JS4S0Gzo4JschcQ7o-EOGJ2uzk=/docker/aaa.png 这个地址访问到这张图片的原图。当然，我们可以通过 http://localhost:8888/kL1goioOIwzaBZZTbxoO2Py20LM=/300x200/docker/aaa.png 这种方式对这张图片进行300x200的缩放。

注意：

安全模式需要配置如下

thumbor.conf 文件中配置， 切换至安全模式（ALLOW_UNSAFE_URL = False），安全模式密钥配置 （SECURITY_KEY = ‘MY_SECURE_KEY’），这里使用 MY_SECURE_KEY 作为密钥，可以按照自己需求配置，或者

## The security key thumbor uses to sign image URLs
## Defaults to: 'MY_SECURE_KEY'
SECURITY_KEY = 'MY_SECURE_KEY'

## Indicates if the /unsafe URL should be available
## Defaults to: True
ALLOW_UNSAFE_URL = False
安全地址
使用 thumbor-url 命令生成安全地址
# thumbor-url -k MY_SECURE_KEY docker/aaa.png
URL:
/6JS4S0Gzo4JschcQ7o-EOGJ2uzk=/docker/aaa.png

# thumbor-url -k MY_SECURE_KEY 300x200/docker/aaa.png
URL:
/kL1goioOIwzaBZZTbxoO2Py20LM=/300x200/docker/aaa.png
java代码生成安全地址
public class HmacSHA1 {
    /**
     * hmac+签名算法 加密
     * @param content  内容
     * @param charset  字符编码
     * @param key	         加密秘钥
     * @param hamaAlgorithm hamc签名算法名称:例如HmacMD5,HmacSHA1,HmacSHA256
     * @return
     */
    public static String getHmacSign(String content, String charset,String key,String hamaAlgorithm){
        try {
            //根据给定的字节数组构造一个密钥,第二参数指定一个密钥算法的名称
            SecretKeySpec signinKey = new SecretKeySpec(key.getBytes(), hamaAlgorithm);
            //生成一个指定 Mac 算法 的 Mac 对象
            Mac mac = Mac.getInstance(hamaAlgorithm);
            //用给定密钥初始化 Mac 对象
            mac.init(signinKey);
            //完成 Mac 操作
            byte[] rawHmac;
            rawHmac = mac.doFinal(content.getBytes(charset));
            return BinaryUtil.toBase64String(rawHmac);
        } catch (Exception e) {
            System.err.println(e.getMessage());
        }
        return null;
    }

    public static void main(String[] args) {
        String hmacSign = getHmacSign("300x200/docker/aaa.png", "UTF-8", "MY_SECURE_KEY", "HmacSHA1");
        System.out.println(hmacSign);
    }
}

这样我们就大功告成了。

巨人肩膀：

https://blog.csdn.net/dingjs520/article/details/78793160

https://blog.csdn.net/Aria_Miazzy/article/details/100038300

http://itindex.net/detail/57354-%E7%8B%AC%E7%AB%8B-%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86-%E6%9C%8D%E5%8A%A1

ZhuJesse
关注
专栏目录
轻松搭建自己的图片服务器：Minio安装与使用指南
凛鼕将至的博客
12-29 1460
在现代社交媒体和数字化时代，图片的存储和分享变得越来越重要。为了更好地管理和控制自己的图片资源，搭建自己的图片服务器成为了一个不错的选择。而Minio作为一个开源的对象存储服务器，提供了可靠的存储和访问解决方案。本文将介绍如何轻松地搭建和使用Minio图片服务器。首先，我们将讨论Minio的基本概念和特点，然后详细介绍Minio的安装和配置过程，最后演示如何上传、访问和管理图片资源。通过阅读本指南，您将能够快速上手Minio，并且仅需几步操作就能搭建一个稳定可靠的图片服务器。
mino-thumbor-openresty:minio thumbor && openresty
05-17
mynginx-代理-github 怎么跑 docker-compose构建 如果使用一些错误构建拇指图像，则可以使用docker-compose-new.yml docker-compose build docker-compose运行 docker-compose up -d 向公众上传图片和设置策略 minio密钥信息可以从docker-compose日志minio获取
基于Minio和Thumbor搭建独立图片服务
weixin_33910137的博客
03-11 1607
多数应用系统都会用到图片存储，从系统架构角度来说，像图片存储这样的服务应该尽量从核心业务中剥离出来。很多人会选择在线云存储服务，比如七牛云存储之类的。但是很多企业项目因为各种需求，还是会要求图片服务部署在内部。所以我们还是可能会需要一个可独立部署的图片服务。 自己开发实现一套图片存储服务系统，会花不少功夫，但如果有现成的方案何乐而不为呢？...
SpringBoot整合Minio完成图片上传
最新发布
zhuge_long的专栏
08-28 997
基于Springmvc整合Minio时，我们在MinioConfig中注入过MinioClient对象，而MinioClient对象就是操作minio服务器的核心对象，该对象提供了在minio服务器上创建桶、上传文件，分享外链给用户使用的功能。在商品信息管理时，我们可能会对商品的封面照片进行修改。用户头像显示问题：element组件中el-table默认循环时，没有给每一行指定key，用于标识数据渲染的位置，所以在使用el-avatar显示图片时，会出现图片url地址正确的情况下，图片无法正常显示问题，
minio+thumbor
jhs的博客
12-02 2071
minio 安装 wget https://dl.min.io/server/minio/release/linux-amd64/minio chmod +x minio MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password ./minio server /data --console-address ":9001" 后台启动 sudo nohup ./minio server --address 0.0.0.0:9000 --console-address
minio＋thumbur部署实战docker，二进制
m0_52369979的博客
03-13 421
minio结合thumbor 二进制搭建 docker搭建 亲测可用
图片、文件资源服务器（minio服务器）
对象的博客
06-26 1033
log.info("bucket 名称: {} bucket 创建时间: {}", bucket.name(), bucket.creationDate());* @param objectNames 含有要删除的多个object名称的迭代器对象。* 删除指定桶的多个文件对象,返回删除错误的对象列表，全部删除成功，返回空列表。// 删除存储桶，注意，只有存储桶为空时才能删除成功。* @param localFileName 要上传的文件路径。// 有对象文件，则删除失败。
minio 文件预览_基于Minio和Thumbor搭建独立图片服务
weixin_29171087的博客
12-31 1043
多数应用系统都会用到图片存储，从系统架构角度来说，像图片存储这样的服务应该尽量从核心业务中剥离出来。很多人会选择在线云存储服务，比如七牛云存储之类的。但是很多企业项目因为各种需求，还是会要求图片服务部署在内部。所以我们还是可能会需要一个可独立部署的图片服务。自己开发实现一套图片存储服务系统，会花不少功夫，但如果有现成的方案何乐而不为呢？我在Github上发现Minio和Thumbor这两个项目可以...
minio图片上传Demo
09-19
在调用此方法时，需要提供Bucket名称、Object（即文件名）和图片内容。 上传过程可能需要处理一些异常，比如网络错误或权限问题。确保捕获并显示相关的错误信息，以便用户了解问题所在。 此外，我们还需要考虑安全...
使用openresty && minio && thumbor 构建稳定高效的图片服务器
weixin_33755649的博客
03-26 1880
备注：      minio 是一个开源的s3 协议兼容的分布式存储，openresty nginx+lua 高性能可扩展的nginx 衍生版，thumbor 基于python 的图片处理服务器，支持图片的裁剪，识别。。。。      代码为使用docker 构建的一个一体化的参考代码，实际使用中，大家可以基于自己的业务场景修改，对于简单的场景，直接 使用也是可以的。 1. 项目结构 ...
【存储服务】基于MinIO和Thumbor搭建图像服务
小帅丶的专栏
05-08 1763
近期总感觉项目的文件保存有些混乱，一直有关注MinIO，但是从无进行实践， 而且有些图片需要一些裁剪，就还得JavaRD去写图像处理，就挺麻烦， 无意间看到了Thumbor，发现还挺符合需求，故此有了此篇小总结。 最好是使用过云存储的产品哦。这样对MinIO上手就不会有疑问。 MinIO简介 Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。 Minio兼容Amason的S3分布式对象存储项目，采用Golang实现，客户端...
thumbor_hbase:用于Thumbor（https的hbase存储
05-26
用于Thumbor的HBase存储模块 介绍 是一种智能成像服务。 它可以按需裁剪，调整图像大小和翻转图像。 是来自Hadoop生态系统的面向列的数据库。 此模块提供对Hadoop HBase的支持，将其作为Thumbor中图像的大型自动复制键/值后端存储。 安装 该模块的当前版本是0.9 。 为了安装用于Thumbor的HBase存储模块，您必须首先安装Hadoop / HBase生态系统。 Hadoop / HBase安装 用于Thumbor的HBase存储模块最初是在Debian系统上的Cloudera CDH3 Hadoop上开发和测试的。 在Ubuntu / Debian系统上安装 您可以遵循适用于Ubuntu / Debian Systems Systems的，并安装以下软件包： sudo apt-get install hadoop-0.20 hadoop-0.20
minio-image-proxy:使用Postgresql和S3兼容文件存储的简单图像代理
05-16
形象代理 使用Postgresql和S3兼容存储以NodeJS编写的简单图像代理 设置 将.env.exampe重命名为.env并根据需要填写。
thumbor:运行Thumbor的最快方法
05-17
最小的紧凑型拇指 运行的最快方法。 主要特点和目标： Docker映像中最新版本的Thumbor和依赖项 在一个图像中同时支持独奏指法和多进程 ，使用 通过docker标签支持SIMD remotecv docker映像（用于异步智能裁剪和功能检测） 清除版本标记以匹配Thumbor版本 快速开始 $ docker run -p 80:80 minimalcompact/thumbor $ wget http://localhost/unsafe/500x150/i.imgur.com/Nfn80ck.png 多进程 $ docker run -p 80:80 -e THUMBOR_NUM_PROCESSES=8 minimalcompact/thumbor $ wget http://localhost/unsafe/500x150/i.imgur.com/Nfn80ck.
图片存储方案(Minio使用)
weixin_45080497的博客
03-13 1208
MinIO 是一种高性能对象存储解决方案，它提供了与 Amazon Web Services S3 兼容的 API，并支持所有核心 S3 功能。MinIO 旨在部署在任何地。1、在minio服务端创建一个bucket，并设置访问权限为public。方——公共或私有云、裸机基础设施、编排环境和边缘基础设施。然后通过@Import注解导入配置类或者(自定义注解)启动类加入自定义注解@EnableMinio既可使用。自定义注解封装@Import注解导入配置类。2、编写测试代码上传图片到minio中。
图片服务器minio分片
weixin_48293596的博客
06-01 249
图片服务器minio分片
minio 与 Thumbor 安装
Leonard_csdn的博客
06-11 182
如果 minio 配置改动，需要到 setting 配置表手动修改数据库数据。因网络原因或服务器 py 版本问题，会出现安装失败的情况。部署安装默认的密码属于弱密码，需要修改设置新的密码。如果安装失败，升级 setuptools。如果还是安装失败，可尝试执行以下链接。用 pip 安装 thumbor。以下为 minio 默认配置，命令，在文件添加以下两行。
基于MinIO和Thumbor+tc_aws+nginx（docker版）搭建图像缩略图服务
qq_42633058的博客
02-26 989
缩略图搭建
nginx结合thumbor和minio搭配自定义大小图片服务器
weixin_44416039的博客
05-30 238
【代码】nginx结合thumbor和minio搭配自定义大小图片服务器。
服务器minio下载图片很慢
06-05
服务器minio下载图片很慢可能由多种原因引起。首先，需要检查网络连接是否稳定，如果网络连接不稳定或信号弱，下载速度会受到影响。其次，需要检查服务器性能是否足够，在执行大量I/O操作时，服务器性能瓶颈容易出现，导致下载速度变慢。还需要检查服务器磁盘空间是否满了，如果服务器磁盘空间已经满了，下载速度将变的极慢。此外，如果使用的是低配的服务器，也可能导致下载速度变慢。最后，还需检查minio的设置是否合理，如果minio的设置不合理，也会导致下载速度变慢。为了解决服务器minio下载图片慢的问题，可以尝试检查以上原因并加以解决，或者考虑使用更强大的服务器，优化minio的设置，以提高下载速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值