Asp.NET Core实现动态文件服务器

需求

我这边有一些3DTiles数据需要动态发布,3DTiles数据简单来说是把大规模的三维地理模型切成很多小片,在展示的时候按精度按范围调取需要的数据,以减轻网络和渲染压力,加快渲染速度的一个方案。因此他是有记录切片配置的json文件和b3dm格式的数据文件构成的,在数据的根目录下有一个根的配置文件,每个子目录下通常也会有子配置文件。

3DTiles文件结构

3DTiles数据大小得看数据规模和切片精度,通常城市级别的倾斜摄影模型切成3DTiles大小得按T计算,文件个数得按万计算,不太适合像普通文件一样上传然后通过接口访问。所以考虑将需要发布的数据先通过其他方式上传到服务器,然后通过文件服务器的方式展示出来。

当然其实也可以直接将某个文件夹通过IIS/Nginx发布出去,然后要求用户每次上传的数据都放在那个文件夹下也是可以的,但是这样灵活性和通用性就大打折扣。

因此设定的业务逻辑应该是客户通过FTP或者其他什么工具将数据上传到服务器,然后通过应用选择数据文件夹,设定虚拟目录(url子路径),发布,就可以通过url访问了。

技术栈

我这边习惯上后台使用Asp.Net Core Web API开发,现在到了.Net 6,是一个长期支持版本。当使用Visual Studio创建Asp.Net Core Web API后,入口文件Program.cs下会自动生成类似以下的代码,直接运行就会有一个天气预报的示例接口和Swagger接口文档页面(所以说.net core好用呀):

var apiAppBuilder = WebApplication.CreateBuilder(args);
apiAppBuilder.Services.AddControllers();
apiAppBuilder.Services.AddEndpointsApiExplorer();
apiAppBuilder.Services.AddSwaggerGen();

var apiApp = apiAppBuilder.Build();
if (apiApp.Environment.IsDevelopment())
{
    apiApp.UseSwagger();
    apiApp.UseSwaggerUI();
}
apiApp.UseAuthorization();
apiApp.MapControllers();

await apiApp.RunAsync();

文件服务

如果想直接让上面代码中的apiAPP支持文件服务,只需要给他绑定静态文件服务相关的内容就行:

var staticfile = new StaticFileOptions();
staticfile.ServeUnknownFileTypes = true;
staticfile.FileProvider = new PhysicalFileProvider(physicalPath);
staticfile.RequestPath = urlPath;
apiApp.UseStaticFiles(staticfile);

如果希望除了提供文件服务之外还可以在浏览器中浏览,就需要绑定文件夹浏览相关的内容:

浏览器浏览文件

var dirOp = new DirectoryBrowserOptions();
dirOp.FileProvider = new PhysicalFileProvider(physicalPath);
dirOp.RequestPath = urlPath;
apiApp.UseDirectoryBrowser(dirOp);

上面urlPath是在网址路径中的path,以’/'开头,比如我的服务是http://localhost:5000,这里的urlPath设置为/data,那通过http://localhost:5000/data访问到的就是physicalPath中的内容,UseStaticFiles和UseDirectoryBrowser都是可以反复添加的,通过这样的方式就可以添加多个文件夹。

寄生应用

很可惜,这些个是不能够动态设定的,也就是这些设置必须在apiApp.RunAsync()之前设定,启动之后再设置就没用了。但是如果按默认的设定,把apiApp停了整个服务就会挂掉,没法走设定后重启的路线,因此得在主应用之下加一个寄生应用作为文件服务的专有应用。

public class FileServerApp
{
    private static WebApplication AppInstance = null;
    private Dictionary<string,string> Directories = new Dictionary<string, string>();

    /// <summary>
    /// 添加文件夹
    /// </summary>
    /// <param name="key"></param>
    /// <param name="dir"></param>
    /// <returns></returns>
    public async Task AddDirectoryAsync(string urlPath, string physicalPath)
    {
        if (Directories.ContainsKey(urlPath))
        {
            Directories[urlPath] = physicalPath;
        }
        else
        {
            Directories.Add(urlPath, physicalPath);
        }
        await this.StopAsync();
        await this.StartAsync();
    }

    /// <summary>
    /// 停止
    /// </summary>
    /// <returns></returns>
    private async Task StopAsync()
    {
        if (AppInstance != null)
        {
            await AppInstance.StopAsync();
            await AppInstance.WaitForShutdownAsync();
            await AppInstance.DisposeAsync();
        }
    }

    /// <summary>
    /// 启动
    /// </summary>
    /// <returns></returns>
    private async Task StartAsync()
    {
        var fileAppBuilder = WebApplication.CreateBuilder();
        fileAppBuilder.Services.AddCors(options =>
        {
            options.AddPolicy("Any", builder =>
            {
                builder.AllowAnyOrigin()
                       .AllowAnyHeader()
                       .AllowAnyMethod();
            });
        });
        AppInstance = fileAppBuilder.Build();
        AppInstance.UseCors("Any");
        AppInstance.Urls.Add("http://*:6789");

        foreach (var urlPath in Directories.Keys)
        {
            var dirOp = new DirectoryBrowserOptions();
            dirOp.FileProvider = new PhysicalFileProvider(Directories[urlPath]);
            dirOp.RequestPath = urlPath;
            AppInstance.UseDirectoryBrowser(dirOp);
            var staticfile = new StaticFileOptions();
            staticfile.ServeUnknownFileTypes = true;
            staticfile.FileProvider = new PhysicalFileProvider(Directories[urlPath]);
            staticfile.RequestPath = urlPath;
            AppInstance.UseStaticFiles(staticfile);
        }

        await AppInstance.RunAsync();
    }
}

这里用Dictionary模拟持久化数据,只需要在相应的接口中执行以下代码就可以启动寄生应用了:

var fileServerApp = new FileServerApp();
fileServerApp.AddDirectoryAsync(urlPath, physicalPath);

注意这里的AddDirectoryAsync不能await,否则会阻塞住,直到该应用停止。

一个基于ASP.NET Core的可伸缩、通用的文件服务器。 通常后端项目可能会有头像、图片、音频、视频等上传/下载需求,这些需求都可以抽象为文件服务。 功能特点 支持Linux(推荐)、Windows 可伸缩式架构,支持部署1-N台文件服务器 RESTful架构的API接口,支持多语言客户端 支持文件秒传、断点续传、远程拉取上传 支持为用户指定磁盘空间配额 支持自定义文件处理器 系统架构 文件的上传/下载通常由客户端直接与文件服务器交互,上传时需要提供代表用户身份token(由业务服务器生成),成功后会返回文件根地址。 也可以直接由业务服务器上传返回文件根地址给客户端。 源码中包含基于.Net Standard的服务端SDK,可以生成token、上传文件等 源码中包含基于.Net Standard的客户端SDK,可以上传/下载文件等 后端使用 配置业务服务器 //Startup.cs代码片段 public void ConfigureServices(IServiceCollection services) { //.... services.AddFileService(opts => { opts.Host = "fs.mondol.info"; //文件服务器域名 opts.AppSecret = "xxxxxx"; //加密密钥,需要与文件服务器相同 }); } 生成访问令牌 IFileServiceManager fileSvceMgr; //此实例可通过DI框架获得 //根据业务规定其意义,例如:1-代表管理员,2-代表用户 var ownerType = 2; var ownerId = 2; //如果ownerType=2,则为用户ID var validTime = TimeSpan.FromDays(2); //token有效期 var ownerToken = fileSvceMgr.GenerateOwnerTokenString(ownerType, ownerId, validTime); 前端使用 文件上传 IFileServiceClient fileClient; //此实例可通过DI框架获得 var ownerToken = "业务服务器返回的token"; var periodMinute = 0; //有效期,0不过期 var updResult = await fileClient.UploadAsync(ownerToken, "文件路径", periodMinute); var url = updResult.Data.Url; //得到文件根地址 标签:文件服务器
一个基于ASP.NET Core的可伸缩、通用的文件服务器。 通常后端项目可能会有头像、图片、音频、视频等上传/下载需求,这些需求都可以抽象为文件服务。 功能特点 支持Linux(推荐)、Windows 可伸缩式架构,支持部署1-N台文件服务器 RESTful架构的API接口,支持多语言客户端 支持文件秒传、断点续传、远程拉取上传 支持为用户指定磁盘空间配额 支持自定义文件处理器 系统架构 Scheme 文件的上传/下载通常由客户端直接与文件服务器交互,上传时需要提供代表用户身份token(由业务服务器生成),成功后会返回文件根地址。 也可以直接由业务服务器上传返回文件根地址给客户端。 源码中包含基于.Net Standard的服务端SDK,可以生成token、上传文件等 源码中包含基于.Net Standard的客户端SDK,可以上传/下载文件等 后端使用 配置业务服务器 //Startup.cs代码片段 public void ConfigureServices(IServiceCollection services) { //.... services.AddFileService(opts => { opts.Host = "fs.mondol.info"; //文件服务器域名 opts.AppSecret = "xxxxxx"; //加密密钥,需要与文件服务器相同 }); } 生成访问令牌 IFileServiceManager fileSvceMgr; //此实例可通过DI框架获得 //根据业务规定其意义,例如:1-代表管理员,2-代表用户 var ownerType = 2; var ownerId = 2; //如果ownerType=2,则为用户ID var validTime = TimeSpan.FromDays(2); //token有效期 var ownerToken = fileSvceMgr.GenerateOwnerTokenString(ownerType, ownerId, validTime); 前端使用 文件上传 IFileServiceClient fileClient; //此实例可通过DI框架获得 var ownerToken = "业务服务器返回的token"; var periodMinute = 0; //有效期,0不过期 var updResult = await fileClient.UploadAsync(ownerToken, "文件路径", periodMinute); var url = updResult.Data.Url; //得到文件根地址 URL格式说明 完整URL格式是这样的:https://domain.com/{fileToken}/{handler}/{modifier} fileToken:是本次上传文件的唯一标识符 handler:文件处理器,可以是image(图片处理器)、video(视频处理器)、raw(返回原文件)等 modifier:【可选】文件处理器参数,例如,image处理器,可以指定128x128_png 文件上传成功后返回的文件根地址(updResult.Data.Url)就是截至到https://domain.com/{fileToken},URL后面部分由客户端自己去拼接 下面举例说明: 下载原文件 文件根地址/raw,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/raw 下载128x128大小的缩略图(原文件是图像) 文件根地址/image/128x128,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x128 下载128宽,高等比缩放的缩略图(原文件是图像) 文件根地址/image/128x,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x 原图是JPG格式,下载png格式的图像 文件根地址/image/raw_png,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/raw_png 原图是JPG格式,下载png格式的128x128大小的缩略像 文件根地址/image/128x128_png,例如: http://file.domain.com/files/1iYQTU7fEUgaa~URSVwaCqQKFml_IAAAAAgAAAAbhmsFjiUUQwCPn2ngI1QcvsSp0AA/image/128x128_png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值