C#中使用ProtoBuf优化百万级数据的存取性能

最新推荐文章于 2024-06-24 15:44:42 发布
最新推荐文章于 2024-06-24 15:44:42 发布
阅读量1.6k 收藏 4
点赞数 1
分类专栏： ProtoBuf 性能优化 文章标签： ProtoBuf 性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zlbdmm/article/details/92839529
版权

C#中使用ProtoBuf优化百万级数据的存取性能

ProtoBuf简介

ProtoBuf是Google定义的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。
在这里插入图片描述

使用场景

近期一个实验室上位机系统要求对实验数据的存取进行性能优化，由于大实验（长实验）的数据量很大基本百万级至千万，而数据展现又要求整体加载，因此原有设计性能很低一般500万数据要近百秒才能加载完毕，客户体验非常差，因此用C#通过ProtoBuf做了一个测试程序现分享给大家。

测试案例

先以20个浮点类型字段、1百万数据为例做测试，过程如下：
1、使用二进制序列化
在这里插入图片描述
运行界面
在这里插入图片描述
2、使用ProtoBuf序列化
在这里插入图片描述
运行界面
在这里插入图片描述
3、使用二进制序列化并压缩存储
在这里插入图片描述
运行界面
在这里插入图片描述
4、使用ProtoBuf序列化并进行压缩存储
在这里插入图片描述
运行界面
在这里插入图片描述
5、各中方式存储的文件大小如下图
在这里插入图片描述

100万数据存取性能对比

测试方式数据初始化（秒）数据保存（秒）数据加载（秒）数据显示（秒）数据加载并显示（秒）文件大小（KB）
二进制0.30440517.164081866.18072271.501148666.464526173829
ProtoBuf0.30356141.6508291.51312491.51910642.2606908188461
二进制压缩0.282995313.028172766.44488721.540263367.01523886531
ProtoBuf压缩0.33180875.12303572.75740591.5082453.42300472576

总结

对于500万数据的情况下二进制序列化基本不可用，而ProtoBuf基本在15~20秒之间完成加载并显示。通过这个测试得出如果在追求性能极致额情况下直接使用ProtoBuf序列化和反序列化，如果数据要长时间保存考虑磁盘空间有效利用的话可以采用ProtoBuf压缩方式，性能稍有损失，但是文件压缩率很高可以很好的提高磁盘空间利用。

完整源代码下载

完整源代码下载

CodingPioneer
关注
专栏目录
Google protobuf 用于数据的存储/序列化/反序列化
小Z的博客
08-06 4163
protobuf介绍 谷歌开源的Protocol Buffer，简称protobuf，是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化，且不受平台和语言的限制。 简单来说，如果你需要存储数据，且这些数据为多个程序所共享，涉及数据的传输与接收问题，需要数据的序列化与反序列化，那么protobuf就非常适合你了。它不但可以帮你完成数据的存储，数据传输时的序列化和反序列化，并且适用于不同...
.net 内存管理
diansu5840的博客
04-02 222
尽管在.net framework中我们不太需要关注内存管理和垃圾回收这方面的问题，但是出于提高我们应用程序性能的目的，在我们的脑子里还是需要有这方面的意识。明白内存管理的基本行为将有助于我们解释我们程序中变量是如何操作的。在本文中我将讨论栈和堆的一些基本知识，变量的类型和某些变量的工作原理。当你在执行程序的时候内存中有两个地方用于存储程序变量。如果你还不知道，那么就来看看堆和栈的概念。...
Protobuf使用proto文件生成C#代码
最新发布
大猪的博客
06-24 696
Protobuf作为一个中间数据格式，可以把一个proto文件编译为多个语言，使得程序员可以把proto文件约定的数据格式转化为二进制，然后发送数据，收到数据的一方可以把收到的二进制转化为另一个语言的数据格式。另一方：Proto文件->通过proto工具(比如proto.exe和protoc-gen.go.exe)->生成与proto文件对应的Go语言的代码数据文件。一方：Proto文件->通过proto工具(比如proto.exe)->生成与proto文件对应的C#语言的代码数据文件。
C#百万数据处理
技术分享博客
07-30 1021
这里我给大家带来一个我自己所经历的百万数据处理案例，该案例中会拿优化前和优化后的代码进行对比，让大家更直观的感受优化给项目带来的效率提升。该项目优化用到了：线程同步，多线程，sqlSugar,异步，委托等知识。以上就是我个人所经历的大数据处理，虽然优化的并不算完美但是还是总结出了不少经验，也从中学习到了很多，比如，单线程和多线程的运用以及委托和线程同步等知识。
C#内存管理与性能优化
记性太差
05-18 963
托管、非托管
C#中使用ProtoBuf提高序列化速度示例源码.zip
08-20
protocolbuffer是google 的一种数据交换的格式，它独立于语言，独立于平台。 google 提供了多种语言的实现：java、c#、c++、go 和 python，每一种实现都包含了相应语言的编译器以及库文件。
protobuf-csharp-port
06-21
标题中的"protobuf-csharp-port"指的是Google的Protocol Buffers（Protobuf）的C#版本实现。Protocol Buffers是一种数据序列化协议，它允许开发者定义数据结构，并在不同平台和语言之间进行高效、紧凑且可扩展的数据...
google protobuf 生成
01-16
谷歌protobuf（Protocol Buffers）是一种高效、跨平台的数据序列化工具，由Google开发并开源。...在实际开发中，结合protobuf可以提高数据交换的效率，简化网络通信的复杂性，提升整体系统的性能。
protobuf-master
08-05
当你定义了一个`.proto`文件后，可以使用protobuf编译器生成对应语言的存取接口。 4. **服务定义**: 除了数据序列化，Protobuf还支持RPC（Remote Procedure Call）服务定义。通过`.proto`文件，你可以定义服务接口...
protobuf 性能对比
07-18
protobuf 性能对比 和fastjson对比，测试程序
极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)
08-04
极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 以上就是这几天的实验结果了，比较令人失望的是SQL SERVER 2008导入数据的性能似乎并不想我们想象的那样优秀。 另外，有下载源代码的帮我看看，为什么多线程的成绩还不如单线程的优秀呢？是静态资源使用不当造成的，还是其他什么原因？
protobuf实例-C#-聊天服务器
07-19
protobuf 实例工程，根据 我的protobuf设计原则而提供的一个简单聊天服务的C#实现，工程为VS2013环境，配置为Net 4.0的执行环境。
c# 对sqlite基本操作，带批量插入（百万级秒插）
12-12
下载来的资源，自己改了一下，共享出来，供小白使用，本想免费的，无奈最少是2分，再次吐槽一下csdn的下载规则变更，越来越商业化了。
C#中Protobuf实用指南与性能对比
wongcony的专栏
09-05 670
protocolbuffer(以下简称PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了多种语言的实现：java、c#、c++、go 和 python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优
C#如何把百万级的excel数据导入到sqlserver数据库中去
hexin0078的博客
06-19 3281
想来大家都有这样的生活常识，一个正常人一顿能吃三个拳头大小的馒头，但是你让他一次性吃三百个馒头，那他撑不死我就表演胸口碎大石… 好了，我们言归正传，在我们处理一个有好几十万条数据的excel表格时，我们的电脑一般都会卡死，甚至会死机。这就是因为我们的数据量太大了，导致我们的计算机内存不足或者溢出（你的电脑只能吃三个馒头，你非让他吃三百个，它能受到了吗？）。所以我们一般的做法是把百万级的数据导入到数据库中去，然后用数据库做处理。可是现在问题来了，我们如何把几百万条数据直接导入到数据库里面去？ 常规的Excel
基于GSoap/protobuf的服务性能优化
傲然君
11-19 1281
一、业务场景前段时间，在做CS服务化的事情，其中有一个业务场景是这样的： CS在启动时，需要一次性向服务端请求各种地理图数据，该部分数据来源于将近200张表。起初为了方便，所有表使用同一个protobuf结构，且所有字段类型统一定义为bytes。 在120G内存服务器上的测试结果： 1、时间上：相比直接从数据库加载数据，服务化后单个CS的启动时间（将近3分钟）要超出一倍。若同时启动10个CS，
Unity性能优化之内存管理的优化（内存管理性能增强）二
lfanyize的博客
01-12 2307
上一篇将关于字符串以及值类型引用类型的性能增强大致说完，下面继续 关于装箱那点事 C#中的一切皆是对象，这意味着他们都继承自System.Object类，甚至int、float、bool等基本数据类型，都隐式的从System.Object中继承，每当这些值类型以处理对象的方式隐式的处理时，CLR会自动创建一个临时对象来存储或装箱内部的值，以便将其视为典型的引用类型对象，显然这将会导致堆分配，以创建包含的容器； 注意：装箱和将值类型作为引用类型的成员变量不同，装箱仅在通过转化或强制转化将值类型视为引用类型的时
实测 C#+存储过程 百万级数据分页
love560的专栏
09-11 2264
为了寻找一个高效的存储过程，对C#+mssql如下存储过程分页进行了测试，测试条件： 环境：VS2008+MSSQ2000 数据量：200万 对如下两个存储过程进行测试： 第一个： CREATE procedure GetPageNoStr ( @Sql nvarchar(2000), @CurrentPage int=1, @PageSize int=20,
c#wss使用protobuf
05-27
C# WSS（WebSocket Sharp）是一种在C#中使用WebSocket的库，可以让你更容易地使用WebSockets。而protobuf是Google开发的一种高效的二进制数据传输格式，相比于JSON和XML等文本格式，它更小、更快、更简单。下面是使用C# WSS和protobuf的简单步骤： 1. 首先，你需要在你的C#项目中安装protobuf库，可以通过NuGet来安装。 2. 在你的C# WSS项目中引入protobuf的命名空间： ```csharp using Google.Protobuf; ``` 3. 在你的WebSocket处理程序中，你可以将数据从protobuf格式序列化为字节数组并发送到客户端： ```csharp MyMessage msg = new MyMessage { Id = 1, Name = "Hello World" }; byte[] buffer = msg.ToByteArray(); await webSocket.SendAsync(new ArraySegment<byte>(buffer), WebSocketMessageType.Binary, true, CancellationToken.None); ``` 4. 在客户端，你可以将接收到的字节数组反序列化为protobuf格式： ```csharp byte[] buffer = new byte[1024]; await webSocket.ReceiveAsync(new ArraySegment<byte>(buffer), CancellationToken.None); MyMessage msg = MyMessage.Parser.ParseFrom(buffer); Console.WriteLine("Received message: {0}", msg.Name); ``` 这里的MyMessage是你定义的protobuf消息类型，你需要在项目中定义并生成该类型的代码。关于如何定义和生成protobuf代码可以参考官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值