海量数据处理——位图

最新推荐文章于 2021-07-28 17:36:16 发布
最新推荐文章于 2021-07-28 17:36:16 发布
阅读量213 收藏
点赞数
分类专栏： 海量数据 文章标签： 海量数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou554291911/article/details/52065302
版权

已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。

8位整数可以表示的最大十进制数值为99999999。如果每个数字对应于位图中一个bit位，那么存储8位整数大约需要99MB。因为1B=8bit，所以99Mbit折合成内存为99/8=12.375MB的内存，即可以只用12.375MB的内存表示所有的8位数电话号码的内容。

类似的问题

10亿个正整数，只有1个数重复出现过，要求在O(n)的时间里找出这个数。
给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？

zhou554291911
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常见的海量数据处理方法
07-29
### 常见的海量数据处理方法 在大数据时代，如何高效、准确地处理海量数据是许多企业和组织面临的关键挑战之一。本文将详细介绍几种实用的数据处理方法，包括但不限于算法优化和技术选择，旨在帮助读者更好地理解和...
位图法
why is this
02-12 792
定义        位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器，其实就是位图法，引用bitset介绍： A bitset is a special container class that is designed to store bits (ele
计算机数据存储单位
weixin_49084966的博客
07-19 878
数据存储单位 （从小到大顺次排列） 位（bit）：1bit可以保存一个0或1（最小） 字节（Byte）:1B = 8b 千字节（KB）：1KB = 1024B 兆字节（MB）：1MB = 1024KB 吉字节（GB）：1GB = 1024MB 太字节（TB）：1TB = 1024MB … ...
海量数据处理--位图（BitMap）
xxpresent的博客
02-22 1410
对于海量数据这个词，大家不难理解吧。主要是针对给定的数据量特别大，占用内存特别大的情况。那么和位图有什么关系呢。看下面一个腾讯的海量数据的例子吧。 例：给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。        对于这道题，我们给了40亿个不重复的无符号整数，一个整数是4个字节，那么就是40*4=160亿个字节，大概是16G的内存。显然在内
面试题之10亿正整数问题--完整解答
weixin_30867015的博客
11-26 241
关于这个问题，经过这么久的讨论，两篇文章及大家的回复，已经比较很清楚了。这里就来完整的整理一下解答。其实本来已经整理得差不多了，不过很不幸，电脑忽然罢工，怎么也启动不了，然后又感冒了，所以一直到现在才开始做这个解答。 好了，不说这个了。下面进入正题。 这个题目来源于某公司的面试题，是absolute同学在我的“面试题收集贴”中提出的，之后CMGS同学在回复中提到，腾讯今年的面试题中有类似题目，...
海量数据常用技巧之位图法
冬木
05-03 1613
介绍 位图的基本概念是用一个位（bit）来标记某个数据的存放状态，一个bit只能表示两种状态，所以不适合用来表示多状态（缺点1）。如果要表示多状态，需要用多个bit，但此时位图的性能会大打折扣，复杂度却增加了。由于采用了位为单位来存放数据，所以节省了大量的空间。一般把这种方法称为位图法，即Bitmap。 BitSet 正因为位图运算在空间方面（指的是海量数据的存储）的优越性，很多语言都有直接对
解析bitmap处理海量数据及其实现方法分析
09-05
例如，在排序示例中，我们用1Byte（8位）来表示0-7这8个数字，通过设置相应的位，可以快速定位和处理数据。 2. **Bitmap实现方法** - **设置位**：在上述代码中，`SetBit`函数用于设置某一位为1。它首先计算出目标...
大数据量，海量数据处理方法总结
09-11
在IT领域，大数据量和海量数据的处理是关键的技术挑战之一，尤其对于互联网巨头如百度、谷歌、腾讯等公司，这种处理能力是其业务运行的基础。以下是对大数据处理方法的详细解析： 1. **Bloom Filter**：这是一种...
面试题之10亿正整数问题
weixin_44626952的博客
11-08 1104
10亿个正整数，只有其中1个数重复出现过，要在O(n)的时间里面找出这个数，内存要尽可能少（小于100M）。 谢谢absolute同学提出的问题。 部分解答（还有没有完成的部分）： 首先看一下10亿个正整数，正整数可以表示的范围为1到2的31次方-1。 10亿也就是1*10^9，2^31次方=2*1024*1024*1024>20亿 再想起int为32位。 ...
海量数据处理（一） ：位图与布隆过滤器的概念以及实现
凌桓丶的博客
07-15 1436
目录位图位图概念位图的实现思路setresettest完整代码布隆过滤器布隆过滤器概念布隆过滤器的实现思路插入查找删除完整代码 位图 位图概念 位图其实就是哈希的变形，他同样通过映射来处理数据，只不过位图本身并不存储数据，而是存储标记。通过一个比特位来标记这个数据是否存在，1代表存在，0代表不存在。 位图通常情况下用在数据量庞大，且数据不重复的情景下判断某个数据是否存在。 例如下面这道十分经典的题目 给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数 中。
BitMap位图法实现海量数据下的查重、去重
qq_34318698的博客
04-26 1471
BitMap位图法实现海量数据下的查重、去重 转载地址：https://www.jianshu.com/p/8d074e8d02aa?utm_campaign=hugo 在一些海量数据的场景中，做一些查重、去重、排序，一般的方法难以实现，因为内存占用太大了，比如以下问题： 问题一：10亿个正整数，给定一个数值，如何快速判定该数值是否在10亿个正整数当中？假如机器只有1G内存？ 问题二：比如说是一组...
海量数据处理（二） 位图
qq_33225741的博客
05-06 242
位图就是用一个bit为来标记某个元素对应的value，key是元素，构成键值对。由于使用了bit这个最小单位，所以能够极大的节省内存。       很简单的一个例子，比如现在要对从含有1~100的无序不重复数组排序，那么我们可以申请一个大小为2^7个bit的数组（也就是128个bit，合16个字节，有一些内存浪费），将其所有置为0。遍历这个无序数组，bit[ arr[i] ] = 1。最后遍历
位图法处理海量数据常见使用
u010846873的博客
04-25 1140
位图法处理海量数据常见使用
数据结构-位图（可对海量数据进行处理）
12-07 925
在学习linux过程中，wait函数中的status参数的用法其实就如同位图，位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器，其实就是位图法。一、先给一个很简单的情景来引入该结构。题目如下：加入给定40亿个无符号整数，要快速判断一个值是否在这其中，该怎么解决？
位图法实现海量数据查找
See_the_world的博客
04-25 753
举个简单例子，在C++中一个int类型的数有32位，而这32只表示一个数太过浪费，于是就考虑让这32位可以表示32个数，每一位表示该数是否存在 如给定表示文件中整数集合的位图数据结构，则可以分三个阶段来编写程序 第一阶段：将所有的位都置为0，从而将集合初始化为空。 第二阶段：通过读入文件中的每个整数来建立集合，将每个对应的位置都置为1。 第三阶段：检验每一位，如果该为为1，就输出对应的整数...
位图的应用之海量数据查找
微风
11-09 918
位图>  一.什仫是位图>      顾名思义位图就是用每一位来保存数的状态的结构.位图是bitMap的缩写，适用于大规模数据但是数据状态又不是很多的情况的，因为一个位只有0和1两种状态，所以位图就是只用每一位来保存数的状态的结构.  二.一道海量数据查找的题>     在了解了位图的概念之后我们发现位图通常用于大规模的数据而且用于判断某一个数是否在这个范围之内，在这里就引出了这样一道海量
位图和海量数据
pop_m的博客
08-11 636
位图和海量数据问题 什么是位图？ 问题: 有40亿个数，未排序，设计程序能很快的判断出一个个数据在不在其中。 如果直接将者40亿个数放在内存中那么需要 40亿*4字节 = 160亿字节，大概是2^34字节，也就是2^4GB空间，16G内存，抱歉，我的电脑只有8G内存，那此时应该怎么办呢？ 思考：我们会发现我们只是为了表示在与不在，那我们为什么要这么大的空间呢...
海量数据处理问题之位图和布隆过滤器
应钟二十六的博客
07-28 223
海量数据处理 从哈希函数出发，谈一谈如何处理海量数据的这类面试题 有40亿个（数据规模足够大，内存大小限制放不下）不重复的无符号整数（>=0）设计，一种算法 or 数据结构满足以下需求。 40亿个数据基本固定 经常进行判断一个数字n在不在集合中 如果不是海量 常规解决思路就是查找搜索 遍历查找 排序后二分查找 放入Set中 （快 但是空间使用要维护下一个 存放数据结构） 自己实现一种直接地址法的哈希表 （要求就是数据比较连续） 可以解决冲突问题，但是缺点很明显。哈希数组的长度是和数字的最大值有关
秒杀海量数据处理面试题解析
"99%的海量数据处理面试题" 在大数据处理领域，面试官常常会提出各种关于处理海量数据的问题。这篇博客旨在提供一种通用的思路，帮助求职者理解和解答这些问题。作者July强调，虽然标题可能有夸张成分，但文章的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值