Golang并发下的数据结构及其底层剖析

最新推荐文章于 2024-05-24 00:46:09 发布
最新推荐文章于 2024-05-24 00:46:09 发布
阅读量379 收藏
点赞数
分类专栏： Golang 文章标签： golang 数据结构 哈希算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhehecao/article/details/126405213
版权
Go中“0字节”
  1. int

sizeof 查看字节数
int 8字节 64位；4字节 32位（根据系统）
int32永远4字节
指针也是跟随系统字长，其底层其实是无符号的64位整型

  1. 空结构体

空结构体有地址没内存
空结构体独立的地址都为 zerobase（指针）
%p 打印地址
主要为了节约内存
map【string】struct{}{}，相当于hashset 只有键没有值
chan的负载可以为空结构体，当发信号使用
nil不能是空结构体

数组字符串切片
  1. 字符串

底层为结构体 ，runtime包中unsafe.Pointer 指向byte数组
unicode 统一的字符集,至少3 个字节表示，utf8变长格式
访问字符串"你好"fori得到每个字节，forr range自动解码为rune
rune就是utf8

  1. 切片

字面量创建 []int{} 编译时确定
运行时创建 make（） 直接调用runtime的makeSlice

因为数组是连续的空间，继续用原来的数组可能到达其他变量的空间，所以切片扩容新开数组
切片扩容时，并发不安全，注意加锁（第一个协程追加扩容老切片废除，第二个协程读取老切片的值就会出问题）

map

redis的本质就是一个大的hashmap

a：A 举例：
先对key（a）哈希取位置
开放寻址法一直找到不为空的值插入
取的话也是一样，a哈希找位置，不为a则往后找
拉链法横向的对应槽（Slot），每个槽对用的kv为桶

  1. hmap，bmap

map在go中底层为： hmap，其中：
count kv个数
hash0 代表哈希种子，哈希算法用到
buckets 中有 2的B次幂个 桶（bmap）

bmap
tophash 哈希数组（哈希值的高8位） —> 为了快速访问
keys elems kv数组
overflow 指针，如果这个bmap 超过 8 个还要存，那么指向 新的 bmap

  1. 初始化

调用make初始化
先确定B，先创建正常的bmap，同时会多创建几个溢出桶，
hmap 底层有 NextOverflow 指向下一个可用的溢出桶，bmap中的overflow指针溢出后会指向该桶

字面量初始化
掉用make，然后赋值

  1. 访问：

hash0 + key 确认桶号
通过B 取二进制后几位确认桶
然后找tophash ，key 和 溢出桶的hash
没找到说明key 不存在，写入同样操作，没有的话插入一个

map扩容

哈希碰撞严重，map桶溢出太多，趋向链表
太多溢出桶（溢出桶>普通桶）

整理(等量)扩容 – >溢出桶太多（存在之前的数据被删掉导致）
翻倍扩容（数据太多）
创建一组新桶
oldbuckets 指向原有的桶数组，buckets指向新的桶数组
map标记（flags）为扩容状态

渐进式驱逐
每次操作一个旧桶，将旧桶数据驱逐到新桶（根据B操作进行划分）
所有旧桶驱逐完毕，oldbuckets 回收

map并发操作

A协程读取时桶不会驱逐，B协程写入驱逐这个桶
map加锁会影响性能

Map
  1. 总结构：

Mutex
read 下面有个万能map
dirty 下面有个map
misses 没有命中
将不会扩容的操作和扩容的操作分离

正常的话走read ，找到的话修改即可
找不到的话，上锁，操作dirtymap，所以每次只有一个协程操作dirtymap
然后read中的amended 为true，表示有追加，说明read中map数据不准确，修改和读走read就行
只有追加元素可能扩容时才走dirtymap
如果在dirtymap中读到键值，则misses+1
misses = len(dirtmap) ，dirty提升变为read中map
追加false ，misses=0，dirtymap = nil（走dirty时在变为和read中一样）

删除更麻烦
正常删除，追加为false，将k后的指针置为nil，指不到v了，过段时间GC就会将v干掉
追加后的删除，指针为nil
上提后dirtymap重建时，指针为expunded（删除）
访问read时直接将其干掉就行，因为dirty中没有，不用考虑一致的问题

接口

结构体实现接口，底层会实现值和指针的方法
而指针实现接口，底层只实现指针的方法

正常接口 iface，空接口 eface 除了指针，第一个字段比较简单（类型）
其实是用eface承载传入，最大用途任意类型入参

内存对齐

CPU操作数据按照字长来操作
跨字长变量影响原子操作，并且影响性能
基本类型根据对齐系数判断放置位置

结构体偏移量可通过调整成员顺序节省空间，最后分情况补长
根据结构体的对其系数判断第一个位置的地址

空结构体独立使用地址默认，包在其他结构体中则不一定

zhehecao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Go 并发编程：利用通道创建并发安全的数据结构
gofuncchan的博客
03-04 303
利用通道创建并发安全的映射或切片 创建一个并发安全的映射或切片，不需要使用锁或者其他底层原语 我们之前讲过值类型的数据在函数参数传递时是拷贝传递，所以没有并发安全问题，我们并不用担心传递的值被多个协程操作的后果。然而当我们使用切片、映射等引用类型参数，甚至指针等参数时，多个并发协程对该参数的操作会引起混乱，这样的参数传递是数据不安全的。 我们知道对于引用或指针在协程内的操作，如果它同时被多个协...
Go-简洁的并发
Linvo's blog
11-30 4471
多核处理器越来越普及。有没有一种简单的办法，能够让我们写的软件释放多核的威力？是有的。随着Golang, Erlang, Scale等为并发设计的程序语言的兴起，新的并发模式逐渐清晰。正如过程式编程和面向对象一样，一个好的编程模式有一个极其简洁的内核，还有在此之上丰富的外延。可以解决现实世界中各种各样的问题。本文以GO语言为例，解释其中内核、外延。 并发模式之内核 这种并发模式的内核只
Go面试问题(牛客整理版)
不思考会变草履虫哦
05-24 424
sync.Map通过分段锁、细粒度的锁控制、只读视图遍历等机制，实现了高效的并发读写操作，特别适合在高并发场景下替代标准的map来保证线程安全，同时减少锁的竞争，提升性能。不过，需要注意的是，由于其内部实现较为复杂，相比于普通的map，在单线程或低并发场景下，它的性能可能会稍逊一筹。gRPC在实现过程中，涉及多个层次的技术栈和组件，这些层次共同构成了其高效、可靠的通信机制。接口定义层（IDL - Interface Definition Language）
go高并发数据结构---channel
刘小雨的博客
06-30 2285
代码演示： 说明： 修改，添加协程 1.4 内存与通信 在go官方有这样一个建议：怎么理解呢， 我分别给出两个例子就可以了解了 共享内存方案： i的地址给另一个协程， 典型的共享内存需要一直遍历， 消耗系统资源 通信方式： 不需要一直遍历， 提高系统使用资源总共需要三个成员需要一个缓存buffer 发送数据满之后，发送会阻塞，这时会有一个等待队列合并起来，chan 设计需要3个重要的成员 hchan 数据结构就是go官方实现的chan 底层设计 其中下面几个成员组成了一个缓存区环形缓存 下面两个成员组
【Golang详解】go语言中并发安全和锁
weixin_45901764的博客
10-28 777
go语言中并发安全和锁 首先可以先看看这篇文章，对锁有些了解 【锁】详解区分 互斥锁、⾃旋锁、读写锁、乐观锁、悲观锁 Mutex-互斥锁 Mutex 的实现主要借助了 CAS 指令 + 自旋 + 信号量 数据结构： type Mutex struct { state int32 sema uint32 } 上述两个加起来只占 8 字节空间的结构体表示了 Go语言中的互斥锁 状态： 在默认情况下，互斥锁的所有状态位都是 0，int32 中的不同位分别表示了不同的状态： 1位表示是否被锁定 1位
有用，高性能和线程安全的Go数据结构的集合。-Golang开发
05-26
go数据结构Go数据结构是有用的，高性能的和线程安全的Go数据结构的集合。 注意：仅在Go 1.3+上进行了测试。 增强树用于n维范围内go-datastructures中的碰撞的间隔树Go-datastructures是有用的，性能良好的和线程安全的Go数据结构的集合。 注意：仅在Go 1.3+上进行了测试。 增强树间隔树，用于n维范围内的碰撞。 通过红黑增强树实现。 额外的尺寸在同时插入/查询中进行处理以节省空间，尽管这可能导致次优时间复杂度。 使用位数组确定交叉点。 在一个维度中，插入，删除和查询应位于O（
golang实现的数据结构集合.zip
01-03
在本项目"Go语言实现的数据结构集合.zip"中，我们可以深入探究Go（Golang）语言如何用于实现常用的数据...通过分析这些源码，我们可以学习Go语言的面向对象编程、内存管理和并发特性，同时提升数据结构和算法的理解。
golang 语言 学习笔记 书籍 曝光go语言底层原理
10-22
Go 简单易学，性能很好，且支持各类主流平台。内容覆盖了语言、运行时、性能优化、工具...下卷则对运行时源码做出深度剖析，引导读者透彻了解语言功能背后的支持环境和运行体系，诸如内存分配、垃圾回收和并发调度等。
golang基础知识及实现，偏重于数据结构。另外包含web开源项目(中间件)的日常使用.zip
最新发布
06-17
在本压缩包中，主题聚焦于Golang的基础知识与数据结构的应用，同时也涵盖了Web开源项目的中间件使用。Golang，由Google开发的一种静态类型的、编译式的、并发型且具有垃圾回收功能的编程语言，因其高效性和简洁的...
Go-算法学习Golang版
08-14
数据结构是算法的基础，Golang提供了丰富的内置数据结构，如数组、切片（slice）、映射（map）、链表、栈、队列等。理解这些数据结构的特性和使用场景对学习算法至关重要。例如，数组和切片提供了一种动态存储数据...
onvif:golang的onvif协议栈
02-04
Golang，或者称为Go语言，是由Google开发的一种静态类型的、编译型的、垃圾回收的、并发编程友好的编程语言。 在"onvif:golang的onvif协议栈"这个主题中，我们关注的是如何在Golang中实现ONVIF协议栈。ONVIF协议栈...
Go语言学习（十）Go 语言结构体、Go 并发
qq_39376481的博客
12-20 454
Go 语言中数组可以存储同一类型的数据，但在结构体中我们可以为不同项定义不同的数据类型。 结构体是由一系列具有相同类型或不同类型的数据构成的数据集合。 1.定义结构体 实例如下： 一直出现该报错的 原因是因为其中语句用的是单引号 2.访问结构体成员 结构体类型变量使用 struct 关键字定义，实例如下： 3.结构体作为函数参数 可以像其他数据类型一样将结构体类型作为参数传递给函数。 4....
golang 并发任务 数据结构
pzqingchong的专栏
02-11 387
type schedt struct { pidle puintptr; npidle init32, gfree *g; ngfree int32; runqhead guintptr; runqtail guintptr; } type g struct { stack stack; shed gobuf;//执行现场 gopc uintp
go底层系列-struct底层实现
wys74230859的博客
12-10 696
struct 文章目录struct前言Tag的本质Tag规则Tag是Struct的一部分获取TagTag存在的意义Tag常见用法 前言 Go的struct声明允许字段附带 Tag 来对字段做一些标记。 该 Tag 不仅仅是一个字符串那么简单，因为其主要用于反射场景 reflect 包中提供了操作 Tag 的方法，所以 Tag 写法也要遵循一定的规则。 Tag的本质 Tag规则 Tag 本身是一个字符串，但字符串中却是： 以空格分隔的 key:value 对 。 key : 必须是非空字符串，字符串不
Go语言数据类型的并发安全
huan
01-26 618
go语言数据类型的并发安全
【golang】unsafe.Sizeof浅析
热门推荐
小辣抓
04-19 1万+
【golang】unsafe.Sizeof浅析 博主也是正在学习golang，在学习过程中遇到了SizeOf的问题。我原先以为，golang中的sizeof和c的sizeof差不多，但是当我开始使用的时候，才发现了许多奇怪的问题 slice := []int{1,2,3} fmt.Println(unsafe.Sizeof(slice)) //24 上面声明了一个切片，然后打印出sizeof...
golang 并发锁在struct里的陷阱
A_sam的博客
09-21 1927
错误代码 type Test struct { sync.Mutex M map[int]int } func main() { buf = make([]Test , 2); buf[0] = Test{M: make(map[string]string)} buf[1] = Test{M: make(map[string]string)} var wg sync.WaitGroup for i := 0; i < 100; i++ { wg.Add(1) go func
Go 学习笔记（67）— Go 并发安全字典 sync.Map
wohu1104的专栏
12-01 734
1. 并发不安全的 map Go 语言中的 map 在并发情况下，只读是线程安全的，同时读写是线程不安全的。 换句话说，在同一时间段内，让不同 goroutine 中的代码，对同一个字典进行读写操作是不安全的。字典值本身可能会因这些操作而产生混乱，相关的程序也可能会因此发生不可预知的问题。 package main import ( "fmt" "time" ) func main() { m := map[int]string{ 1: "haha", } go read(m) ti
Go并发编程之内置数据结构
红豆的编程空间
06-29 338
声明对象池，只需要实现 New 函数即可。对象池中没有对象时，将会调用 New 函数创建。 用于从对象池中获取对象，因为返回值是 ，因此需要类型转换。 则是在对象使用完毕后，返回对象池。 Go语言中sync库提供了两种锁互斥锁(sync.Mutex)和读写锁(sync.RWMutex)互斥锁，互斥即不可同时运行。即使用了互斥锁的两个代码片段互相排斥，只有其中一个代码片段执行完成后，另一个才能执行。Go 标准库中提供了 sync.Mutex 互斥锁类型及其两个方法：读写锁，分为读锁和
golang 底层数据结构
08-10
Golang 提供了一些底层数据结构，这些数据结构可以用于构建高效的程序。以下是一些常见的底层数据结构： 1. 数组（Arrays）：在 Golang 中，数组是固定长度的数据结构，可以存储相同类型的元素。数组使用索引访问...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值