- 博客(1276)
- 资源 (35)
- 收藏
- 关注
原创 数据安全之GDPR全面讲解
GDPR(General Data Protection Regulation,通用数据保护条例)是欧盟于2018年5月25日正式实施的一项数据保护法规。其目的是加强个人数据的保护,赋予个人对其数据的更大控制权,并统一欧盟范围内的数据保护标准。GDPR适用于所有处理欧盟居民个人数据的企业,无论这些企业是否位于欧盟境内。
2025-02-07 13:15:08
866
原创 关于身份认证中的SOC 2
SOC 2是由美国注册会计师协会(AICPA)开发的一种审计标准,基于五个“信任服务原则”——安全性、可用性、处理完整性、机密性和隐私,定义了管理客户数据的标准。与具有严格要求的PCI DSS不同,SOC 2报告因组织的特定商业惯例而具有独特性,组织可以设计特定的控制措施以遵循一项或多项信任原则。隐私原则规定系统在收集、使用、保留、披露和处置个人信息时,必须遵循组织的隐私声明和AICPA的普遍接受隐私原则(GAPP)。处理完整性原则关注系统是否能够在正确的时间、以正确的价格提供正确的数据。
2025-02-07 13:07:54
392
原创 Auth身份认证的一些必知的行业标准
曾几何时,当计算机还是独立系统时,或者说互联网没有爆发时,所有的身份认证和用户数据都存在于一台计算机中。现在时代变了,你可以在多个应用和网站上使用相同的登录信息(比如随处可见的「使用微信登录」),这是大家通过遵循同一种身份认证标准实现的。这些标准是一套开放式规范和协议,遵循这套标准可以帮助开发者和企业设计良好的身份认证和授权系统,同时规定了如何正确的管理身份、转移数据以及授权。
2025-02-07 13:02:47
352
原创 2025:Massa重新定义去中心化的一年
当我们告别 2024 年时,这是回顾我们在主网上的第一年的好时机。这是一个充满成就和挑战的里程碑。从公开发售到上市,再到 MNS 的发布,2024 年是转型和基础进步的一年。然而,未来还有更大的抱负。2025 年,我们的目标是将 Massa 转变为终极去中心化云网络,为新的数字自由铺平道路。但在深入探讨未来之前,我们认为有必要花点时间强调一下过去一个季度发生的事情——这是一个重新调整、成长和为下一阶段的旅程做准备的时期。为成功奠定基础首先,自夏季结束以来,我们的团队设置发生了一些变化。
2024-12-29 09:05:50
907
原创 集成登录组件服务提供商调研
*Microsoft Entra:Microsoft Entra单点登录解决方案整合了多个服务,支持社交登录,用户可以利用多个凭证访问已授权的服务,具有强大的安全和用户自助功能【citation:8】【citation:1】。它旨在为用户提供更安全的访问体验,并集成多种身份管理功能【citation:10】。:Okta单点登录解决方案可以管理所有特定于应用程序的用户身份、访问权限和身份验证策略,支持多种多因素身份验证方式,并提供自助密码重置功能【citation:8】【citation:1】。
2024-12-24 14:48:55
732
原创 Websocket客户端从Openai Realtime api Sever只收到部分数据问题分析
明显看起来只收到了部分数据,究其原因是超过了接受缓冲区的65535的最大默认配置,没有进行自定义配置,对于json数据就是设置WebSocket容器的默认最大文本消息缓冲区大小。正常情况下,会从Openai Realtime api Sever收到正常的json数据,但是当返回音频数据时,总会返回非json数据。
2024-12-22 00:05:28
592
原创 Websocket客户端始终连接不上Server排查之Openai Realtime api
当尝试从openai 提供的openai-realtime-console websocket客户端连接到Netty实现的websocket server时,遇到总是无法连接的问题,而自己写的websocket client和postman的client则可以正常连接,那么原因出在哪里呢?如果客户端和服务器位于不同的域上,并且服务器未配置正确的跨域策略,则无法建立连接3。可以明显的看到服务端并没有使用sub-protocol(s),问题到这里就破案了,就是子协议不匹配的问题,那么问题解决起来就很容易了。
2024-12-21 23:33:47
1271
3
原创 高清蓝光光盘(Blu-ray Disc)中clpi、mpls、m2ts文件大揭秘
一个高清蓝光光盘(Blu-ray Disc)的标准的文件结构是一个文件夹下包含BDMV文件、srt字幕文件、CERTIFICATE目录文件三个文件。具体见下图:其中,srt是字幕文件,通常不同语言的命名代表不同语言的字幕,比如这里是中文字幕。BDWV 是核心的音频、视频、控制等资源文件,实际是个文件夹CERTIFICATE文件夹主要用于存储与蓝光光盘播放和内容保护相关的证书和元数据。
2024-12-18 13:58:55
1197
原创 Onchain 正在蚕食 Offchain
在 2022 年降温之后,在成熟的应用程序和可扩展的基础设施的推动下,链上经济进入了新的增长阶段。他们开发吸引用户并使其受益的产品和服务,随着用户群的扩大,它吸引了更多的开发者,建立了一个自我强化的循环,推动链上经济向前发展。过去两年,开发者生态系统和技术创新因资本的涌入而加速发展,2024 年第一季度出现小幅上涨,共吸引 603 笔交易,总金额达 24.9 亿美元,较上一季度增长 29%。越来越多的经济活动将转移到链上。这些进步正在扩展网络的功能,吸引越来越多的用户群,从而推动经济活动的增长。
2024-12-07 20:18:28
1090
原创 再谈多重签名与 MPC
尽管 MPC 技术在灵活性方面具有一些优势,并且一些底层解决方案(例如钱包即服务提供商)非常适合大规模引入大量用户(与用于管理大量加密资产的解决方案相比,安全性风险较小),但截至目前,MPC 解决方案还不完全适合成为保护大量资本的权威基础设施。:Multisig 技术已经经过多年的实战考验,Safe 是以太坊上最显著的例子,存储了 400 亿美元以上的资产,而 Squads 则是 Solana 上最大的团队所使用的。传统的加密钱包只有一个私钥,如果被盗,未经授权的人就可以访问和转移钱包中的资金。
2024-12-07 15:10:32
1229
原创 动态流程架构图绘制软件
我想了下,如果课堂上老师把课堂讲过的内容画成流程图,然后一键生成动画,是不是有助于学生们回顾和记忆课堂内容,有读者从事教育行业的可以尝试一下。相关网址:1是功能强大的绘图软件,2是可以画出活泼俏皮风格示意图的白板工具,3是将流程图一键转动画的工具。如果想绘制活泼一点的流程图,把绘制流程图的步骤记录下来,并一键生成动画,方便演示或者整理思路。draw.io是一个很流行的开源项目,可以绘制各种图表,包括流程图,泳道图,组织结构图等等。这种动图记录下了我们绘制流程图的步骤,有助于梳理思路,回顾整个思考过程。
2024-12-06 16:52:44
797
原创 Memcached 和 Redis 的比较
Redis 使用单线程的 IO 复用模型,自己封装了一个简单的 AeEvent 事件处理框架,主要实现了 epoll 、 kqueue 和 select ,对于单纯只有 IO 操作的请求来说,单线程可以将速度优势发挥到最大,但是 Redis 也提供了一些简单的计算功能,比如排序、聚合等,对于这些操作,单线程模型实际会严重影响整体吞吐量, CPU 计算过程中,整个 IO 调度都是被阻塞住的。Memcached 使用预分配的内存池的方式,使用 slab 和大小不同的 chunk 来管理内存。
2024-11-27 16:00:30
959
原创 RAG 与 HyDE
更具体地说,该模型使用对比学习进行训练,它还可以用作近无损压缩器,其任务是过滤掉虚假文档的幻觉细节。- 将假设答案 H、检索到的上下文 C 和查询 Q 传递给 LLM 以生成最终答案。这会产生一个向量嵌入,预计它与实际文档的嵌入的相似度要高于问题与真实文档的相似度。这个答案不必完全正确。传统 RAG 系统的一个关键问题是问题在语义上与答案不相似。多项研究表明,与传统嵌入模型相比,HyDE 提高了检索性能。下面的视觉效果说明了这种方法与传统 RAG 的不同之处。但这不会严重影响性能,因为检索器模型是嵌入的。
2024-11-26 21:09:35
369
原创 AI应用中基于okhttp3实现SSE技术的各种解决方案实现
SSE 是指 Server-Sent Events(服务器推送事件),是一种基于 HTTP 的、服务器向客户端单向推送数据的技术。它允许服务器实时发送数据到客户端,而不需要客户端明确地请求。SSE 主要用于实现服务器向客户端的实时更新,比如新闻更新、股票报价、实时监控等场景。SSE 的优点在于其简单性和易用性,特别适用于那些需要服务器向客户端实时推送信息的场景。虽然它与 WebSocket 相比有一些限制(比如单向通信),但对于一些应用场景而言,SSE 是一个简单而有效的选择。单向通信。
2024-11-20 14:33:55
374
原创 信创之国产操作系统
开放麒麟”(openKylin) 社区是在开源、自愿、平等和协作的基础上,由基础软硬件企业、非营利性组织、社团组织、高等院校、科研机构和个人开发者共同创立的一个开源社区,致力于通过开源、开放的社区合作,构建桌面操作系统开源社区,推动Linux开源技术及其软硬件生态繁荣发展。它是863计划重大攻关科研项目的一部分,旨在打破国外操作系统的垄断。华为鸿蒙HarmonyOS系统是面向万物互联的全场景分布式操作系统,支持手机、平板、智能穿戴、智慧屏等多种终端设备运行,提供应用开发、设备开发的一站式服务的平台。
2024-10-18 18:19:50
1314
原创 Tomcat怎么调整参数以优化性能
优化Tomcat的性能需要综合考虑多个方面,从线程池配置到内存管理,再到具体的应用逻辑,每个应用的需求都是独特的,因此建议在进行任何调整之前,先进行充分的测试和评估。:设置Tomcat可以接受的最大连接数,默认值通常为200,但根据你的硬件能力和应用负载,可能需要增加或减少。在生产环境中,可以将日志级别设置为“INFO”或“ERROR”,以减少日志记录的开销。:设置等待处理的连接队列大小,如果所有线程都忙,新的连接请求将进入此队列。:设置Tomcat启动时创建的最小线程数,这有助于快速响应初始连接请求。
2024-10-16 14:45:14
535
原创 配置中心Spring cloud config、Apollo、Nacos对比
目前在国内开发者社区比较热,在Github上有超过5k颗星,在国内众多互联网公司有落地案例,可以说Apollo是目前配置中心产品领域Number1的产品,其成熟度和企业级特性要远远强于Spring Cloud体系中的Spring Cloud Config产品。也许经过的迭代更久,功能上比Nacos更加完善,权限管理做的全面,配置上可能会做的更细节一些,不过操作比较繁琐,比较适合多业务 多团队的业务场景。Nacos内置监听心跳检测机制,每5秒、15秒、30秒对服务进行心跳探测,标注为健康、不健康、剔除;
2024-09-29 18:27:19
946
原创 什么是 Elasticsearch?一篇搞懂
显然,Elasticsearch是老外写的,内置的分词器都是英文类的,而我们用户搜索的时候往往搜的是中文,现在中文分词器用得最多的就是。,它主要负责维护索引元数据、负责切换主分片和副本分片身份等工作(后面会讲到分片的概念),如果主节点挂了,会选举出一个新的主节点。从上面所讲的写入流程,我们就可以知道:Get(通过ID去查Doc是实时的),Query(通过query去匹配Doc是近实时的)上面我们已经知道当我们向Elasticsearch写入数据的时候,是写到主分片上的,我们可以了解更多的细节。
2024-09-28 17:24:38
1412
原创 Web3Auth 如何工作?
重要的是,完整的私钥不存储在钱包基础设施系统内的任何地方,包括我们的数据库或任何参与节点。集成到您的应用程序中后,SDK 有助于嵌入登录功能。使用 Web3Auth 基础架构,您的密钥会被分成多个部分,并存储在您的设备和我们的 Auth 网络中。而在传统的 Web3Auth SDK 中,您的密钥是使用阈值签名在前端动态重建的。相反,这些部分密钥存储在不同的位置,并且您的设备用于为您的消息/交易制作部分签名。正如您在上图中看到的,右侧 TSS 架构的最终输出是可用于在区块链上进行交易的签名。
2024-09-26 18:57:44
1146
原创 一个必会算法模型,XGBoost !!
XGBoost是一种集成学习算法,基于决策树构建强大的预测模型。它通过迭代训练多个决策树模型,利用梯度提升技术不断优化模型性能。XGBoost在各种数据集上都表现出色,并且被广泛应用于分类和回归问题。
2024-09-26 11:38:30
921
原创 MySQL如何实现并发控制?(下)
可以看到,和前面不同的是,进入到悲观更新的逻辑时,会直接对 index 加 SX 锁(在 5.7 之前的版本中是直接加 X 锁,5.7 版本引入了 SX 锁,SX 锁和 S 锁不互斥,所以此时还可以读),所以在后续 B+tree 遍历的过程中,只是先收集索引经过的节点,并没有直接上锁。session 2 获得 40 上的记录锁(X),但是由于插入的区间是(20,40),且 session 3 已经持有了 (30, 40) 上的 Gap 锁,所以需要产生一个插入意向锁,最终导致死锁;
2024-09-23 18:49:13
790
原创 MySQL如何实现并发控制?(上)
在使用数据库的过程中,一个绕不开的操作就是 DDL,特别是在线上运行的库上直接进行 DDL 操作。通过上面一个简单的例子,我们知道了 MDL 锁的基本概念,也知道了所谓的 DDL 导致“锁表”的原因,严格的说,MDL 锁并不是表锁,而是元数据锁,关于 MDL 更深入的介绍,可以参考这篇文章,本文不再过多展开。狭义上来说,thr_lock接口加的锁就是 Server 层的表锁,具体的加锁逻辑、锁类型的互斥关系、锁等待的逻辑此处不再展开,有兴趣的同学可以自己结合代码进行查看。
2024-09-23 18:04:22
1260
1
原创 LevelDB RockesDB LSM
LevelDBlevelDB是同样也是一个Key-value数据库,但是相对于Redis、memcache来说,levelDB是基于内存-磁盘来实现的,但在大部分场景下也表现出了不逊色于Redis、Memcache的性能。levelDB由google实现并开源,轻松支持billion量级的数据,并且性能没有太大的衰退,下面来看一下LevelDB的具体实现。LevelDB实现既然是一个key-value 数据库,显而易见支持的api肯定有put/get/delete(delete实质上就是
2024-09-06 01:21:49
895
原创 阿里中间件——diamond
获取的地址列表,会保存在client本地,当出现网络异常,无法从网络获取地址列表时,client会使用本地保存的地址列表。c. diamond服务端是一个集群,集群中的每台机器连接同一个mysql,集群之间的数据同步通过两种方式进行,一是每台server定时去mysql dump数据到本地文件,二是某一台server接收发布数据请求,在更新完mysql和本机的本地文件后,发送一个HTTP请求(通知)到集群中的其他几台server,其他server收到通知,去mysql中将刚刚更新的数据dump到本地文件。
2024-09-06 00:56:24
1477
原创 没有Massa的并行执行区块链系统调研
编者按:我认为在并行区块链领域进行横向比较时,没有massa的加入,整个调研的结果将是有失水准的,不过我们还是可以看看其他区块链都是有哪些特点。无论是在传统的数据库领域还是在区块链技术中,并行执行模型的设计都较为复杂。这是因为,在设计过程中,需要综合考虑多个维度,而每个维度的选择都会对系统的整体性能和可扩展性产生深远影响。本文将深入探讨当前最具代表性的几种区块链执行层并行架构,并详细呈现我们针对这些架构在性能和可扩展性方面所做的实验结果。
2024-09-03 11:42:15
2023
2
转载 AI LLM预训练数据集及其清洗框架总结
本文从快速构建大型语言模型(LLM)训练数据集的角度出发,全面梳理了中文、英文和多语种数据集及其清洗规则,介绍了常用的数据清洗框架和主要流程,指出现有数据集存在的问题及其初步解决方案。站在开源数据集的肩膀上,通过数据整合和精细治理,我们能快速产出落地方案和结果,从而推动 LLM 的训练和优化任务。数据类别:已覆盖了所有常见的类别,包括网页、书籍、企业年报、法律文书、问答、新闻、百科、考试、专利、评论、博客、歌词、古诗文、中英平行语料等。训练语种:训练集包含中英双语。
2024-08-20 18:04:53
869
3
原创 50道深度NLP和人工智能领域面试题+答案
BERT是一种预训练语言模型,通过训练深度双向Transformer模型,实现了在大规模语料上学习通用的自然语言表示,广泛应用于各种NLP任务,如问答系统、命名实体识别和文本分类。RNN 是一种具有循环连接的神经网络,用于处理序列数据;词嵌入是将单词映射到连续向量空间的技术,它可以捕捉单词之间的语义和语法关系,常用的算法包括Word2Vec、GloVe和FastText。注意力机制是一种用于加强神经网络在处理序列数据时的性能的技术,它允许网络动态地关注输入序列的不同部分,提高模型的表现力。
2024-08-20 01:37:31
1370
原创 Massa Layer 1区块链 POS 安全性分析
Certik challenged Massa Labs to demonstrate the security of our proof-of-stake system against potential attackers attempting to bias the randomized draws. Massa Labs' researchers responded by providing a rigorous mathematical analysis, proving the robustne
2024-08-19 18:28:23
466
原创 2024最新50道NLP和人工智能领域面试题+答案(中文+英文双版本)
编者按:分享一个很硬核的免费学习网站,通俗易懂,风趣幽默, 可以当故事来看,轻松学习。
2024-08-19 18:00:04
1314
原创 java.sql.SQLException: txn too large, size: 104857606.
在tidb中尝试一次性删除了太多数据,超过了单个事务的总大小限制。减少每次删除的条数,从而降低tx的总的大小。
2024-08-19 12:05:29
291
转载 CompletableFuture原理深度解析
CompletableFuture之前FutureTask只是Future接口的一个基本实现,并且是作为一个Task对象存在的,FutureTask本身并不管理执行线程池相关的内容,我们生成一个FutureTask对象的动机是我们希望将我们的task包装成一个FutureTask对象,使得我们可以借助FutureTask的特性来控制我们的任务。
2024-08-14 01:08:52
93
原创 执行一条 SQL 查询语句,期间发生了什么?
索引下推后,虽然 reward 列无法使用到联合索引,但是因为它包含在联合索引(age,reward)里,所以直接在存储引擎过滤出满足 reward = 100000 的记录后,才去执行回表操作获取整个记录。相比于没有使用索引下推,节省了很多回表操作。当你发现执行计划里的 Extr 部分显示了 “Using index condition”,说明使用了索引下推。
2024-08-13 19:35:05
187
原创 机器学习中的训练集、验证集和测试集区别
编者按:分享一个很硬核的免费学习网站,通俗易懂,风趣幽默, 可以当故事来看,轻松学习。在机器学习中,数据集通常被划分为训练集、验证集和测试集,每个部分在模型的构建和评估中扮演着不同的角色。以下是对这三种数据集的详细解释及其作用。
2024-08-12 23:14:25
918
原创 深度学习中的梯度消失问题
梯度消失问题是深度学习中的一个重要挑战,尤其在训练深层神经网络时尤为突出。当网络层数较多时,反向传播过程中,梯度可能会逐层减小,最终导致前面的层几乎无法更新,从而阻碍网络的学习。这种现象会导致模型性能下降,训练过程变得非常缓慢或甚至停滞。:例如,ReLU(修正线性单元)及其变体,能够有效缓解梯度消失问题。:选择合适的权重初始化方法,如 Xavier 初始化或 He 初始化,能够提高训练的稳定性。:在每一层引入批归一化,可以帮助保持激活值的分布稳定,从而加速训练,并减轻梯度消失的问题。
2024-08-12 18:49:54
1205
Natural Language Processing with Deep Learning CS224N/Ling284
2024-09-09
RFC9220 - HTTP Datagrams and the Capsule Protocol
2024-08-02
RFC9297 - Bootstrapping WebSockets with HTTP/3
2024-08-02
RFC9114 - HTTP/3
2024-08-02
RFC9000 - QUIC: A UDP-Based Multiplexed and Secure Transport
2024-08-02
RFC8446 -The Transport Layer Security (TLS) Protocol Version 1.3
2024-08-02
Web3+Decentralized+去中心化+存储
2024-04-30
Chainbase+Web3+APi+Data warehouse
2024-04-30
Graph+Web3+检索
2024-04-30
Web3+Nostr+区块链+去中心化+Relay+抗审查
2024-04-30
VISION FOR A HETEROGENEOUS MULTI-CHAIN FRAMEWORK DRAFT
2023-12-24
Security audit report for imtoken wallet
2023-12-24
Decentraland is a blockchain-based virtual world
2023-12-24
力场的定位是一个以公链共建挖矿为核心的社区平台以及UGC平台
2023-12-24
A Novel Metastable Consensus Protocol Family for Cryptocurrencie
2023-12-24
Measuring Ethereum Network Peers
2023-12-24
Firework Games White Paper
2023-12-24
CS251 Final Exam 2021
2023-12-24
Generic Construction of Ring Signatures with Efficient
2023-12-24
The Gridex Protocol
2023-12-24
Efficient Zero-Knowledge Arguments for Arithmetic Circuits
2023-12-24
KishuInu Whitepaper
2023-12-24
On the Instability of Bitcoin Without the Block Reward
2023-12-24
Shorter Proofs for Privacy-Enhanced Distributed Ledger
2023-12-24
Attacking Threshold Wallets
2023-12-23
This paper provides an architectural overview of the Avalanche
2023-12-23
Avalanche Native Token ($AVAX) Dynamics
2023-12-23
ZKSwap是一个基于 ZK-Rollup 的 Layer2 代币Swap协议
2023-12-23
ZEND White Paper
2023-12-23
KZen Curv Security Audit
2023-12-23
为什么虚拟资产值得投资:元宇宙虚拟地产报告
2023-10-27
元宇宙:未来数字绿洲入口已打开
2023-10-27
Code Assessment of Liquidations 2.0 Smart Contracts
2023-10-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人