- 博客(695)
- 资源 (31)
- 收藏
- 关注
RSS订阅
原创 大模型训练与推理完整版
PyTorch是由Facebook人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，而随着Caffe2项目并入Pytorch， Pytorch开始影响到TensorFlow在深度学习应用框架领域的地位。总的来说，PyTorch是当前难得的简洁优雅且高效快速的框架。
2024-09-23 18:56:09
211
原创 ubuntu20.04安装k8sv1.26完整篇
本文详细介绍了在 Ubuntu 20.04 上安装 Kubernetes 1.26.3-00 的步骤，包括环境配置、主机设置、kubeadm、kubectl 和 kubelet 的安装，以及containerd的配置。还涉及了集群初始化、节点加入、 Helm 安装、网络插件Calico的部署和coredns问题的排查与解决，为读者提供了一套完整的K8s集群搭建流程。2个节点主机名分别是node01、node02添加主机名解析node01和node02都做解析写到/etc/hosts文件中规划。
2024-09-04 11:23:43
1638
原创 Ascend显卡创建虚拟vgpu实例
当你使用npu-smi工具来创建虚拟 NPU（Virtual NPU，简称 vNPU）时，你可以指定虚拟 NPU 的显存大小。然而，npu-smi命令的具体参数可能会有所不同，取决于你使用的 NPU 硬件和驱动程序版本。根据你的需求，你希望创建一个具有 2GB 显存的虚拟 NPU。
2024-09-02 14:10:27
221
原创 Containerd高级命令行工具nerdctl
buildkitd是典型的C/S架构，客户端和服务端是可以在不同服务器上，而nerdctl在构建镜像的时候作为buildkitd的客户端，所以需要安装并运行buildkitd。等命令来管理conpose服务，这样使用containerd，nerdctl结合buildkit等工具就能完全代替docker在构建镜像，，镜像容器方面的管理功能。但是ctr没有构建镜像的命令，现在又不使用docker，但是nerdctl 就提供了。，不过到现在为止还没有 FIX，幸运的是这只是一个⚠️，不会影响我们的使用。
2024-08-28 14:17:15
698
原创 GPT大模型微调-提高垂直领域回答质量
安装必要的库。准备微调的数据集。使用TrainerAPI 进行微调。使用微调后的模型进行推理测试。通过上述步骤，你可以体验到微调模型的完整过程，并比较微调前后的效果。使用像 DistilBERT 这样的较小模型，可以加速微调过程，非常适合新手和资源有限的环境。
2024-06-06 17:10:25
519
原创 Kubernetes 教程：在 Containerd 容器中使用 GPU
原文链接：Kubernetes 教程：在 Containerd 容器中使用 GPU · 云原生实验室本文介绍了如何在使用 Containerd 作为运行时的 Kubernetes 集群中使用 GPU 资源。前两天闹得沸沸扬扬的事件不知道大家有没有听说，Google 竟然将Docker踢出了Kubernetes的群聊，不带它玩了。。。
2024-05-07 17:21:09
1074
原创 区块链必须了解的加密算法
常用的加密算法,包括对称加密、非对称加密、和散列加密。由于对称加密接收方和发送方采用相同的秘钥且效率比较高,使用的比较广泛。但是在一对多的通信过程中分发秘钥的时候秘钥有泄漏的风险,所以引入了非对称加密。非对称加密接收方和发送方采用了不同的秘钥这样就能确保秘钥内容在发送的过程中不会被泄漏。很多时候我们加密不需要反向解密,只需获得内容的一个特征值,这时候就需要用到散列加密算法。
2024-01-22 10:14:14
575
原创 开发人员指南从以太坊迁移到 Solana
以太坊是近期最重要的创新之一。历史上第一次，我们有了一个为社会协调而建立的去中心化全球平台，它有可能彻底改变许多行业。尽管重要，但以太坊的运行环境--以太坊虚拟机（EVM）--目前的状态并不是为消费级应用而构建的。它是一个单线程、基于Gas的网络，费用不稳定。相比之下，Solana 是一个高吞吐量、低延迟的网络。它提供了一个并行化的基础设施，收费低且可预测。它直接解决了 EVM 的局限性，并对其原始设计进行了改进，使其成为希望构建可扩展高效应用程序的开发人员的理想选择。本文是一份全面的迁移指南，适用于希望在
2024-01-08 17:35:41
1047
原创 区块链智能合约测试框架Foundry技术指南
在区块链开发领域，智能合约的安全性和可靠性至关重要。鉴于区块链的不可变性，智能合约中的任何错误都可能导致不可逆转的后果，包括重大的财务损失。这凸显了彻底测试的关键重要性。Foundry 是一种 Solidity 测试框架，在这一领域中成为一个强大的工具，为开发人员提供了严格测试他们的智能合约的手段。本技术博文深入探讨了测试智能合约的重要性，重点关注使用 Foundry 的实际策略和示例。
2024-01-05 17:53:13
2445
原创 账户体系协议-解析EIP-4337
比如 Bundler、EntryPoint、Paymaster 这些组件应该对外提供哪些可调用的函数。将这些条条框框明确了之后，
2024-01-05 10:50:19
1006
原创 智能合约安全之Solidity重入攻击漏洞的深入理解
该代码段判断目标合约的余额，当余额大于 1 个以太币时继续调用目标合约的提款函数给恶意合约转账，直到目标合约的余额不再满足转账条件，这就是重入攻击。合约可以有一个未命名的函数。如果在一个到合约的调用中，没有其他函数与给定的函数标识符匹配（或没有提供调用数据），那么这个函数（fallback 函数）会被执行。通常情况下合约之间通过 call 来相互调用执行，由于 call 在相互调用过程中，被调用方的内置变量 msg 会随着调用方的改变而改变，这就成为了一个安全隐患，在特定的应用场景下将引发安全问题。
2024-01-04 17:12:41
1823
原创 工具网站DefiLlama全攻略：从零学习链上数据使用与发现
DefiLlama 认识到每个用户可能有不同的优先级，因此允许进行自定义列。这种灵活性让用户可定制平台，以让其显示他们最看重的指标，从而提升他们的浏览体验。对于寻求特定投资机会的用户来说，例如寻找满足特定条件的流动性挖矿选项，这一功能十分重要。假设用户希望在以太坊layer2解决方案，如 Optimism、Arbitrum 和 zkSync上找到投资机会，例如 USDC/USDT 收益率超过 10%，总锁定价值 (TVL) 超过 100 万美元。
2024-01-04 16:46:25
2815
原创 中国大模型列表 Awesome LLMs In China
中国大模型大全，全面收集有明确来源的大模型情况，包括机构、来源信息和分类等，随时更新。旨在记录中国大模型发展情况，欢迎在中提供提供和和。
2024-01-03 09:53:22
1297
原创 一步步解析ChatGPT：从头训练或者微调GPT模型，实现差异化AI助手的定制
当然，本文其实无法做那么深入的从头训练和微调模型的解析。编码和解码方法：tokenizer提供了方法，用于将文本转换为模型所需的编码形式（例如，将单词转换为整数序列），以及将模型生成的编码序列解码为可读的文本。虽然因为能力和精力有限，没有完全深入的探讨，但是还是希望能够给读者一个大语言模型的初步概览，能够做到心中有底，不至于被网上的许多人忽悠。对于ChatGPT，tokenizer文件在与模型交互、生成对话时非常重要，它将输入的对话文本转换为适合模型输入的格式，同时将模型生成的响应转换回可读的文本形式。
2024-01-03 09:36:33
993
原创 使用 Nginx Ingress 快速实现 URL 重写
URL重写（URL rewriting）是一种在Web服务器上修改或转换请求URL的过程。它通常涉及使用服务器配置或规则来更改传入的URL，以便在不改变实际请求资源的情况下，实现不同的行为，如重定向、路径映射、参数处理等。URL重写在服务器层面进行，因此客户端（如浏览器）对于URL的请求不会感知到这些更改，但服务器会根据配置进行适当的处理。URL重写可以用于多种目的，例如：重定向: 将一个URL重写为另一个URL，实现301永久重定向或302临时重定向。
2023-11-29 10:08:59
1381
原创 Containerd接入Harbor仓库
在使用容器时，避免不了会使用到私有仓库，一般都是采用harbor作为私有仓库，docker 对接harbor仓库非常简单，哪containerd如何对接harbor呢？在内网使用harbor根据个人习惯，一般都是非 http 并且是通过IP 直接访问，如下：containerd如何上传或者下载镜像呢？
2023-11-13 18:10:06
1582
原创 golang——win10环境protobuf的使用
（2）选择适合的版本：protoc-3.8.0-win64.zip（3）解压后将文件 protoc.exe 所在目录添加到环境变量 Path（4）检查protobuf版本，CMD命令窗口执行：protoc --version（1）获取相关库（2）编写test.proto文件（3）生成文件命令：protoc --go_out=. test.proto命令执行完，会在test.proto同级目录下生成test.pb.go文件。
2023-10-19 16:25:33
679
原创 golang中的panic 和 recover
什么是 panic？在 Go 语言中，程序中一般是使用错误来处理异常情况。对于程序中出现的大部分异常情况，错误就已经够用了。但在有些情况，当程序发生异常时，无法继续运行。在这种情况下，我们会使用 panic 来终止程序。当函数发生 panic 时，它会终止运行，在执行完所有的延迟函数后，程序控制返回到该函数的调用方。这样的过程会一直持续下去，直到当前的所有函数都返回退出，然后程序会打印出 panic 信息，接着打印出堆栈跟踪（Stack Trace），最后程序终止。
2023-10-13 15:33:36
1010
原创 华为昇腾系列-jupyter安装torch_npu
国产算力的兴起，异构算力成为各大厂商的选择，以摆脱对英伟达算力过大的依赖，保障算力安全。1、在宿主机上安装，在容器内进行引用，但这样会依赖于宿主机，对于k8s集群来说，每台机器上都要安装这些环境，好处是juputer-arm镜像体积较小；发现无法使用torch_npu，转到容器内安装torch_npu，注意torch_npu要和torch的版本保持一致。2、在jupter容器中安装，这样容器独立，不依赖宿主机环境。在容器中挂在cann的目录，并执行如下命令，使其每次自动生效。
2024-09-25 11:40:20
757
原创 k8s 使用 containerd 运行时配置 http 私服
参考 [plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.211.55.2:5000"] 行添加私服配置，使用该配置可以直接配置相关 endpoint 为 http 地址。目前使用的环境中使用了 Kubernetes v1.22.3，containerd 1.4.3，containerd 在配置私服配置上与直接使用 docker 有一定区别。配置的私服为 http，未做配置时 k8s 拉镜像时会以 https 协议访问。
2024-05-07 17:17:37
578
原创 安装Kuboard管理k8s
Kuboard 是一款免费的 Kubernetes 管理工具，提供了丰富的功能，结合已有或新建的代码仓库、镜像仓库、CI/CD工具等，可以便捷的搭建一个生产可用的 Kubernetes 容器云平台，轻松管理和运行云原生应用。您也可以直接将 Kuboard 安装到现有的 Kubernetes 集群，通过 Kuboard 提供的 Kubernetes RBAC 管理界面，将 Kubernetes 提供的能力开放给您的开发/测试团队。参考资料：https://kuboard.cn/
2024-04-30 11:35:19
1205
原创 org.springframework.boot:type=Admin,name=SpringApplication异常
是因为 IDEA 的默认服务器配置问题。只需要将配置的 Enable launch optimization 和 Enable JMX agent 勾选项去掉即可。Run → Edit Configuration → Enable launch optimization 和 Enable JMX agent 勾选项去掉。
2024-03-21 17:22:48
2773
1
原创 crictl镜像拉取配置并使pod支持gpu
containerd是一个基于Go语言编写的开源容器运行时（container runtime），它是docker项目的一部分，后来被独立出来成为一个开源项目，与Docker相比containerd拥有更细粒度的控制，更高的可扩性和更强的安全性，使得它在生产环境中使用的越来越广泛。containerd提供了接口让上层容器编排系统（如kubernetes）可以与底层容器引擎进行通信，通过这个接口，上层容器编排系统可以管理和配置容器，监控和调整容器的资源使用情况，对容器进行快速的启动和停止重启等操作。
2024-02-27 11:23:46
1551
原创 容器 | Containerd 命令行工具的使用
Containerd 不支持 docker API 和 docker CLI，但是 containerd 可以通过以下这几种命令实现类似的功能。
2024-02-27 10:32:04
1155
原创 K8S节点GPU虚拟化(vGPU)
vGPU实现方案4paradigm提供了k8s-device-plugin，该插件基于NVIDIA官方插件(NVIDIA/k8s-device-plugin)，在保留官方功能的基础上，实现了对物理GPU进行切分，并对显存和计算单元进行限制，从而模拟出多张小的vGPU卡。在k8s集群中，基于这些切分后的vGPU进行调度，使不同的容器可以安全的共享同一张物理GPU，提高GPU的利用率。此外，插件还可以对显存做虚拟化处理（使用到的显存可以超过物理上的显存），运行一些超大显存需求的任务，或提高共享的任务数。
2024-02-26 10:09:02
1119
原创 3分钟部署完成Docker Registry及可视化管理工具Docker-UI
首页展示出了目前容器的运行列表，容器、镜像创建时间及数量。各容器间网络关联情况看起来比较炫，但感觉没啥实用性。镜像镜像列表，可删除、上传新的镜像。
2024-02-08 09:58:27
5123
原创 k8s弃用docker后使用ctr导入镜像
很多公司的k8s安装比较早，在生产环境一般很少升级，因此还是老版本，在使用新版本的时候，容易陷入老版本的思维中，从而掉坑，这里记录一下整个排查过程，希望对遇到类似的同学起到一定的帮助。
2024-02-07 17:46:41
2011
原创 微服务框架go-zero集成swagger在线接口文档
go-zero是一个集成了各种工程实践的 web 和 rpc 框架。通过弹性设计保障了大并发服务端的稳定性，经受了充分的实战检验。go-zero 包含极简的 API 定义和生成工具 goctl，可以根据定义的 api 文件一键生成 Go, iOS, Android, Kotlin, Dart, TypeScript, JavaScript 代码，并可直接运行。官方提供的swagger集成不够简约，需要手动单独启动线程，本文提供一个更加简洁的集成方案，swagger接口文档随着golang主进程启动。
2024-02-02 14:14:35
1372
1
原创 kuboard-spray 导入离线资源包
2. 将 kuboard-spray-resource.tar 复制到 kuboard-spray 所在的服务器（例如：10.99.0.11 的 /root/kuboard-spray-resource.tar）在 Kuboard-Spray 界面中导航到 “系统设置” --> “资源包管理” 菜单，点击 “离线加载资源包”，按界面提示操作，即可完成资源包的离线导入。# 3. 在 kuboard-spray 所在的服务器上执行，（例如：10.99.0.11）# 1. 在一台可以联网的机器上执行。
2024-01-31 20:26:15
368
原创 【虚拟机磁盘扩容】 centos7把/dev/sda的磁盘空间分给根目录
注：虽然在第1步已经设置过新的磁盘大小为50G，但是这里明显可以看出总磁盘大小依旧是之前的20G，这就涉及到分区问题。关闭虚拟机→设置→硬盘→修改到自己需要的磁盘大小。可以看到主机真实的磁盘大小是之前设置的50G左右。11、若报错，查看文件系统是不是xfs 的。此时已经变成47G，重启虚拟机生效。5、将分区格式化为ext4格式。3、再次查看磁盘分区表。4、接收新的分区表信息。9、扩展到容量逻辑分区。12、若是，则用该命令。
2023-12-06 13:49:05
2240
原创 配置特定 IP 地址走指定网关
公司有两个日常上网用的路由器，分别接不同的两条网线，虽然都是电信的，但是一条偶尔会抽风，我的 VPS 会连不上，也就是挂在上面的 SS 无法使用。这对我来说几乎是无法忍的，面对不能科学上网的网络环境不免痒痒，干脆搞个 USB 无线网卡，当抽风的时候，就使用无线网卡连接公司另一个路由器得了。于是我就想，访问内部网络的时候通过有线网卡，平时上网使用无线网卡。亏我还是网络技术专业，学没好好上，连最基本的修改路由都不会，于是请教了一下。目前是无线网卡优先级比较高，也就是说上网是通过无线网卡的。
2023-11-26 15:59:08
2111
原创 vmware虚拟机设置静态ip之后无法联网
今天在vmware虚拟机设置静态ip，设置静态ip之后无法联网（ping），并且SecureCRT无法连接上虚拟机。这里的DHCP设置上，使用本地DHCP服务将IP地址分配给虚机一直处于勾选状态。需要把它关闭，如下图所示。显示未知的名称和服务，开始以为网管和DNS是不是配置的有问题。反复检查后没有发现什么问题。在网查询后知道了，是vmware虚拟机默认采用的是dhcp模式分配ip。网卡参数配置没有问题，可是却发联网，ping网站也不通。
2023-11-08 10:19:48
1068
原创 gRPC通信
gRPC是一种高性能、开源和通用的远程过程调用（RPC）框架，由Google开源并维护。它使用Protocol Buffers（protobuf）作为接口定义语言（IDL），提供跨平台、跨语言的RPC调用支持。高性能：使用HTTP/2协议，支持多路复用和流控制等特性，能够在客户端和服务器之间高效地传输大量数据。同时，gRPC还使用了基于平台优化的序列化和反序列化技术，提高了通信的效率。简单易用：gRPC的IDL语言简单易懂，同时提供了自动生成代码的工具，方便用户进行开发。
2023-10-19 16:55:34
160
原创 go-logger日志组件分割日志
字段别名类型说明例子Timestamptimestampint64Unix时间戳1521791201string时间戳格式化字符串int64毫秒时间戳string毫秒时间戳格式化字符串Levellevelint日志级别1string日志级别字符串ErrorBodybodystring日志内容Filefilestring调用本次日志输出的文件名main.goLinelineint调用本次日志输出的方法64Function。
2023-10-19 16:17:50
589
1
原创 使用两个goroutine交替、顺序打印一段字符串的字符
1、使用两个goroutine交替、顺序打印一段字符串的字符。关键点：控制goroutine的执行先后循序。输入：hello world。输出：hello world。
2023-10-17 17:38:12
421
原创 gitlab配置webhook限制提交注释
由于注释信息为6个字，所以被拦截，并且在报错中也给出样例“remote: your commit msg should like : TEST-123, fix the wrong caution”。#注释信息可以中文也可以英文，但是标红处的字符不得少于10个字符。git commit -m "SMGJ-120, 测试提交代码"修改注释信息为"SMGJ-120, 测试提交代码测试提交代码"一、提交代码格式为“jira项目问题编号, 注释信息”，例如。二、修改注释，重新提交代码。#将相关脚本放入对应目录。
2023-09-27 17:52:19
1177
grafana-3.1.1-1470047149.x86_64.rpm
2016-10-01
arcgis_api_for_flex_3_6 api库文件
2014-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人