- 博客(938)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Docker：镜像管理与实践
Docker是一种流行的容器化平台，它可以帮助开发人员将应用程序及其依赖项打包到一个独立的容器中。这样的容器可以在不同的环境中轻松部署和运行，确保应用程序的可移植性和一致性。首先，创建一个空的文件夹，并在其中创建一个名为Dockerfile的文件。打开Dockerfile，并添加以下内容作为基本的模板：# 使用基础镜像作为起点# 添加/复制文件到镜像中# 执行命令来安装依赖项。
2023-08-04 16:21:11
54
原创 对象存储：基于docker-compose 快速部署 MinIO
MinIO 是一个开源的对象存储服务器，它兼容Amazon S3（Simple Storage Service）API。它被设计用于构建分布式存储架构，提供高可用性、高性能和可扩展的对象存储解决方案。对象存储：MinIO以对象为基本存储单元，可以存储和管理任意大小的文件、数据对象。它提供了标准的对象存储操作，如上传、下载、删除和元数据管理。分布式架构：MinIO采用分布式架构，可以在多个节点上部署，并将数据分布和复制在不同的节点上。这提供了高可用性和数据冗余，确保数据的持久性和可靠性。高性能。
2023-08-04 16:17:18
122
原创 AIGC：Prompt逆向工程简介及使用
这个时候，另外一门对抗技术就产生了，我给他取名，Prompt Reverse Engineering：Prompt逆向工程。你是小红书爆款写作专家，请你用以下步骤来进行创作，首先产出5个标题（含适当的emoji表情），其次产出1个正文（每一个段落含有适当的emoji表情，文末有合适的tag标签）三、结合我给你输入的信息，以及你掌握的标题和正文的技巧，产出内容。我们在这个网站上，随便输入一些内容，让他来生成文案，效果如下图所示，看起来还是相当不错，有模有样的。现在，它已经返回出了自己的初始Prompt。
2023-08-04 16:11:54
854
原创 SpringBoot：集成EasyExcel实现EasyExcel
当使用 EasyExcel 时，实体类需要按照以下规则进行定义。实体类需要添加 @ExcelIgnoreUnannotated 注解，以确保未被 @ExcelProperty 注解标记的字段被忽略。使用 @ExcelProperty 注解标记需要在 Excel 中读写的字段，可以指定字段在 Excel 中的列索引或列名。可以使用其他注解（如 @ExcelDateTimeFormat、@ExcelNumberFormat 等）来进一步定义字段的格式化规则。
2023-08-04 16:07:59
354
原创 DevOps：数据分析可视化Zeppelin简介
Apache Zeppelin 是一个开源的数据分析和可视化工具，它提供了一个交互式的笔记本界面，用于在大数据环境中进行数据探索、数据分析、数据可视化和协作。它支持多种编程语言，如 Scala、Python、R 和 SQL，并提供了丰富的内置可视化和交互式图表库。Apache Zeppelin 在数据科学、机器学习、数据工程等领域得到了广泛的应用，它为数据分析人员、数据科学家和工程师提供了一个强大的工具来进行数据探索、分析和可视化，并支持团队间的协作。
2023-08-04 16:05:52
35
原创 GIS：GDAL实现对栅格文件的转换
我们常常在图像处理过程中遇到不同软件或程序要求输入的图像格式不同（有些程序或软件支持的数据格式不是常用的Tiff，Img等数据格式），因此需要对不同的数据格式相互进行转换。首先需要安装GDAL，我这里是在Anaconda上直接安装了基于Python的GDAL，可以在下面网站自行下载，https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal 例如下面对应的就是Python3.8版本的GDAL。根据需求，输入相关的参数进行转换，不需要的参数可以忽略。
2023-07-11 14:45:22
149
原创 python：conda简介及安装教程
anaconda包管理器和环境管理器，强烈建议使用1.下载Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrormirrors.tuna.tsinghua.edu.cn/anaconda/archive/2.安装傻瓜式安装，一直下一步即可安装完成可以选择All users可自定义路径不选择添加环境变量3.配置环境变量将如上路径添加到系统path，不会的参考下面步骤，电脑右键选择属性，选择高级系统设置点击环境变量。
2023-07-11 14:38:58
333
原创 AIGC：ChilloutMix简介
ChilloutMix是一款极具创意和实用性的设计工具，它擅长绘制逼真的插图和人物形象。ChilloutMix的特色在于它可以创造出非常逼真的效果，使得插图和人物形象看起来犹如真实照片一样。这种逼真的效果，让人们可以在视觉上更加直观地感受到插图和人物形象所要表达的信息和情感。ChilloutMix的使用非常方便，它提供了丰富的插图和人物形象库，用户可以轻松地找到自己所需的素材，然后通过ChilloutMix的工具进行编辑和调整。
2023-07-05 15:33:39
444
原创 AIGC：大语言模型开放平台OpenLLM简介（提供简易的模型部署体验）
该项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把大语言模型（LLM）部署到云端或本地，并且可以放心地用于生产环境中，此外还提供了进一步的能力来让用户更加方便地基于大语言模型（LLM）构建更强大的 AI 应用。OpenLLM是一个用于在生产环境中操作大型语言模型（LLM）的开放平台，它可以轻松地微调、服务、部署和监控任何LLM。
2023-07-05 15:25:27
557
原创 AIGC：通过 ChatGPT 和 Mermaid 实现语言描述生成流程图实践
Mermaid 是一种用于创建流程图、时序图、甘特图和其他各种图表的开源工具。它使用简单的文本描述语言，将图表定义为纯文本，并自动生成相应的图形表示。Mermaid 的语法简洁易懂，使用者只需编写简单的文本描述即可生成图表。
2023-07-05 15:23:21
240
原创 devops：JSON图形化JSON Crack简介
JSON Crack是一款开源、免费的JSON可视化工具，可以轻松分析复杂结构的JSON数据，提供树状图式的显示。相比于传统的JSON工具，JSON Crack让我们的JSON数据一目了然，快速定位数据中的某个节点，操作简单方便。
2023-07-05 11:33:08
189
原创 AIGC：角色扮演指令收集整理
您将为客户涂抹化妆品以增强功能，根据美容和时尚的最新趋势打造外观和风格，提供有关护肤程序的建议，了解如何处理不同肤色的肤色，并能够同时使用传统的应用产品的方法和新技术。**提示指令：**我要你当保姆。您将负责监督幼儿、准备膳食和零食、协助完成家庭作业和创意项目、参与游戏时间活动、在需要时提供舒适和安全保障、了解家中的安全问题并确保满足所有需求. 我的第一个建议请求是“我需要帮助在晚上照顾三个活跃的 4-8 岁男孩。我的第一个对象是“猫”我的第一个建议请求是“我需要帮助评论这部科幻电影”来自美国的黑客帝国。
2023-07-05 10:11:18
111
原创 AIGC：编程版GPT-Engineer简介
既AutoGPT之后，GPT家族又添GPT-Engineer新成员。如同其它GPT家族成员一样，它能够根据用户指令生成生成整个代码库、学习你的代码风格，易于调整、扩展。这下，程序员又要失业了。简单易用、灵活、易于添加新的AI步骤是GPT-Engineer最强的优势。它可以逐步构建用户体验，用户也可以使用高级提示，然后将反馈输送回AI。随着时间的推移，AI能够记住这些反馈。用一个提示词生成代码库提出清晰的问题生成技术规范编写所有必要的代码轻松添加自己的推理步骤、修改和实验。
2023-07-05 10:06:02
101
原创 AI：基础概念简介
学习率alpha是一个人为控制的超参数，有时也叫learning rate(lr)， 学习率的范围，通常是(0, 1]， 学习率通常用在神经元权重更新上，公式为：w = w - alpha * D ， 学习率的用途是控制权重更新的步幅，一个合适lr可以帮助模型找到最优权重，从而快速收敛。现象：离输出层越远的神经元越难以快速更新权重，主要源自sigmoid求导函数乘的a(1-a)，a范围是0-1，则求导函数值域就是（0,0.25）永远小于1，致使网络层数加深后，输入层附近的神经元权重几乎无法更新，难以训练。
2023-07-05 10:05:33
46
原创 AI：机器学习纲要简介
文章目录@[toc]1.机器学习初步认识2.机器学习类型1）监督学习2）无监督学习3.机器学习方法1）模型2）损失函数3）优化算法4）模型评估指标4.开发流程1.机器学习初步认识2.机器学习类型1）监督学习a.分类b.回归2）无监督学习a.聚类b.降维3.机器学习方法1）模型2）损失函数3）优化算法4）模型评估指标4.开发流程
2023-07-05 10:01:51
38
原创 分布式任务调度：PowerJob 高级特性
PowerJob 的容器技术允许开发者开发独立于 Worker 项目之外 Java 处理器，简单来说，就是以 Maven 工程项目的维度去组织一堆 Java 文件（开发者开发的众多脚本处理器），进而兼具开发效率和可维护性。该容器为 JVM 级容器，而不是操作系统级容器（Docker）。工作流描述了任务与任务之间的依赖关系，比如我现在有 A、B、C、D 四个任务，我希望 A 任务运行完毕后才开始运行 B、C 任务，最后再运行 D 任务。
2023-07-02 15:18:09
297
原创 分布式任务调度：PowerJob 简介
PowerJob**（原OhMyScheduler）**是全新一代分布式任务调度与计算框架，其主要功能特性如下使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能。定时策略完善：支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略。执行模式丰富：支持单机、广播、Map、MapReduce 四种执行模式，其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。工作流支持。
2023-07-02 15:11:49
109
原创 devops：破窗效应与代码质量
破窗效应是犯罪心理学的一个理论，指如果一个建筑，当出现小量破窗的时候，会诱发更多的人为破坏。如果一个建筑出现破窗的时候及时修复，会受到更少破坏。我们是否有这样的经历，当接手一个代码质量较差的项目，例如一个函数有上百行的代码，函数里有大量的 if else，如果让你增加一个功能，你更倾向于直接在目标函数上加入你的改动代码，而不是通读该方法，再进行封装修改呢。其实这样的修改方式，并没有错，也和个人能力没有关系，因为这种修改方式是最保险，最快捷的，他不但维持代码原有功能正常运行，还添加了新的功能。
2023-07-02 15:10:10
47
原创 devops：软件开发中的破窗效应
应该有很多人已经知道破窗效应【注1】这个社会学 （犯罪学）的词语，破窗效应最先由社会学家James Q. Wilson和George L. Kelling在一篇名为《Broken Windows》的文章中提出【注2】：“一个房子如果窗户破了，没有人去修补，隔不久，其它的窗户也会莫名其妙地被人打破;一面墙，如果出现一些涂鸦没有被清洗掉，很快 的，墙上就布满了乱七八糟、不堪入目的东西;一个很干净的地方，人们不好意思丢垃圾，但是一旦地上有垃圾出现之后，人就会毫不犹疑地抛，丝毫不觉羞愧。
2023-07-02 15:08:49
41
原创 devops：从破窗效应讨论团队代码质量管理
一扇破窗户，只要有那么一段时间不修理就会渐渐给建筑的居民带来一种废弃感，一种管理部门不关心这座建筑的感觉。于是又有一扇窗户破了，人们开始乱扔垃圾和出现了乱涂乱画，严重的结构损坏开始了。在相对较短的一段时间里，建筑就被损毁地超出了业主愿意修理的程度，而废弃感变成了现实。
2023-07-02 15:06:50
51
原创 AI数字人：AI数字人制作初探及相关开源简介
数字人这名字听着稀奇又别扭，其实它最初的原型大家都听过——NPC。玩过游戏的应该都知道，也就是游戏内玩家操纵的游戏角色，可以和玩家进行交互的角色。广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。他通过对人物形象的复制模拟，人物声音的克隆及语音合成，可随时随地与真人进行准确交互性对话。
2023-06-30 18:38:33
1917
原创 系统架构：分布式幂等适用场景及解决方案
相同的请求重复执行业务逻辑，如果处理不当，会给系统带来副作用。下图是一个服务间调用异常的例子，用户提交订单之后，请求到A服务，A服务落单之后，开始调用B服务，但是在A调用B的过程中，存在很多不确定性，例如B服务执行超时了，RPC直接返回A请求超时了，然后A返回给用户一些错误提示，但实际情况是B有可能执行是成功的，只是执行时间过长而已。不少关于幂等的文章都称自己的方案是通用解决方案，但笔者却认为，不同的业务场景下，相同请求和副作用都是有差异性的，不同的副作用需要不同的方案来解决，不存在完全通用的解决方案。
2023-06-30 17:41:59
61
原创 SpringBoot：kkFileView万能文件在线预览（已开源）
在之前的文章中，我们使用MinIO实现了文件存储，用于存储各种格式的文件。有时候我们不仅需要文件存储，还需要文件的在线预览。这里给大家推荐一个基于SpringBoot的文件预览神器kkFileView，基本支持主流文件的在线预览，使用也很简单，希望对大家有所帮助！kkFileView可以用来搭建文件在线预览服务，在Github上已有5.7k+Star。
2023-06-30 17:25:41
840
原创 DevOps：压测工具dperf (百度开源)
dperf 是一款基于 DPDK 的 100Gbps 网络性能和负载测试软件，能够每秒建立千万级的 HTTP 连接、亿级别的并发请求和数百 Gbps 的吞吐量。
2023-06-30 17:23:14
253
原创 SpingBoot：事务@Transactional注解不生效场景简介及事务回滚
开发中避免不了会对同一个类里面的方法调用，比如有一个类Test，它的一个方法A，A再调用本类的方法B（不论方法B是用public还是private修饰），但方法A没有声明注解事务，而B方法有。则外部调用方法A之后，方法B的事务是不会起作用的。加入在try catch中没有throw e 抛出异常，只是简单的打印异常，则异常被捕获未抛出异常去终止程序，在trycatch中的操作数据库语句插入失败，在trycatch上面和下面的数据库相关插入语句成功，也就是程序成功跑完，数据库不会发生回滚。
2023-06-30 17:18:51
119
原创 架构：HTTP与RPC的异同及各自的应用场景简介
HTTP接口和RPC接口都是生产上常用的接口，顾名思义，HTTP接口使用基于HTTP协议的URL传参调用，而RPC接口则基于远程过程调用。RPC（即，远程过程调用）和HTTP（，超文本传输协议），两者前者是一种方法，后者则是一种协议。两者都常用于实现服务，在这个层面最本质的区别是RPC服务主要工作在TCP协议之上（也可以在HTTP协议），而HTTP服务工作在HTTP协议之上。由于HTTP协议基于TCP协议，所以RPC服务天然比HTTP更轻量，效率更胜一筹。两者都是基于网络实现的，从这一点上，都是基于架构。
2023-06-30 17:10:13
95
原创 架构：前后端分离的必要性及接口规范
随着互联网的高速发展，前端页面的展示、交互体验越来越灵活、炫丽，响应体验也要求越来越高，后端服务的高并发、高可用、高性能、高扩展等特性的要求也愈加苛刻，从而导致前后端研发各自专注于自己擅长的领域深耕细作。然而带来的另一个问题：前后端的对接界面双方却关注甚少，没有任何接口约定规范情况下各自撸起袖子就是干，导致我们在产品项目开发过程中，前后端的接口联调对接。工作量占比在30%-50%左右，甚至会更高。往往前后端接口联调对接及系统间的联调对接都是整个产品项目研发的软肋。
2023-06-30 17:07:37
51
原创 SpringBoot：重试机制@Retryable简介及实践
在实际工作中，重处理是一个非常常见的场景，比如:这些错误可能是因为网络波动造成的，等待过后重处理就能成功。通常来说，会用，循环之类的语法来进行重处理，但是这样的做法缺乏统一性，并且不是很方便，要多写很多代码。然而却可以通过注解，在不入侵原有业务逻辑代码的方式下，优雅的实现重处理功能。spring系列的是另一个实用程序模块，可以帮助我们以标准方式处理任何特定操作的重试。在中，所有配置都是基于简单注释的。2、启用@Retryable3、在方法上添加@Retryable来简单解释一下注解中几个参数的含义
2023-06-30 17:05:02
417
原创 工作效率：12个超好用的在线工具（提高生产力）
它提供了一个简单的界面，让用户可以选择不同的图标类型、尺寸和样式，例如圆形、方形、圆角等等。它提供了一个简单的界面，让用户可以输入自己的网页标题、描述、关键字和图像等信息，并生成对应的元标记代码。它提供了一个简单的界面，让用户可以输入自己的代码，并选择不同的主题、字体和配色方案。它可以处理各种类型的图片，包括人物、动物、产品等等。它提供了一个简单的界面，让用户可以输入自己的代码，并选择不同的主题、字体和配色方案。它提供了一个简单的界面，让用户可以选择不同的图标、字体和颜色，以及添加自己的文本和标语。
2023-06-30 17:01:03
81
原创 SpringBoot：Camunda 流程引擎简介及实践
项目中需要用到工作流引擎来设计部分业务流程，框架选型最终选择了 Camunda7，关于 Camunda以及 Activity 等其他工作流 引擎的介绍及对比不再介绍，这里只介绍与现有Springboot项目的集成以及具体使用及配置。
2023-06-30 16:59:43
1315
原创 AI：语音克隆MockingBird简介及实践（秒级生成你想要的语音内容）
随着人工智能技术的不断发展，语音克隆技术也得到了越来越多的关注和研究。目前，AI语音克隆技术已经可以实现让机器模拟出一个人的声音，甚至可以让机器模拟出一个人的语言习惯和表情。然而，AI语音克隆技术仍然面临着许多难点和痛点。首先，现有的语音克隆技术仍然存在着语音质量不够高、语音还原度不够高等问题，难以达到真正的“以假乱真”效果。
2023-06-29 13:34:17
1531
1
原创 AIGC：商汤SenseNova大模型简介
书生 2.5" 可以通过文本来定义任务，从而灵活地定义不同场景的任务需求，并根据给定视觉图像和任务的提示性语句，给出相应的指令或作答，进而具备通用场景下的高级感知和复杂问题处理能力，比如图像描述、视觉问答、视觉推理和文字识别等。「商汤」在技术交流日分享了以 “大模型+大算力” 推进 AGI（通用人工智能）发展的战略布局，公布了「商汤」的“日日新SenseNova”大模型体系，推出自然语言处理、内容生成、自动化数据标注、自定义模型训练等多种大模型及能力。强化学习与决策智能：研发了一系列高效的决策智能模型。
2023-06-29 13:09:23
386
原创 AI：使用pytorch通过BERT模型进行文本分类
BERT 是一个强大的语言模型，至少有两个原因：它使用从 BooksCorpus （有 8 亿字）和 Wikipedia（有 25 亿字）中提取的未标记数据进行预训练。它是通过利用编码器堆栈的双向特性进行预训练的。这意味着 BERT 不仅从左到右，而且从右到左从单词序列中学习信息。BERT 模型需要一系列 tokens (words) 作为输入。在每个token序列中，BERT 期望输入有两个特殊标记：[CLS] ：这是每个sequence的第一个token，代表分类token。
2023-06-29 13:07:44
78
原创 AI：Transformer架构简介及实践
其中这些给出的提示就可以看作是key，而整个的文本信息就相当于是query，value的含义则更抽象，可以比作你看到这段文本信息后，脑子里浮现的答案信息，，这里我们又假设大家最开始都不是很聪明，第一次看到这段文本后脑子里基本上浮现的信息就只有提示这些信息,因此key与value基本是相同的，但是随着我们对这个问题的深入理解，通过我们的思考脑子里想起来的东西原来越多，并且能够开始对我们query也就是这段文本，提取关键信息进行表示．这就是注意力作用的过程，通过这个过1我们最终脑子里的value发生了变化，
2023-06-29 13:06:54
68
原创 AIGC：人工智能在医学和健康领域的 应用场景
今年以来，随着 ChatGPT 的火爆出圈，各行各业愈加关注大型语言模型在垂直领域落地应用的进一步深入。“从 2016 年 AlphaGo 打败了李世石，再到了最近大热的 ChatGPT，我们看到人工智能每隔几年就会给大家带来惊喜。在我国，看病难、看病贵的本质是享受优质医疗服务难且贵。AI 医生，就是优质医疗资源扩容下沉和区域医疗资源均衡布局的重要抓手。人工智能（AI）在医疗行业中取得了重大进展。其中最突出的 AI 工具之一是由 OpenAI 开发的智能对话模型 ChatGPT。
2023-06-29 13:06:27
139
原创 Node：nvm简介及通过nvm安装多个node版本
nvm是一个node的版本管理工具，可以简单操作node版本的切换、安装、查看等等，与npm不同的是，npm是依赖包的管理工具。如果想在同一个机器（电脑）上安装多个不同版本的nodejs，则需要借助 nvm 工具。提醒：同一天机器可以同时安装多个不同版本的nodejs，但是使用时只能使用其中一个。可以使用命令nvm use 来切换不同版本的nodejs。
2023-06-29 09:34:15
826
原创 Node：记录一次nvm安装Node没有npm的问题
使用nvm安装新的node版本后切换版本号，发现npm没有，执行npm命令的时候报npm命令不存在。运行npm -v也查不到npm的版本号。
2023-06-29 09:31:50
1960
cholmod-1.5-win-x64 Release Include及Lib库上传
2022-04-17
geotrellis-learn-example.zip
2021-09-25
geomesa-learn-example.zip
2021-09-25
log4cplus 64位 Release/Debug开发包，包含封装C++类
2019-03-05
GDAL 源码剖析与开发指南
2018-11-05
geos培训学习ppt
2018-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人