- 博客(231)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Redis运维篇-快速面试笔记（速成版）
如果从节点宕机一小段时间，从节点重新连接后，会告诉主节点上次复制的偏移量。：主节点有从节点，从节点还有从节点。用于降低主节点的同步压力，由下游的从节点数据来自上游从节点的复制。即，将主节点的数据同步给从节点。因此，只要保证主节点和所有的从节点不一起宕机，就可以保证Redis的高可用。所有的写操作一定要在主节点完成，若Redis仅有一个主节点，则无法实现高并发。可以为一个主节点配置多个从节点，当主节点宕机后可以自动主从切换，实现了。如果有多个主节点同理，上面说的只是站在其中一个主节点的视角说的。
2024-04-28 17:44:17
794
原创 Redis基础应用篇-快速面试笔记（速成版）
1. Redis简介2. Redis常用命令3. Java操作Redis3.1 Jedis客户端3.2 Lettuce客户端3.3 Redission客户端3.4 SpringBoot中使用RestTemplate3.5 Jedis/Lettuce/Reddision的比较4. Redis的典型应用4.1 SpringBoot使用Redis进行数据缓存4.2 Redis实现分布式锁5. Redis常见的应用问题5.1 缓存与数据库的一致性5.2 缓存击穿（Cache Breakdo
2024-04-23 16:38:00
320
原创 Spring基础篇-快速面试笔记（速成版）
Spring的主要目的是为了简化Java EE的企业级应用开发。控制反转（Ioc）：也称为依赖注入（Dependency Injection, DI）面向切面编程（Aspect Oriented Programming, AOP）面向对象处理的痛点：在面向对象编程中，我们会有许多业务处理模块（例如：创建订单、查询订单、派发工单等）。对于这些模块，需要一些公共的处理逻辑（例如：日志记录、权限校验等），如果为每一个方法都在前后增加额外的代码进行这些逻辑的处理，对业务系统的侵入性太高了，会造成代码的严重耦合。
2024-04-16 10:59:02
1077
原创 使用Python制作读单词视频（含源码）
项目源码地址我们经常在B站或其他视频网站上看到那种逐条读单词的视频，但他们的视频多多少少和我们的预期都不太一致。然而，网上很难找到和自己需求符合的视频。既然找不到，那么我们就自己制作。虽然我不知道他们的视频是怎么做的，但我们程序员可以用Python做。使用Python生成的视频效果如下：【COCA20000词】词频背单词4001-4500虽然目前有点丑，但我会不断迭代本项目可以很方便的生成读任何中、英文的视频（若有需要也可以加入其他语言）。用户只需要上传excel，配置相应参数即可。
2024-04-16 09:34:16
1056
1
原创 数据结构-快速面试笔记（速成版）
算法名称最优时间复杂度平均时间复杂度最坏时间复杂度空间复杂度稳定性适用性应用场景直接插入排序O(n)O(n2O(n2O(1)稳定顺序存储和链式存储数据近乎有序冒泡排序O(n)O(n2O(n2O(1)稳定顺序存储和链式存储数据近乎有序简单选择排序O(n2O(n2O(n2O(1)不稳定顺序存储和链式存储无快速排序O(n*log n)O(n*log n)O(n2O(log n)不稳定顺序存储通用场景堆排序O(n*log n)O(n*log n)
2024-04-15 09:52:46
996
原创 Java并发编程快速面试笔记（速成版）
Java服务端开发中，通常不直接，而是通过线程池来管理线程，避免频繁创建线程而导致资源耗尽宕机的情况。ThreadPoolExecutor是Java中用于管理线程池的一个类，它提供了一种灵活的方式来管理线程的生命周期和执行策略。通过ThreadPoolExecutor，你可以控制线程池的大小、任务的执行方式以及拒绝策略等。
2024-04-14 10:49:52
1083
原创 HTTP快速面试笔记（速成版）
HTTP（Hyper Text Transfer Protocol）是超文本传输协议，是一种基于TCP协议的可靠的数据传输协议。用于客户端与服务端进行资源传输，例如：HTML文件、图片、数据等。一个HTTP请求通常由客户端发起，服务端响应一个HTTP请求包含请求和响应两个部分。统一资源定位符（URL）：描述服务器上某资源的特定位置，也就是客户端要从哪个地方获取资源。HTTP方法（HTTP Method）：描述客户端请求的动作类型。GET（获取）、POST（修改）、PUT（增添）、DELETE（删除）
2024-04-12 17:48:18
875
原创 数字人项目 ER-NeRF 的使用和部署详细教程
ER-NeRF（官方链接）是一个（对嘴型）项目。即：给一段某人说话的视频，再给定一段音频，经过该模型后处理后，可将原视频的嘴型与音频保持一致。可以做到实时响应。即模型比较小，处理速度快。需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型生成出的头部不够稳定。
2024-04-11 14:25:29
1512
3
原创 应用于股市的凯利公式讲解、推导与Python实现
在我们进行投资或任意性质的赌Bo时，假设我们可以预估出**胜率**、**赢时的利润率**、**输时的亏损率**，那我们**应该拿出多少本金**进行投资呢？这就是凯利公式要回答的问题。
2024-01-05 10:47:36
1447
原创 【读书笔记】深入理解Java虚拟机（周志明）（3）第三部分 虚拟机执行子系统（4）第四部分 程序编译与代码优化
无重点虚拟机把class文件记载到内存，并进行校验、解析、初始化等，最终形成可以被虚拟机直接使用的java类，这就是虚拟机的类加载机制。class文件不一定非要是文件，从网络或其他地方加载的二进制流也可以。无重点虽然类加载大部分过程用户无法通过Java控制（都是由JVM自行完成的），但字节码生成和类加载器用户可以操作，利用这两点就可以玩出很多花样。编译期优化就是在编译期做的优化操作，例如很多Java新特性都是靠编译期优化实现的，其底层的JVM并没有做任何改变。JVM运行代码通常都是依赖解释器。
2023-12-25 09:15:31
1025
原创 【读书笔记】深入理解Java虚拟机（周志明）（1）第一部分 走进Java（2）第二部分 自动内存管理机制
无重点学习Java虚拟机的重要原因：当出现内存泄漏时，知道怎么排查。学习垃圾收集（Garbage Collection, GC）的原因：可以帮助我们避免和解决OOM问题、由JVM引起的性能瓶颈等：调整Eden区和Survivor区的比值。默认为8:1:1。例如：我们经常要产生临时大对象时，可以将：直接晋级到老年代对象的大小。：设置CMS收集器GC时给用户留多少%的空间无重点无重点。
2023-12-25 09:15:13
1027
原创 【论文解读】（CSC任务的音标和字形信息到底用了多少？）Investigating Glyph-Phonetic Information for Chinese Spell Checking
许多中文拼写检查(Chiniese Spell Checking, CSC)模型都使用了“字形信息+拼音信息”(glyph-phonetic)来进行预测，但是**“这些glyph-phonetic信息到底被用了多少”是不清楚的**，所以作者提出了两个新的方法来验证，同时也可以提升模型的泛化能力。Q1：现有的中文预训练模型（Chinese pre-trained models）编码了glyph-phonetic信息了吗？
2023-12-05 13:40:18
987
原创 中文拼写纠错(CSC)任务各个数据集汇总与简介
论文地址论文代码用于生成违数据集对预测结果进行评价作者知乎数据集年份：2022-11CSCD-IME全称：Chinese Spelling Correction Dataset for errors generated by pinyin IME数据集只关注“拼音输入法”导致的错误数据来源：经过认证的新闻媒体机构在微博上发布的博文（例如人民日报）训练集：3w，验证集5k，测试集3k。均为人工标注模拟“拼音输入法”导致的错误，构建了200w个违数据集。
2023-12-04 09:36:51
1738
原创 【论文笔记】EGCM：An Error-Guided Correction Model for Chinese Spelling Error Correction
论文方法：Error-Guided Correction Model (EGCM)提出了zero-shot的检错方法提出了新的loss function没有结合错字信息，这样的话预测结果给一个语义相同的字好像没有应对措施。
2023-11-30 15:20:48
507
原创 【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
论文提出了一种token-level的自蒸馏对比学习(self-distillation contrastive learning)方法。作者并没有直接使用BERT的输出作为token embedding，而是使用点乘的方式融合了BERT的输出和word embeddings。
2023-11-29 12:11:59
1366
原创 中文拼写纠错医疗领域数据集 MCSCSet: A Specialist-annotated Dataset for Medical-domain Chinese Spelling Correction
该论文提出了一个医疗领域的CSC数据集。数据集大小：200K 个样本（医学专家人工标记）数据集来源：腾讯医典（https://baike.qq.com/）的查询日志作者还提供了一个benchmark模型作为baseline用户后续比较现有的CSC模型都是通用的(Open-Domain)，并不适用于特定领域（Specific Domain）。
2023-11-28 16:56:33
510
原创 【论文源码解读】（中文拼写检查, CSC）SCOPE：Improving Chinese Spelling Check by Character Pronunciation Prediction
作者提出了CPP辅助任务，可以让Encoder模型学会对汉语拼音进行编码。作者提供了一个 预训练好的SCOPE模型，后续的CSC任务可以用这个做迁移学习作者提出了CIC（约束矫正方法），可以用在预测阶段。
2023-11-27 10:54:21
1013
原创 详解使用sklearn实现一元线性回归和多元线性回归
简单的线性回归就是使用一根直线去拟合一种趋势。例如：我们有一批房屋面积与房价的数据。X = [100, 110, 120, 130, 140] # 房屋面积（m^2）y = [100 * 1, 110 * 1.05, 120 * 1.1, 130 * 0.95, 140 * 0.9] # 房价（万元）plt.show()此时，我们通过观察图像，可以假设房屋面积与房价是呈一种线性关系的。房价a∗房屋面积b房价=a * 房屋面积 + b房价a∗房屋面积b。但我们并不知道aaa和。
2023-10-18 11:18:16
4339
1
原创 【论文解读】(如何微调BERT？) How to Fine-Tune BERT for Text Classification?
用BERT做具体任务时效果不够好？这篇论文教你如何微调BERT
2023-04-30 22:46:43
5146
7
原创 模型泛化技巧“随机权重平均(Stochastic Weight Averaging, SWA)”介绍与Pytorch Lightning的SWA实现讲解
SWA，全程为“Stochastic Weight Averaging”(随机权重平均)。它是一种深度学习中提高模型泛化能力的一种常用技巧。其思路为：**对于模型的权重，不直接使用最后的权重，而是将之前的权重做个平均**。该方法适用于深度学习，不限领域、不限Optimzer，可以和多种技巧同时使用。
2023-04-08 22:35:56
1788
原创 Pytorch Lightning验证时TQDMProgressBar进度条输出异常问题与解决方案
在使用Pytorch Lightning时，若使用Pycharm或在Colab中用“python train.py”方式运行时，验证时的进度条会出现一个batch打印一行的情况。Validation DataLoader的进度条出现多次。
2023-04-02 17:41:01
1249
1
原创 权重衰减weight_decay参数从入门到精通
Weight Decay是一个正则化技术，作用是**抑制模型的过拟合**，以此来提高模型的泛化性。目前网上对于Weight Decay的讲解都比较泛，都是短短的几句话，但对于其原理、实现方式大多就没有讲解清楚，本文将会逐步解释weight decay机制。
2023-03-18 16:56:36
18134
13
原创 图解通俗理解对比学习(Contrastive Learning)中的温度系数（temperature）
对比学习可以让相似的样本在空间中距离近一点，让不相似的样本距离远一点。这样就可以让特征分布在空间中更加均匀。但其中有个温度系数，大家虽然都见过，但可能一直都不明白这个系数的作用和取值，本文将会用最通俗的语言、图示加实验来进行解释，保证人人都能看懂
2023-03-12 09:40:02
3371
原创 中文文本纠错(Chinese Spell Checking, CSC)任务各个论文的评价指标
本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标，他们虽然写法不同，但大部分本质是相同的，但也有少部分论文的评价指标存在问题或其他论文不一致，本文对他们的指标代码进行了分析，并说明了其中的问题。
2023-02-18 14:09:06
2099
1
原创 Pandas读取excel合并单元格的正确姿势（openpyxl合并单元格拆分并填充内容）
在pandas读取excel经常会遇到合并单元格的问题。大部分文章都说使用ffill解决，但是其存在问题，本文使用正确的方式解决该问题
2023-02-07 20:15:23
14956
8
原创 Google Colab运行完后如何自动断开连接？
如果你用Colab时老是让它在哪空闲，Google就会记住你，然后是不是就给你弹出人机验证，而且你的colab就特别容易断连。
2023-01-11 22:01:49
1085
原创 【论文笔记】MacBert：Revisiting Pre-trained Models for Chinese Natural Language Processing
作者提出了一个中文Bert，起名为MacBert。该模型采用的mask策略（作者提出的）是MLMasc作者用MacBert在8个NLP任务上进行了测试，大部分都能达到SOTA提出了新的MacBert模型，其缓和了pre-training阶段和fine-tuning阶段的gap。采用的方式是“mask字时，采用相似的字进行mask”
2023-01-11 14:00:00
987
1
原创 【论文解读】（拼音+字形+字三种信息的中文BERT）ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
目前中文BERT的做法和英文BERT一样，都是使用MLM任务和NSP任务进行训练的。但是，中文和英文不同，中文的拼音和字形也能为句子和词的语义提供信息。目前传统的做法忽略了这两个重要信息。所以作者就针对这一点，对BERT进行了改进，增加了这两种信息。
2022-11-28 15:50:25
1200
2
原创 Bert的pooler_output是什么？
在学习bert的时候，我们知道bert是输出每个token的embeding。但在使用hugging face的bert模型时，发现除了还多了一个输出。许多人可能以为是[CLS]token的embedding，但使用比较后，发现又不是，然后就很奇怪。
2022-11-21 13:45:01
10039
12
原创 【论文笔记】(对比学习经典论文MoCo) Momentum Contrast for Unsupervised Visual Representation Learning
本文是参考大神bryanyzhu对MoCo论文的解读视频，并按照他的解读结合论文进行笔记总结。方便后续查阅。论文地址论文代码(官方)视频解读视频目录：00:00 ~ 01:40 介绍作者01:40 ~ 07:33 对比学习介绍07:33 ~ 09:12 标题和作者介绍09:12 ~ 12:03 摘要12:03 ~ 13:23 导论: NLP和CV信号空间的区别。13:23 ~ 17:08 导论: 将前人对比学习工作归纳成查询字典的任务。
2022-11-19 16:47:24
951
原创 详解Git合并(Merge)错误如何回退。（包括Reset, Revert和页面回滚三种，并说明其优缺点）
详解Git合并(Merge)错误如何回退。（包括Reset, Revert和页面回滚三种，并说明其优缺点）
2022-11-07 15:33:18
38824
原创 Pytorch加载模型后optimizer.step()报RuntimeError: output with shape...错误
存储模型参数后，重新加载接着训练，结果optimizer.step()报错。
2022-10-28 13:45:03
1320
原创 中文文本纠错（CSC）任务Benchmark数据集SIGHAN介绍与预处理
SIGNHAN是台湾学者（所以里面都是繁体字）公开的用于中文文本纠错（CSC）百度网盘链接pwd=f9sd上述链接是官方提供的数据源文件，里面有许多错误，如果不想自己修改和预处理，可以直接跳到"第5章 预处理好的数据集"，直接使用。数据集句子数量句子平均长度错字数量SIGHAN13(训练集)70041.8343SIGHAN13(测试集)100074.31224SIGHAN14(训练集)343749.65122SIGHAN14(测试集)106250.0771。
2022-09-29 17:24:32
5583
4
原创 【论文复现】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文复现
本文为MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文的Pytorch实现。论文大致内容：作者基于Transformer和BERT设计了一个多任务的网络来进行CSC（Chinese Spell Checking）任务（中文拼写纠错）。多任务分别是找出哪个字是错的和对错字进行纠正。
2022-09-25 11:12:04
1913
4
原创 【论文笔记】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction
作者基于Transformer和BERT设计了一个多任务的网络来进行CSC（Chinese Spell Checking）任务（中文拼写纠错）。多任务分别是找出哪个字是错的和对错字进行纠正。
2022-09-22 15:24:22
944
5
原创 【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务，可能就直接是SOTA(state-of-the-art)模型了，就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务，具体为随机掩盖住输入中的部分词，目标就是根据上下文来预测这些被盖住的词是什么。例如：输入：我正在学习深度[MASK]，目前学到了BERT一节，有点[MASK]。
2022-09-16 16:04:04
1331
考研数学公式大全（数学二）-html和pdf.zip
2021-07-15
linux-x64-64_binding.node
2019-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人