阅读笔记
文章平均质量分 84
爱格白
英硕计算机与语音处理专业在读
展开
-
Multi-scale Peak and Trough Detection Optimised for Periodic and Quasi- Periodic Neuroscience Data
大概讲了讲bishop算法。主要是从Scholkmann算法改进的,用于检测颅内压的波峰。生理信号中波峰和波谷的可靠检测对于医学和计算生物学的研究技术至关重要,也是许多信号处理任务的先决条件。准确峰值检测从简单的窗口阈值 window-thresholding 和小波变换技术 wavelet transform techniques 到隐马尔可夫模型HMM, k 均值聚类和基于熵的技术entropy-based techniques。原创 2023-04-22 03:01:41 · 262 阅读 · 0 评论 -
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language InferencePattern-Exploiting Training (PET)模式开发训练,一种半监督训练程序,将输入示例重新表述为完形填空式短语,以帮助语言模型理解给定任务。然后使用这些短语将软标签分配给大量未标记的样本。介绍由于大量的语言、领域和任务以及注释数据的成本,在 NLP 的实际使用中通常只有少量标记的示例,这使得小样本学习原创 2022-03-15 08:00:45 · 1347 阅读 · 0 评论 -
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks代码BERT 的构造使其不适合语义相似性搜索以及聚类等无监督任务。别人很完善的总结介绍这篇论文介绍了 Sentence-BERT (SBERT),它是对预训练 BERT 网络的一种修改,它使用连体siamese 和三元组网络triplet network 结构来推导语义上有意义的句子嵌入,可以使用余弦相似度进行比较。这将工作量从 BERT / RoBERTa 的 65 小时减原创 2022-03-09 02:53:06 · 1305 阅读 · 0 评论 -
Yen Threshoding
无意间用到了Yen Threshoding方法……翻开论文一看挖槽居然是95的文章 难怪全网找不到一点内容相关……不过也确实,现在普遍用Otsu阈值,但是在我这个细胞分割预处理上用Yen效果反而比Otsu要好,于是就简单拜读一下吧哈哈哈哈哈,以我的水平估计还遥远着。A New Criterion for Automatic Multilevel Thresholding在自动选取阈值的众多方法中,绝大多数都是基于最大熵原则进行阈值的选择,Yen提出基于最大相关性原则的一个新方法。众所周知,随着分原创 2022-03-08 06:30:34 · 3063 阅读 · 0 评论 -
Strong Baselines for Neural Semi-supervised Learning under Domain Shift
Strong Baselines for Neural Semi-supervised Learning under Domain Shift第六周阅读材料在领域转移方面出现了新颖的神经网络,但是许多网络的评估方式是很弱的?很糟糕的于是这个文章评估了经典的 bootstrappping 方法 并提供了一种新评估方式:multi-task tri-training(多重任务三次训练)是一种比传统三次训练方式更节省空间和时间的方法.虽然他们的新方法技术先进但是表现得不太好,然后结论是经典的tri-tra原创 2022-03-04 07:59:49 · 683 阅读 · 0 评论 -
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF虽然说是16年的老文了但是依旧值得一读当年非常新颖的神经网络结构使用双向 LSTM、CNN 和 CRF 的组合。实现了端对端,不需要数据预处理或者特征工程在POS-tagging上取得了97.55%的正确率,在NER上取得了91.21的F1值。介绍传统高性能模型是...原创 2022-02-24 21:18:11 · 1267 阅读 · 0 评论 -
Linguistic Regularities in Continuous Space Word Representations
Linguistic Regularities in Continuous Space Word Representations语言规律在连续单词规律中的表示第四周阅读材料该论文检查了由输入层权重隐式学习的向量空间的单词表示介绍神经网络语言模型的一个特征是将单词表示为高维实值向量,单词通过一个训练过的查找表转换为实值向量,用作神经网络的输入,这些模型的主要优点之一是 分布式表示实现了经典 n-gram 语言模型无法实现的泛化水平,n-gram 模型其中相似的词可能具有相似的向量。因此,当模型参数根原创 2022-02-15 22:56:22 · 1030 阅读 · 0 评论 -
Character-Aware Neural Language Models
Character-Aware Neural Language Models第三周阅读材料代码csdn上的翻译 描述了一个简单的神经语言模型,输入部分只依赖于字符,预测以单词进行。模型采用CNN和highway network over characters,输出结果到了一个long short-term memory (LSTM) recurrent neural network language model (RNN-LM)模型。介绍语言模型被形式化为一系列字符串(单词)上的概率分布,传统方原创 2022-02-08 21:32:18 · 794 阅读 · 0 评论 -
The Microsoft Research Sentence Completion Challenge
The Microsoft Research Sentence Completion Challengelab2 阅读材料微软的一个挑战项目介绍MSR Sentence Completion Challenge Data,它由 1,040 个句子组成,每个句子有四个虚假的句子,其中原始句子中的单个(固定)单词已被具有相似出现统计的冒名顶替词替换。对于每个句子,任务是确定该单词的五个选项中哪个是正确的。该数据集是根据古腾堡计划数据构建的。种子句子是从柯南道尔爵士的五部福尔摩斯小说中挑选出来的,然后原创 2022-01-31 06:16:05 · 211 阅读 · 0 评论 -
Information Content Measures of Semantic Similarity Perform Better Without Sense-Tagged Text
Pedersen (2010): Information Content Measures of Semantic Similarity Perform Better without Sense Tagged Text语义相似性的信息内容度量在没有 Sense-Tagged Text 情况下表现更好anle一周阅读材料,不算很难读这个论文提出了对 相似性度量对于 基于 信息内容 的概念对pairs of concepts 的经验性比较。该文章表明,与最大的可用人工注释语义标记文本语料库相比,使用适量原创 2022-01-21 07:06:03 · 820 阅读 · 0 评论 -
U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Net: Convolutional Networks for Biomedical Image Segmentation卷积神经网络作用于生物图像分割原创 2021-09-15 14:35:54 · 573 阅读 · 0 评论 -
Semi-supervised medical image segmentation via learning consistency under transformations.
Bortsova, Gerda, et al. “Semi-supervised medical image segmentation via learning consistency under transformations.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. 基于半监督学习变换一致性的医学图像分割。这篇论文又深奥原创 2021-09-02 17:24:09 · 544 阅读 · 0 评论 -
A simple framework for contrastive learning of visual representations
算是昨天多对比实例学习的前传讲的主要是SimCLRChen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020.一个简单的视觉表征对比学习框架。SimCLR代码,更新到v2这篇论文似乎帮我把知识点串起来了介绍在无监督的情况下进行学习,解决方式通常有两种:生成式网络和判别式网络生原创 2021-08-31 14:36:15 · 817 阅读 · 0 评论 -
Big Self-Supervised Models Advance Medical Image Classifications
自监督用于医学图像分类试着去看了另一个课题自监督分类的参考文献Big Self-Supervised Models Advance Medical Image Classifications通过这个文献对自监督总算有概念了介绍自监督在图像处理方面效果显著。介绍了一种新颖的多实例对比学习(MICLe),使用每个患者病例的潜在病理的多个图像,为我监督学习构建更多正对信息。此外作者发现大型自监督模型对分布偏移具有鲁棒性,并且可以使用少量标记的医学图像进行有效学习。注释医学图像既费时又费钱,所以医学原创 2021-08-30 14:38:43 · 1448 阅读 · 0 评论 -
Training generative adversarial networks with limited data.
Karras, Tero, et al.Training generative adversarial networks with limited data.(2020).用有限的数据生成对抗式网络GANstylegan2-adaTAT毕设选题之一的MRI自监督,用GAN去进行数据增广参考论文 又是硬着头皮啃的一天看的时候很痛苦,看完没懂,有机会再看一遍介绍现代高质量 GAN 模型需要获取、处理和训练百万张到千万张图像,这是一项成本高昂的工作。这同时抑制了生成模型在医学等领域的使用, 例如M原创 2021-08-24 17:47:21 · 1004 阅读 · 0 评论 -
Network In Network
13年的经典结构NINNetwork In Network通过改进CNN并展示了 NIN 在 CIFAR-10 和 CIFAR-100 上的分类性能在 SVHN 和 MNIST 数据集上的合理性能。现在虽然性能被比下去了但是依旧值得拜读哈哈哈MLP卷积层用Mlp卷积层代替普通的线性卷积层在普通卷积层后接了两个1*1卷积核Global Average Pooling传统的卷积神经网络在网络较低层执行卷积。为了分类,最后一个卷积层的特征图被向量化并输入到全连接层,再接一个 softmax原创 2021-08-10 16:34:44 · 103 阅读 · 0 评论 -
YOLOX: Exceeding YOLO Series in 2021
YOLO系列的最新高性能探测YOLOXYOLOX: Exceeding YOLO Series in 2021github开源代码领导给了篇论文说很好理解……结果哈哈哈哈确实英文很好懂,名词一个都不认识,解耦,anchor-free,OTA太难啦新知识点AP (Average Precision)为平均精度,使用积分的方式来计算PR曲线与坐标轴围成的面积计算出AP之后,对所有的类别的AP求平均就可以得出整个数据集上的mAP(mean Average Precision)AP与mAP含义原创 2021-07-30 15:19:38 · 462 阅读 · 0 评论 -
图像自动增广
github上用pillow库实现的非官方ImageNet, CIFAR 10 和 SVHN 的自动增广用自动增广提高深度学习的能力[谷歌AI, 2018]AutoAugment 算法为一些最著名的计算机视觉数据集找到了增强策略,当将这些策略结合到神经网络的训练中时,可以达到最优的准确性自动增广数据增强背后的想法很简单:图像具有许多对称性,变化后不会改变图像中存在的信息。mixup方法在训练期间将图像叠加在一起来获得增强后的数据,从而提高神经网络性能。自动增广(AutoAugment)是一种为计算原创 2021-07-28 17:26:29 · 368 阅读 · 0 评论 -
Aggregated Residual Transformations for Deep Neural Networks
ResNeXt : ResNet 的进化版看的还是很累,读下来不是很明白,感觉有点超过目前能力范围了聚合残差变换网络策略是由 ResNets继承的,堆叠了相同拓扑的模块。Inception 模型随着时间的推移不断发展,但都用了 split-transform-merge 策略。在 Inception 模块中,输入被分成几个低维嵌入(通过 1×1 卷积),由一组专门的过滤器(3×3、5×5 等)转换,并通过串联合并。模板ResNeXt 的方法:卷积里加个group参数,或inception把不原创 2021-07-27 14:58:11 · 182 阅读 · 0 评论 -
Deep Residual Learning for Image Recognition
之前做cv特征点识别作业的时候有看到过有人用ResNet正好领导给我发了文献就来拜读一下惹经典ResNet神经网络当更深的网络能够开始收敛时,退化问题就暴露出来了。随着网络深度的增加,准确率会饱和,然后迅速退化。但不是由过度拟合引起的,向适当深度的模型添加更多层会导致更高的训练误差。训练准确率的退化表明不是所有系统都易于优化的,通过构造更深的模型存在一个解决方案:添加了恒等映射层通过引入深度残差学习框架来解决退化问题。最终的实验表明,引入残差学习后,深层的网络更容易优化并且不会产生更高的训练原创 2021-07-26 14:03:56 · 278 阅读 · 0 评论 -
Towards a new generation of artificial intelligence in China
宏观上规划了我国的AI的前景。新一代人工智能计划2016 年 1 月,由科技部牵头,来自高校、研究所、企业和政府部门的220多位人工智能专家参会,共同参与起草了《新一代人工智能(NGAI)发展规划》Artificial Intelligence (NGAI) Development Plan。中国国务院于 2017 年 7 月启动了 NGAI 发展规划(2015-2030),这是本世纪中国人工智能领域的第一个系统性战略规划。它提出了到2030年中国人工智能发展的总体思路、战略目标、主要任务和配套措施,原创 2021-07-22 15:27:07 · 907 阅读 · 0 评论 -
Computer Vision: Algorithms and Applications阅读笔记
Computer Vision: Algorithms and Applications 计算机视觉算法与应用英本大二 人工智能专业 Computer Vision学科Look at Chapter 14 section 1 and section 4 of Computer Vision: Algorithms and Applications (Links to an external site.) for more information on “classical object detecti原创 2021-03-02 23:44:06 · 538 阅读 · 0 评论