- 博客(17)
- 收藏
- 关注
RSS订阅原创 用自定义损失函数实现选择启用不同子网络
背景最近发现有一道题，还挺有意思的。题目大意是，每条训练样本是一个文章对，labelA标签标识这两篇文章相似，labelB标签标识这两篇文章属于同一事件(即紧相似)，但这个文章对不会同时拥有两个标签，即要么有A标签，要么有B标签，且A、B标签的文章对不重合。面对这道题，一般的思路是建立两个模型。但因为标签A、B其实是有相似程度上的联系的，单独训练两个模型就失去了标签的相关性，感觉比较亏。但如果要训练多任务的单模型，也比较麻烦。因为一个样本不能同时拥有这两个标签，而且比如不属于同一事件，没办法推出是否相
2021-03-31 01:46:50
1155
原创 用keras_bert实现多输出、参数共享模型
背景在nlp领域，预训练模型bert可谓是红得发紫。但现在能搜到的大多数都是pytorch写的框架，而且大多都是单输出模型。所以，本文以 有相互关系的多层标签分类 为背景，用keras设计了多输出、参数共享的模型。keras_bert基础应用def batch_iter(data_path, cat_to_id, tokenizer, batch_size=64, shuffle=True): """生成批次数据""" k
2021-03-06 19:43:54
1546
原创 给深度学习模型构建数据迭代器
最近在学习keras框架，不得不感叹keras的确比pytorch好用。那么，现在就来整理一下深度学习里最常用的数据迭代器的写法吧。# 数据文件一篇就是一个文件def _read_file(filename): """读取一个文件并转换为一行""" with open(filename, 'r', encoding='utf-8') as f: s = f.read().stri
2021-03-05 00:29:00
570
1
原创 esp32蓝牙通信
最近想做一个发热垫，可以用手机控制。一开始思考过用wifi接入米家进行控制，这样还能使用语音助手。但后来仔细思索一番，发现使用场景不对。如果使用wifi连接，那意味着只能在室内使用了。所以，最后还是决定直接使用蓝牙连接。硬件选型虽然选择了蓝牙连接，但为了以后扩展wifi方便，所以硬件选用了esp32，同时有wifi和蓝牙连接的功能，代码又兼容arduino，使用非常方便。蓝牙连接方式初步设想是把硬件的mac地址生成二维码，手机软件扫描二维码获取mac地址，进行连接及发送温度设置等指令。后来发
2021-03-04 00:24:17
6518
4
原创 docker log太占空间
起因最近发现服务器的空间总是不够，把exsi的所有资源都给了server虚拟机后，才一周磁盘就又被占满了。查找大文件、大目录从根目录开始，使用du -h --max-depth=1逐层查找大目录、大文件，最终定位到 /var/lib/docker/containers/ 这个目录占了44G。查看，发现是有个容器的log文件太大。查看docker容器log大小的脚本#!/bin/sh echo "======== docker containers logs file size ==
2021-03-04 00:22:21
212
1
原创 docker定义时区
起因由于我们用的docker镜像基本都是utc时间，而中国是+8时区，所以在本地化时就很比较麻烦。这样，就需要一种可以定义docker时区的方法。linux如何控制时区在 Linux 系统中，控制时区和时间的主要是两个地方：/etc/timezone 主要代表当前时区设置，一般链接指向/usr/share/zoneinfo目录下的具体时区。/etc/localtime 主要代表当前时区设置下的本地时间。所以，我们只需要把这两个文件挂载到docker容器中，即可定义容器的时区了。docker
2021-03-04 00:10:53
291
1
原创 在树莓派上搭建docker
起因总是听人说在树莓派上使用docker多好多好，近日，自己推演了一番，发现的确不错，起码隔离效果挺好。要知道，树莓派由于是arm架构，所以更多pip包只能以apt python3-xxx的形式安装在系统里(用venv会各种错，安装错、使用时错，痛不欲生)。所以，就想试试用docker隔离，把我之前的时序分解股票，做成微服务放上去。安装过程使用清华源，安装docker-ce。使用阿里镜像，代理docker-hub。安装监控sudo docker run -d -p 9000:9000 --n
2021-03-04 00:07:59
496
1
原创 在linux上装中文字体
起因最近要在树莓派上用python matplotlib画图，但发现显示不了中文。一指定字体才发现，simhei字体没装。解决方案从windows上拷贝simhei.ttf字体文件至树莓派(被我存了一份在GitHub上：https://github.com/zhangsheng377/stats_stock/blob/master/simhei.ttf)，存到 /usr/share/fonts 目录下，可新建文件夹。然后刷新字体：sudo fc-cache -f -v可从回显中检查有无载
2021-03-04 00:02:36
185
1
原创 时序分解股票数据并部署在微信公众号上
目的将股票价格进行时序分解，得到趋势图、周期图和误差图。然后放到微信公众号上，让用户输入"002581.SZ"等股票代码，即可自动回复以上的图片。主要思路用tushare获得股票的历史数据。用statsmodels的STL进行时序分解。用matplotlib出趋势图、周期图和误差图 的三合一图片。将以上功能部署到树莓派上。树莓派利用花生壳作内网穿透，对外提供服务。树莓派上部署微信公众号服务器，对用户提供便捷服务。输出的图片进度现在已完成使用tushare获取指
2021-03-03 23:58:27
813
1
原创 树莓派使用pwm控制风扇
使用gpio readall查看针脚名称$ gpio readall +-----+-----+---------+------+---+---Pi 4B--+---+------+---------+-----+-----+ | BCM | wPi | Name | Mode | V | Physical | V | Mode | Name | wPi | BCM | +-----+-----+---------+------+---+----++----+---+------+---
2021-03-03 23:53:32
1696
1
原创 树莓派自启动
新建服务文件sudo nano /usr/lib/systemd/system/xx_net.service[Unit]Description=xx_net[Service]Type=oneshotExecStart=/home/pi/Desktop/XX-Net/start[Install]WantedBy=multi-user.target指定服务自启动sudo systemctl enable xx_net.service...
2021-03-03 23:47:56
86
1
原创 Linux挂载exfat格式U盘
安装exfat组件sudo apt install exfat-utils查看U盘位置sudo fdisk -l挂载U盘sudo mount.exfat-fuse /dev/sdb1 /mnt/usb卸载U盘sudo umount /dev/sdb1
2021-03-03 23:45:13
4280
1
原创 树莓派上使用paddle预训练模型
树莓派安装paddlelite;x86电脑上安装paddlehub，并将paddlehub中的预训练模型转换为paddlelite格式，使之能在树莓派上运行。树莓派编译安装paddlelitesudo apt install patchelf cmakesudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150git clone https://github.com/PaddlePaddle/Pad
2021-03-03 23:32:49
867
5
原创 Opencv判断颜色相似的图片
问题描述有一个项目，大体是要判断一下一篇文章内的配图突不突兀。素材准备所以就从网上随便找了4张图：可以看出，前3张图片从颜色上、从阅读感受上，应该是相似的，而最后一张应该是不同的。而当我们只对图片做缩放(为了跑得快)，然后用bgr通道出直方图算相似度时：却发现，只有第一张和第二张图片的相似度是大于0.5的，而第二、三张，以及第三、四张图片之间的相似度几乎都小于等于0.1。思考方法于是，经过思考后我觉得，判断两张图片在颜色上相不相似，其本质在于判断其直方图分布的形状相不相似，而不应该考虑是
2021-03-03 23:28:26
2412
4
原创 下载网课的ts视频
原本准备用爬虫，开多线程，去下载一个个ts片段，最后用ffmpeg合成完整的ts视频的。from concurrent.futures import ThreadPoolExecutorimport requestsimport loggingimport reimport osurl = 'http://v3.julyedu.com/video/259/6390/01a311da6a2cd91-'def download(name): str_name = &q
2021-03-03 23:22:05
1145
1
原创 與情预测股票
项目地址: https://github.com/zhangsheng377/emotion-predict-stock已完成项使用爬虫爬取股民对于股票的评论。(目前是爬取雪球网上人们对于小米公司的评论)对人们的评论做情感分析，得到评论的情感得分。(使用工厂模式获取情感分析模型，目前使用的是snownlp)将爬取到的数据，以及情感得分，存入数据库。(使用工厂模式，目前对接的是monogodb)未完成项爬取每日股票的涨跌幅等，作为lable的数据。将每个发言人id作为key，当天
2021-03-03 23:14:35
292
1
原创 使用Hugo和Netlify建立静态博客，并托管在Github上
使用Hugo建立静态博客sudo apt install hugohugo new site blogcd blog/git submodule add https://github.com/budparr/gohugo-theme-ananke.git themes/anankegit submodule add https://github.com/olOwOlo/hugo-theme-even themes/evenecho 'theme = "ananke&
2021-03-03 22:17:39
596
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人