- 博客(1019)
- 资源 (95)
- 收藏
- 关注
RSS订阅原创 python----积累---使用传参的方式构造sql语句
使用pymsql查询数据如下：import pymysqlconn=pymysql.connect(host='123', port=3306, user=root', password='12345', database='school',
2021-08-09 18:46:57
1435
原创 遇到的问题--presto---提取json中的数组值为null
情况我们有数据结构如下：skuIdsParams:{"skuIds":["123","456"]}在presto中适用语句查询如下：presto> select skuIdsParams, json_extract_scalar(skuIdsParams,'$.skuIds') from v_event_2 where "$part_date">'2021-04-26' and "$part_event"='VIEW_ORDER_PAGE_EVENT' AND ( POSITION('
2021-08-02 19:06:08
2520
原创 遇到的问题--docker---gitlab---k8s---error pulling image configuration: Get https://production.cloudflare.
情况目前使用helm在k8s中安装了gitlab，gitlab runner在跑ci/cd时获取镜像失败。报错如下：error pulling image configuration: Get https://production.cloudflare.docker.com完整报错如下 :error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/regist
2021-07-16 15:35:56
2199
原创 遇到的问题---spark---spark OutOfMemoryError: Java heap space
情况使用命令运行spark任务$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf
2021-07-06 10:55:20
1228
原创 遇到的问题---python---pandas新建空的dataframe报错dataframe type object ‘object‘ has no attribute ‘dtype‘
情况处理一些数据，需要新建一个dataframe，后续再新增数据进去，使用代码如下： df=pd.DataFrame(columns=['code', 'name']) for row in results: i= i+1 print(i) print("总数%s, 当前%s 编码%s" % (str(cursor.rowcount), str(i), row[0])) code = row[0] name =
2021-06-24 18:40:29
3556
2
原创 遇到的问题---python---urllib获取到response为空
情况雪球非鉴权api使用浏览器 可以直接访问到。使用python3.7模拟浏览器访问,代码如下：import urllib import urllib.request
2021-06-24 10:21:13
1022
原创 遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s
情况之前在k8s中部署了工作流引擎airflow正常稳定运行。突然有一天没修改任何东西的情况下 重新ci/cd后 pod出现异常。具体报错如下：/usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying both AIRFLOW_HOME environment variable and airflow_home in the config file is d
2021-06-22 11:18:47
526
原创 数据分析--积累--presto--一列转多行--数组分割展开
我们在做数据分析时，有时候需要使用join等作表连接，或者说 通过一些数据作关联。但是 如果需要的数据 是存储的一列中使用逗号分割，或者存储在数组中，就不能很方便的进行表连接。presto提供了很方便的语法，可以把列转成多行。场景一 字符串person表中 多个数据保存在pets使用逗号分割如下：select name, petsfrom person输出：namepetszzqsummer,winterlyspring,autu
2021-05-25 17:17:48
5095
1
原创 python----积累---python读取json文件
从mongodb中导出json的文件格式如下：{'_id': {'$oid': '60650d1031912300065a2536'}, 'date': {'$date': '2021-04-01T00:00:16.320Z'},'version': '3.22.0.0', 'network': 'cellular'}{'_id': {'$oid': '60650d1843556d0006bbc18a'}, 'date': {'$date': '2021-04-01T00:00:24.978Z'},'v
2021-05-07 16:35:29
349
1
原创 遇到的问题---presto---使用left join左连接后出现重复数据主表中一条变多条
情况在数据分析的时候 需要 costtable,shoptable两个表做左连接，costtable为主表，从shoptable两个表做左连接表中通过orderid拿shopname字段。select id,orderIdA,product from costtableleft joinselect orderIdB,shopName from shoptable 完整sql如下：select id,orderIdA,product,orderIdB,shopName from costt
2021-04-30 17:19:43
4863
1
原创 遇到问题---tableau online--新增join后运行时报错系统错误
情况根据数据需求，需要在原本正常运行的流程上增加一个字段。方案是 新增一个数据源获取字段后 进行join操作。原流程和增加分支后流程如下：但 运行后报错而且在 最终的输出步骤是 能够正常预览数据的原流程中涉及到时间格式的处理如下：读数据源时 if (occurtime is not null, to_unixtime(occurtime), 946656000000) occurtime,时间格式处理步骤使用公式DATETIME(DATEADD('second',INT
2021-04-26 16:05:32
485
转载 以k8s集群管理为例，大牛教你如何设计优秀项目架构
一.前言架构设计一直是技术人的关注热点，如何设计一个更优的架构对于实际的业务来说至关重要。本文腾讯云专家将从自身从事的一个k8s集群管理项目为例，重点剖析在项目开发过程中的三次架构演进历程，即针对项目最早版本的dashboard架构出现的问题，重写了一个新的skipper架构，在此基础上，继续不断优化，最终得到一个较为合理架构的经历。通过本文，你将了解到架构设计的原则、重构的几种模式、DDD中领域思想等，希望本文能为同行带来参考。二.项目简介本文涉及的项目主要用于腾讯云团队 K8s 集群管理的项目，其核心业
2021-03-25 10:32:01
1252
原创 技术合伙人必备攻略---app开发技术栈调研--多种方案对比--uniapp学习路线
app开发技术方案对比app开发主要有几种技术方案如下：原生开发原生开发简介原生(native)开发从定义上来说 一般是指用原生开发语言开发，原生开发语言就是开发整个系统时使用的编程语言。对于iOS来说就是Objective C，对于Android来说…不太好说，因为Android用的Linux内核是用C开发的，中间层的库是用C/C++开发的，但应用程序框架和应用程序都是用Java开发的。但实际上原生开发的含义有所扩展，主要区别于前端框架的跨端语言开发。目前做ios原生开发多使用Swift语言
2021-02-26 17:57:41
1899
原创 遇到问题--tableau online---Error with HTTP request, response code: 406
情况在使用tableau online编辑流程时，使用了custom sql进行presto的数据源加载使用sql如下：select evt."#user_id",evt."#event_name",evt.purpose,evt."#event_time",evt.params,evt.router, from hive.ta.v_event_2 evt where evt."$part_date">'2021-01-25' and evt."#event_name"
2021-02-22 16:46:00
656
转载 MongoDB 后台创建索引、查看创建进度等
一、索引创建方式前台方式缺省情况下，当为一个集合创建索引时，这个操作将阻塞其他的所有操作。即该集合上的无法正常读写，直到索引创建完毕任意基于所有数据库申请读或写锁都将等待直到前台完成索引创建操作后台方式将索引创建置于到后台，适用于那些需要长时间创建索引的情形这样子在创建索引期间，MongoDB依旧可以正常的为提供读写操作服务等同于关系型数据库在创建索引的时候指定online，而MongoDB则是指定background其目的都是相同的，即在索引创建期间，尽可能的以一种占用较少的资源占用方式来
2021-02-07 16:23:41
3985
转载 MySQL本地密码过期处理及永不过期设置
今天在使用mysql的时候，提示“your password has expired”，看了一下问题是因为我本地mysql的密码已经过期了，然后搜罗了一下网上的解决办法。（我的mysql版本 5.7.20 win10系统）找到mysql的安装目录，打开命令行窗口，把路径转到bin目录下：然后输入命令：mysql -uroot -p,回车；提示输入密码时，输入原密码修改原密码（继续使用原密码也可以的）,输入命令： set password for root@localhost = passwor
2021-02-07 16:18:41
1439
原创 遇到问题---tableau online--运行时报错系统错误
情况因为线下的tableau online套装 tableau prep builder + tableau desktop 多人使用时，经常需要交换 文件，多人交互使用很不方便。所以决定 把线下的流程 迁移到 tableau online 云端版本 使用。但是 线下能成功运行的流程 同步 翻译 到线上后 ，运行报错，但是并没有详细的报错信息。使用custom sql的方式，后面直接跟一个输出，使用的sql如下：SELECT id, userid, occurtime,
2021-01-20 18:32:13
1260
原创 遇到问题---tableau prep builder--运行时报错系统错误
情况使用tableau prep builder处理数据时，运行了一部分后报错系统错误。如下图：原因tableau prep builder的报错非常简单，常常无法定位到具体的问题。这个时候 我们需要从自身的数据出发，一般是出现了脏数据导致了运行报错。最常见的就是时间格式的问题。这个时候 我们需要从 数据源的查询语句出发去排查问题。比如我这里使用的是presto连接hive。在presto的监控界面中果然看到了 语句运行错误的报错信息。如下：io.prestosql.spi.Presto
2021-01-19 15:58:53
3150
5
原创 遇到问题---linux--crontab输出重定向不生效最全可能原因收集和解决
情况需要在linux系统中运行一个定时任务，该任务运行时间比较长，输出内容比较多48 15 * * 2 nohup python3.6 run_list >> /data6/zzq/catalina`date +\%Y-\%m-\%d`.out 2>&1 &但是 使用输出命令查看 重定向的日志文件时 看到内容为空cat /data6/zzq/catalina2021-01-12.out查看文件大小确实为0ll[root@localhost zzq
2021-01-12 17:49:45
1231
2
原创 遇到问题---eclipse--java--import加载maven项目报错Plugin execution not covered by lifecycle configuration: org.
情况接手新的项目组项目，把项目通过maven导入到eclipse后，报错：如图：点击pom.xml文件后看到具体报错如下：Plugin execution not covered by lifecycle configuration: org.sandbox:githook-maven-plugin:1.0.2:install (execution: default, phase: initialize)原因基于maven的项目会使用各种maven plugin来完成开发中的一些工作，例如编
2021-01-06 18:42:30
1184
原创 遇到问题---eclipse--java--tomcat运行web项目报错Licensed to the Apache Software Foundation (ASF) under one or m
情况有一个老的tomcat web项目 使用的是 springMVC的框架，需要放到k8s中运行，所以添加了spring boot的相关包，在本地使用eclipse的tomcat进行web调试时 报错Licensed to the Apache Software Foundation (ASF) under one or more。详细报错如下:十二月 25, 2020 5:28:29 下午 org.apache.catalina.core.AprLifecycleListener init信息:
2020-12-25 19:15:59
4946
1
原创 遇到问题--python--mongodb--pymongo--pymongo.errors.OperationFailure: $not cannot have a regex
情况我们有一个 正则匹配的mongodb查询,查询pic_label不包含有冒号的记录，如下：{"pic_label" : {"$not":/:/},"source":"guangxi"}需要转换成pymongo的查询语句来查询,直接对应翻译成pymongo的语句如下：def find_pic_structures(): pics = [] client = init_mongo_client() db = client['my_pic'] collection =
2020-12-24 15:47:33
1571
原创 遇到问题---python--web--aiohttp提供api服务--单个api访问时间过长时阻塞主线程
情况我们在 python–web–让python提供api服务–aiohttp 已经尝试了 使用python的aiohttp包搭建一个简单的web并提供http服务。我们有一个简单的方法如下：async def nowater(request): query = request.query type = query.get("type") id = query.get("id") source = query.get("source") try:
2020-12-22 10:31:07
622
1
原创 持续集成---自动化部署gitlab的ci/cd简介和在服务器中部署使用
名词概念解释持续集成互联网软件的开发和发布，已经形成了一套标准流程，最重要的组成部分就是持续集成（Continuous integration，简称CI）持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通常每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。自动化构建 举例来说 我们提交代码后，只要满足某个条件，就会触发自动合并代码，自动编译代码，自动测试代码，以及自动发布到 相应 部署环
2020-12-16 18:30:56
2432
原创 遇到问题--mac合盖后断网----mac合盖后不断网设置--亲测有效
情况macbook pro 2015，系统 macOS Catalina，已经在系统偏好设置–节能中设置： 当显示器关闭时，防止电脑自动进入睡眠，关闭显示器时间设置为永不，但是合盖后 仍然断网。原因我们经常需要 在mac上运行长时间的任务，需要保持网络的连通，而且需要在合盖的情况下继续运行。但是出于安全和散热以及wifi性能等原因的考虑，mac的设计 没有这样的设置选项，原生不支持这样的设置。解决方案根据合盖后不断网的需求 在网络中需要解决方案，发现很多 方案时间都比较老，很多已经不生效了
2020-12-15 15:58:54
17504
原创 遇到问题--k8s--helm安装elasticsearch报错java.lang.IllegalArgumentException: unknown setting [node.remote_clu
情况使用helm安装elasticsearch 使用配置和命令如下:master.yaml---nodeGroup: "master"roles: master: "true" ingest: "false" data: "false"replicas: 3image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/k8s-env/elasticsearchimageTag: 7.6.2resources: requests
2020-12-03 18:32:19
2442
原创 遇到问题--k8s--helm安装prometheus报错Error: failed to download “stable/prometheus-operator“
情况使用helm安装prometheus命令如下:helm install prometheus stable/prometheus-operator 遇到报错：Error: failed to download "stable/prometheus-operator" (hint: running `helm repo update` may help)根据提示更新helm的仓库如下：zhangxiaofans-MacBook-Pro:prometheus joe$ helm rep
2020-12-03 11:58:23
4864
原创 遇到问题---spark on k8s--挂载了efs的pod运行spark session 60s后报java致命错误
情况我们在前面的文章中有提到过，目前spark on k8s运行某些类型的任务时，需要共享/tmp目录，我们通过efs来实现了 共享目录的挂载。但是 可能遇到 挂载了efs的pod运行spark session 60后报java致命错误的情况。pod状态如下：spark-shell-1605604907012-exec-2 0/1 Error 0 68s 10.33.1.46 ip-10-33-6-62.cn-nor
2020-12-01 17:53:24
771
原创 k8s--普通k8s集群---使用rolebinding限制或增加访问命名空间以及可执行操作权限
权限控制原理 RBAC——基于角色的访问控制基于角色的访问控制（Role-Based Access Control, 即”RBAC”）k8s使用”rbac.authorization.k8s.io” API Group实现授权决策，允许管理员通过Kubernetes API动态配置策略。也就是说 每个k8s用户调用k8s的api时，都会经过一层角色的权限校验，比如 我当前的用户或者 服务账户（serviceaccount）关联的是哪一个角色，就拥有这一个角色的访问权限。基于这样的原理，k8s可以很灵
2020-11-13 18:34:00
11039
15
原创 遇到问题--python--urllib.error.URLError:certificate verify failed: unable to get local issuer certificat
情况使用python的urllib包打开https链接，报错如下：urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)>原因Python 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证
2020-11-12 18:38:54
4677
原创 遇到问题---eks--gitlab-runner----docker on docker运行失败---Cannot connect to the Docker daemon at unix:///v
情况在k8s环境中部署一个gitlab-runner用于ci/cdgitlab-runer 采用helm进行部署，runner pod使用独立的serviceAccountName，所以配置时需要创建必要的角色、角色绑定运行时报错如下:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running原因我们采用了 docker on docker的模式运行 gitla
2020-11-12 18:25:55
2149
原创 遇到问题---eks--gitlab-runner----docker dns解析失败---docker build Temporary failure in name resolution
情况使用eks集群部署了一个gitlab-runner用来做ci/cd，但是发现 gitlab-runner这个pod中 去下载包时报错 docker build Temporary failure in name resolutiondocker 容器内部 dns 解析失败的问题发现在 docker run 启动容器之后，容器内部访问外部的接口总是提示无法解析 dns，然而容器外部是可以解析的，dns的配置也没有任何问题。用 docker exec -it contaner_n
2020-11-12 18:16:46
1280
原创 遇到问题---eks--spot混合实例--无法自动伸缩的问题--wouldn‘t fit if a new node is added
情况我们在前面的文章中详细讲解了如何搭建一个 eks集群Kubernetes–k8s—进阶–AWS托管式容器服务EKS–EKS全面介绍和安装使用在使用eksctl命令创建eks集群的配置文件中 定义了 spot的nodegroup。如下:instancesDistribution: instanceTypes: ["c5.4xlarge","c5.9xlarge","c5.18xlarge","r4.8xlarge","r5.8xlarge",] onDemandBaseCap
2020-11-12 17:23:07
1729
原创 遇到问题--k8s--KubeOperator--部署完成后页面无法显示出来required authorization token not found
情况KubeOperator版本3.2 使用离线安装包安装 k8skubeoperator-release-v3.2.0.tar.gz系统:centos 7.5k8s集群项目基本信息名称 k8s-private版本 v1.18.6网络类型 flannel容器运行时 docker架构 amd64来源 本地k8s集群项目 安装完成后 概览以及节点等页面显示不出来，F12查看 页面请求 相关api报错required authorization token not found例如:ht
2020-10-29 11:07:58
2565
1
转载 AWS EC2实例Linux系统创建root用户并更改为root用户登录
对于刚创建AWS EC2实例，或者经常使用AWS 实例的小伙伴们来说，刚创建的EC2实例是没有ROOT权限的，因此不能直接使用ROOT用户去登陆实例，也无法获取到root权限。一般情况下，EC2实例默认是以ec2-user为用户名去登陆的（除了Ubuntu系统实例，它的默认用户名是ubuntu，centos系统实例，它的默认用户名是centos）。对于如何去创建root及密码，以及更改用户登陆方式–改为root用户登陆实例，就显得很有必要。下文就是帮助大家如何去创建root密码，以及如何ROOT用户去
2020-10-26 14:54:53
2576
1
原创 python----积累---python解析json的方法收集
Python 递归查找json中的key的值# coding:utf8import jsonclass GetKeyValue(object): def __init__(self, o, mode='j'): self.json_object = None if mode == 'j': self.json_object = o elif mode == 's': self.json_objec
2020-10-23 15:00:12
473
原创 kubernetes---CentOS7使用KubeOperator安装k8s图文完整版
KubeOperator简介KubeOperator与Kubeadm、kops的区别我们在之前的文章中已经使用Kubeadm安装过k8s:kubernetes—CentOS7安装kubernetes1.11.2图文完整版Kubeadm是Kubernetes官方推出的快速部署Kubernetes的集群工具，其思路是将Kubernetes相关服务容器化以简化部署。安装k8s集群的工具有很多：Kubeadm，Kops，KubeOperator 和 RKE（Rancher)等。实际上它们 是 适合不同场
2020-10-20 15:49:06
4111
5
原创 遇到问题---k8s--efs--ConfigParser.NoSectionError: No section: ‘mount-watchdog‘
情况根据之前的文章进行efs的驱动安装：aws–efs—使用efs创建k8s的动态pvc然后发现efs无法挂载，查看pvc的日志报错如下：E0922 03:13:38.113819 1 efs_watch_dog.go:131] amazon-efs-mount-watchdog[Error]: Traceback (most recent call last): File "/usr/bin/amazon-efs-mount-watchdog", line 948, in <
2020-10-10 16:57:07
846
原创 Kubernetes--k8s--进阶--全面了解HPA--部署HPA实现高可用和成本控制
什么是HPA我们的k8s集群 如果是 针对pod层面是有Cluster Autoscaler弹性伸缩来做高可用和成本控制的优化的。也就是说 我们一开始 没有pod任务在运行的时候 不需要node节点时，k8s的集群可以只启动少量node节点来做常驻服务pod的部署。 当 有大批量的任务pod 需要运行时， k8s集群会根据 每个pod需要的资源状态来 申请启动新的node节点。 当任务高峰期过后，pod运行的数量减少，node的数量就会收缩，不使用的node会被回收，保证 k8s集群的高可用低成本运行。
2020-10-09 17:23:49
6449
1
原创 遇到问题--k8s--eks集群使用nodeselector时spot类型的nodegroup组无法从0扩展node(s) didn‘t match node selector
情况我们使用eksctl进行集群的创建，nodegroup的定义如下： - name: test-0-nodeselect-v1 minSize: 0 maxSize: 3 privateNetworking: true availabilityZones: ["cn-northwest-1a","cn-northwest-1b","cn-northwest-1c"] volumeSize: 200 kubeletExtraConfig: kubeRes
2020-09-24 17:51:17
2213
ssh框架搭建用到的包完整版.zip
2014-07-03
java通过class读写excel的例子
2014-07-01
springMVCHibernateShiroBootStrap框架
2017-11-16
cxselect选择城市
2017-09-13
ueditor1.4.3的jsp版utf-8
2017-07-03
bootstrap-fileinput-master.zip
2017-06-23
SpringMVC+Shiro+MongoDB+BootStrap基础框架
2017-05-16
SpringMVC+Shiro+MongoDB基础框架
2017-05-15
hadoop-eclipse-plugin-1.2.1.jar
2016-09-14
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf
2016-06-12
springMVC+maven+hibernate框架
2015-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人