自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(81)
  • 资源 (8)
  • 收藏
  • 关注

原创 jsp 分页查询展示,实现按 上一页或下一页实现用ajax刷新内容

4. 在前端页面的 Ajax 请求回调函数中,根据返回的 JSON 数据更新页面内容,例如更新列表数据、更新页码等。2. 在后端控制器中接收 Ajax 请求,并根据传入的参数(例如当前页码)查询数据库,获取需要展示的内容。例如,判断是否有上一页或下一页,并在前端部分显示或隐藏对应的按钮。1. 在前端页面中添加两个按钮,分别为“上一页”和“下一页”。// 查询数据库,获取数据并计算分页部分的逻辑。// 前端分页部分代码。// 上一页按钮事件。// 下一页按钮事件。

2023-12-01 14:09:21 1524

原创 PostgreSQL按月计算每天值的累加

要按月计算每天值的累加,您可以使用PostgreSQL中的日期函数和窗口函数。执行上述查询后,您将获得按月计算的每天值的累加结果,其中每个日期对应的累加值是该日期所在年份和月份内所有日期的数值之和。子句将结果按照年份和月份进行分组,这样每个年份和月份只出现一次,并且对应的累加值是该年份和月份内所有日期的数值之和。子句按照日期列对窗口函数进行排序。子句按照日期列对结果进行排序。这个查询使用了窗口函数。

2023-11-17 13:24:05 1370

原创 python利用shutil.move实现移动原文件夹文件至新文件夹并实现新文件夹文件存在情况下覆盖写入并输出至log日志

python实现移动原文件夹文件至新文件夹并实现新文件夹文件存在情况下覆盖写入并输出至log日志

2023-11-14 16:41:25 402

原创 使用Keras建立模型并训练等一系列操作方式

由于Keras是一种建立在已有深度学习框架上的二次框架,其使用起来非常方便,其后端实现有两种方法,theano和tensorflow。Functional API:Keras的API是非常强大的,你可以利用这些API来构造更加复杂的模型,比如多输出模型,有向无环图等等。以上这篇使用Keras建立模型并训练等一系列操作方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。因为是随机数据,没有意义,这里训练的结果不必计较,只是练习而已。可以看到,两次的结果是一样的。

2023-11-09 15:33:03 332

原创 python开发数字人助理版

数字人助理版是fay开源项目的重要分支,专注于构建智能数字助理的开源解决方案。它提供了灵活的模块化设计,使开发人员能够定制和组合各种功能模块,包括情绪分析、NLP处理、语音合成和语音输出等。Fay数字人助理版为开发人员提供了强大的工具和资源,用于构建智能、个性化和多功能的数字助理应用。通过该版本,开发人员可以轻松创建适用于各种场景和领域的数字人助理,为用户提供智能化的语音交互和个性化服务。

2023-11-08 14:24:43 1335

原创 python读取postgres数据生成CSV文件并 利用outlook 添加多个联系人地址群发带附件邮件

XXX@chiconypower.com' #收件人。writer.writerow(['名称', '离职人员平均在职天数', '总人数','离职人员在职天数', '在职人员在职天数', '总在职天数','在职人数', '离职人数', '离职人员在职天数占比'])mail_item.CC = 'XXX@chiconypower.com' # 抄送人。

2023-11-02 17:17:49 202

原创 KETTLE-从ftp上下载csv文件插入到数据库

使用kettle从另一台服务器上的ftp上下载txt文件到本地 然后将数据插入到数据库中 ftp的目录是动态的 每天都会生成一个时间目录 如20180510 文件就放在这下面 我们文件名是不变的 所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用 下载到本地后 清空表(我们是全量导入 所以清空) 然后再导入数据。“q+”: Math.floor((this.getMonth() + 3) / 3), //季度。这是获取ftp路径的ktr 也就是为了获取动态时间的目录。

2023-06-06 09:48:43 1085

原创 Kettle数据同步日常使用汇总及整理

核心一点,最好就是变量的作用范围为当前作业,尤其对于费定时任务,有可能多个作业同时启动的,一定要将变量的作用范围设定在当前作业中,如果设置变量的操作是在一个转换中,然后一个作业进行调用这个转换,那么变量的作用范围就是parent-job,一般不选择整个JVM,具体情况,根据设定变量这个操作的位置不同,决定其作用范围的设置,,就需要在主作业中嵌套一个子作业,子作业中调用一个转换,转换的功能就是通过从子作业的上一步中获取结果信息,然后将信息设置成变量,变量的有效范围parent-job;

2023-06-06 09:43:28 3354

原创 Flink设置Source数据源使用kafka获取数据

注意: lombok的使用Rich代表“富”,它可以获得运行环境的上下文,并拥有一些生命周期的方法open是 Rich Function 的初始化方法,也就是会开启一个算子的生命周期。当一个算子的实际工作方法例如 map()或者 filter()方法被调用之前,open()会首先被调用。所以像文件 IO 的创建,数据库连接的创建,配置文件的读取等等这样一次性的工作,都适合在 open()方法中完成。close()方法,是生命周期中的最后一个调用的方法,类似于解构方法。一般用来做一些清理工作。

2023-03-30 15:02:57 1608

原创 使用Docker容器搭建Kafka集群的详细过程讲解

到此这篇关于Docker容器 Kafka集群的搭建的文章就介绍到这了。启动3个Kafka节点。

2023-03-17 15:56:21 968

原创 Docker安装flink及如何避坑

flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践。

2023-03-17 15:49:49 767

原创 使用Docker部署Flink大数据

redis整个项目的部署和工作环境如上图所示。由于 kafka 和 hbase 均需要 zookeeper 的支持,所以没有使用集成式的 hbase docker镜像,所以笔者自己基于 hbase 1.5.0 制作了一版镜像,由于 hbase 的 standlone模式端口会随机生成,故也搭建成了伪分布式,HMaster 和 HRegionserver均在同一个 Docker Container 中。

2023-03-17 09:38:55 1091

原创 flink集群(docker版)配置及使用

的启用、存储方式、存储位置,在应用代码中配置,其中存储方式、存储位置,也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数,但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为,用户无法对其进行交互,用户可以在程序启动之前,设置好实时程序Checkpoint相关参数,当程序启动之后,剩下的就全交给Flink自行管理。Checkpoint是增量做的,每次的时间较短,数据量较小。

2023-03-16 08:05:01 2633

原创 使用datax实现增量同步mysql数据库数据(定时任务)

1,执行读取和写入的mysqltomysql.json,(我这里文件名叫new.json)里面有数据源库表的信息,读取的字段等设置,并且接收外部传入的两个时间参数(格式化为时间戳),路径为/usr/local/datax/job下,修改注意格式为标准json,格式化无问题再使用。可以看到,数据已同步,具体还可以优化,请参考datax官方文档,搭建运行中间不要怕出问题,大胆尝试细心排错,有可能格式,执行权限,文件编码都会造成执行不成功,祝大家一次同步成功。可以看到,我们的定时任务已经写入。

2023-03-10 08:56:14 4919

原创 Python+datax 自动批量执行datax任务完成离线数据同步

在之前的文章中我们介绍过阿里的开源离线数据同步工具——datax,我们可以使用datax来完成我们异构数据库之间的离线数据同步工作,它可以通过给予的主键(文本或数值)进行任务切分来同步进行,数据同步的效率还是非常高效的。下面,我们首先获取下json模板信息,因为我们把json都放在了这个python脚本同目录下面,因此我们使用os来获取这个脚本文件的所属文件夹绝对路径。(我这里处理的思路是统一处理同一个reader和writer的批量任务,也可以修改成不同reader和writer的批量任务)

2023-03-10 08:14:40 3273

原创 【DataX-Web的搭建(Windows/Linux环境)

ps1:报错:提供的配置文件[D:\java\Projects\sync-data\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件.(配置环境变量),但从github上下载的版本只支持python2.x版本,而现在python3.x正流行,这给我们带来不少麻烦。(8) 文件流:只能读取规则的二维表结构文件,并且只能读取本地文件及远程服务器的文件,只能调用api接口获取流。调度中心、执行器支持集群部署,提升调度系统容灾和可用性。

2023-03-02 14:15:06 4080 1

原创 使用datax实现增量同步mysql数据库数据 定时执行任务

1,执行读取和写入的mysqltomysql.json,(我这里文件名叫new.json)里面有数据源库表的信息,读取的字段等设置,并且接收外部传入的两个时间参数(格式化为时间戳),路径为/usr/local/datax/job下,修改注意格式为标准json,格式化无问题再使用。可以看到,数据已同步,具体还可以优化,请参考datax官方文档,搭建运行中间不要怕出问题,大胆尝试细心排错,有可能格式,执行权限,文件编码都会造成执行不成功。可以看到,我们的定时任务已经写入。再看一下datax的运行日志。

2023-03-02 13:56:25 1305

原创 使用 DataX 增量同步数据

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。如果想进一步了解 DataX ,请进一步查看。

2023-03-02 13:50:17 1377

原创 Python 读取千万级数据自动写入 MySQL 数据库

Python 读取数据自动写入 MySQL 数据库,这个需求在工作中是非常普遍的,主要涉及到 python 操作数据库,读写更新等,数据库可能是 mongodb、 es,他们的处理思路都是相似的,只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql,分为两个场景,两种方式。

2023-02-28 17:21:13 834

原创 python处理一个上千万的csv文件都需要注意哪些方面

数据表小的时候可以随时修改数据表,来适合应用程序的调用;数据表大了,去更改数据表会繁琐且容易出错,用代码去调用也需要复杂的计算。设计存储表之前应综合考虑表的编码问题,字段存储类型,和合适的存储方法等等问题。

2023-02-28 17:17:00 1265

原创 利用python读写mysql数据库数据

df_write.to_sql('table_py', con_engine, index = False) # index = False表示不加索引列,写到table_py表,如果表已经存在,会报错:ValueError: Table 'table_py' already exists.# 建立数据库连接,username, passwd, database_name都是如上,预先定义的参数,localhost也可以替换成某个数据库的ip地址。" #table_name某个表名。

2023-02-28 17:07:14 3300

原创 python读取json文件数据写到MySQL数据库

读取数据,获取字段信息。

2023-02-27 16:34:12 1448

原创 echarts数据可视化插件在页面中的使用及各个参数详解

'top' 'bottom'//默认自动,根据组件的位置和 orient 决定,当组件的 left 值为 'right' 以及纵向布局(orient 为 //'vertical')的时候为右对齐,及为 'right'。itemSymbol:'circle',//图形的形状 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow'可以是像 '20%' 这样相对于容器高宽的百分比,也可以是 'left', 'center', 'right'。

2023-02-23 16:53:08 381

原创 jsp页面直接读取mysql数据库数据并在页面显示

jsp页面直接读取mysql数据库数据显示:

2023-02-23 13:45:21 1091

原创 C#读取Txt大数据并更新到数据库

目前测试数据1300万 大约3-4分钟.(限制一次读取条数 和 线程数是 要节省服务器资源,如果调太大服务器其它应用可能就跑不了了), SqlServerDBHelper为数据库帮助类.没有什么特别的处理. 配置连接串时记录把连接池开起来。另外.以下代码中每次写都创建了连接 .之前试过一个连接反复用. 130次大约有20多次 数据库会出问题.并且需要的时间是7-8分钟 左右.配置文件: xxx.json。

2023-02-23 13:32:12 803

原创 C#Winform从页面获取数据,传入数据库

System.Guid.NewGuid().ToString()全球唯一标识符 (GUID) 是一个字母数字标识符。1、SQLite数据库新建数据表,设置相应的字段。(其他数据库形式都相似,using相应数据库的包即可)一、新建一个类DBDao.cs,封装的连接数据库的方法ExecuteSql()2、页面有两个textBox:textBox1、textBox2,3、一个保存按钮:点击保存按钮就会保存到数据库。二、在页面的两个文本框输入数据,点击保存按钮,1、C#生成唯一的ID保存到数据库。

2023-02-23 13:30:50 1530

原创 PYTHON网络爬虫抓取动态网页并将数据存入数据库MYSQL

以下的代码是使用python实现的网络爬虫,抓取动态网页。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。以上是网页源码以上是审查网页元素所以此处不能简单的使用正则表达式来获取内容。以下是完整的获取内容并存储到数据库的思路及源码。

2023-02-23 13:26:26 1803

原创 python操作postgresql

原理是利用psycopg2.connect()建立一个connection对象,然后将connection和sql语句作为参数,进一步利用pd.read_sql获取数据库中的数据,返回类型为dataframe。psycopg2.connect()创建一个新的数据库会话(Session)并且返回一个连接对象用于连接数据库。用到的主要函数是df.to_sql()函数,跟df.to_csv()应该是一个系列的。copy_from(),是postgresSQ的内置函数,各种数据库create_engine示例。

2023-02-23 13:15:49 729

原创 python将数据导入数据库

将python数据插入数据库的方法:先读入数据,建立数据库连接;最后,关闭数据库连接。cursor . execute( createtable餐饮_销售(numintprimarykey,datetime,salefloat))query= insertintocationing _ sale(数量,日期,销售)值(%s,%s,%s)如何才能实现这一点?如果数据库已经存在,注意不要复制主键,否则会出现错误。#如果没有这些关闭操作,执行后就无法在数据库中查看数据。#关闭游标,提交,关闭数据库连接。

2023-02-23 13:11:57 7558 2

原创 postman接口测试工具的使用之快速入门

Postman是一款非常流行的支持HTTP/HTTPS协议的接口调试与测试工具,其功能非常强大,易用。

2023-02-23 09:12:54 3387

原创 使用DRUID连接池链接数据库与实现登录功能

用户登录 * 用户登录案例需求: 1.编写login.html登录页面 username & password 两个输入框 2.使用Druid数据库连接池技术,操作mysql,day14数据库中user表 3.使用JdbcTemplate技术封装JDBC 4.登录成功跳转到SuccessServlet展示:登录成功!用户名,欢迎您

2023-02-23 08:56:33 696

原创 python虚拟数字人直播间带货

本开源项目名为“数字人控制器”。意为,本项目可以充当时下流行的虚拟人、虚拟主播、数字人,等仿人形数字形象的内核部分。​ 使用UE、C4D、DAZ、LIVE2D等三维引擎软件开发的数字形象可以与本“数字人控制器”对接,从而实现虚拟主播、数字导游、数字助手等。我们提供UE4对接的demo,但我们更鼓励用户自行实现喜欢的数字形象。​ 当然,若不考虑外观形象的话,本“数字人控制器”其实也可以独立使用的,可以充当一个语音助理。NLP可以自由切换AIUI、ChatGPT及Yuan1.0。目前最新版本是2.0。

2023-02-18 10:23:27 7606 1

原创 python实现目录内Excel表格数据批量导入MySQL,并生成log文件,且清空上传成功文件夹内文件

python实现目录内Excel表格数据批量导入MySQL,并生成log文件,且清空上传成功文件夹内文件

2023-02-10 13:11:11 188

原创 php实现选择Excel表格数据导入MySQL

2023-01-07 09:36:28 145

原创 Tomcat实现oracle查询数据,鼠标点击数据选中行数据传入打印区域

<%@ page contentType="text/html;charset=utf-8" language="java" errorPage="" %><%@ page import="java.text.*"%><%@ page import="java.sql.*" %><%@ page import="java.util.*"%><html><head> <title>print</t...

2022-04-18 11:00:17 417

原创 python实现链接oracle数据库定时查询数据生成excel

import csvimport cx_Oracleimport timefrom datetime import datetimeimport pandas as pdimport scheduleimport win32com.client as win32def sjcx():# 生成excel文件名 curr_time = time.strftime('%Y%m%d%H', time.localtime(time.time())) csv_file...

2022-04-18 10:50:37 911

原创 登录界面js验证用户名密码

<html><!DOCTYPE html><html lang="en" class="no-js"><%@ page contentType="text/html;charset=utf-8" language="java" errorPage="" %> <head> <title>登录(Login)</title> <meta name="viewpo...

2022-04-18 10:45:47 3158

原创 python自定义时间定时发送带附件抄送outlook邮件

# -*- coding: utf-8 -*-"""Module 根据定义的Task,发送邮件提醒,避免遗漏处理"""from asyncio import exceptionsimport osimport xlrdimport scheduleimport timeimport win32com.client as win32from datetime import datetime,datedictWeek={0:"Monday",1:"Tu

2022-04-14 17:56:34 665

原创 python 将excel文件转换为json文件

import datetimeimport timefrom tokenize import Doubleimport xlrdimport jsonfrom datetime import datetimefrom xlrd import xldate_as_datetime, xldate_as_tupledef open_excel(file): """ 打开execl文件 :param file: excel文件名字 :return...

2022-04-14 17:11:50 2109

原创 python定时发送带附件outlook邮件

import win32com.client as win32import pythoncomimport scheduleimport timepythoncom.CoInitialize()curr_time = time.strftime('%Y%m%d%H%M%S', time.localtime(time.time()))def send_mail(): outlook = win32.Dispatch('Outlook.Application') re...

2022-04-14 17:05:48 919

Fay数字人助理版fay开源项目

数字人助理版是fay开源项目的重要分支,专注于构建智能数字助理的开源解决方案。它提供了灵活的模块化设计,使开发人员能够定制和组合各种功能模块,包括情绪分析、NLP处理、语音合成和语音输出等。Fay数字人助理版为开发人员提供了强大的工具和资源,用于构建智能、个性化和多功能的数字助理应用。通过该版本,开发人员可以轻松创建适用于各种场景和领域的数字人助理,为用户提供智能化的语音交互和个性化服务。 Fay数字人助理版 注:带货版移到分支fay-sales-edition 助理版Fay控制器使用:语音沟通,语音和文字回复;文字沟通,文字回复;对接UE、live2d、xuniren,需关闭面板播放。 二、Fay助理版 Remote Android      Local PC     Remote PC      └─────────────┼─────────────┘       Aliyun API ─┐   │             ├── ASR             FunASR ─┘    │     ┌─ Yuan 1.0                │    

2023-11-08

python 双色球+大乐透彩票AI预测

Installing step1,安装anaconda(可参考https://zhuanlan.zhihu.com/p/32925500); step2,创建一个conda环境,conda create -n your_env_name python=3.6; step3,进入创建conda的环境 conda activate your_env_name,然后执行pip install -r requirements.txt; step4,按照Getting Started执行即可,推荐使用PyCharm Getting Started python get_data.py --name ssq # 执行获取双色球训练数据 如果出现解析错误,应该看看网页 http://datachart.500.com/ssq/history/newinc/history.php 是否可以正常访问 若要大乐透,替换参数 --name dlt 即可 python run_train_model.py --name ssq # 执行训练双色球模型 开始模型训练,先训练红球模型,再训练蓝球

2023-02-18

python虚拟数字人控制器

本项目可以充当时下流行的虚拟人、虚拟主播、数字人,等仿人形数字形象的内核部分。 ​ 使用UE、C4D、DAZ、LIVE2D等三维引擎软件开发的数字形象可以与本“数字人控制器”对接,从而实现虚拟主播、数字导游、数字助手等。我们提供UE4对接的demo,但我们更鼓励用户自行实现喜欢的数字形象。 ​ 若不考虑外观形象的话,本“数字人控制器”其实也可以独立使用的,可以充当一个语音助理。NLP可以自由切换AIUI、ChatGPT及Yuan1.0。 人设 数字人属性,与用户交互中能做出相应的响应。 交互灵敏度 在交互中,数字人能感受用户的情感,并作出反应。最直的体现,就是语气的变化,如 开心/伤心/生气 等。 设置灵敏度,可改变用户情感对于数字人的影响程度。 接收来源 抖音 填入直播间地址,实现与直播间粉丝交互 麦克风 选择麦克风设备,实现面对面交互,成为你的伙伴 socket远程音频输入 可以接入远程音频输入,远程音频输出 商品栏 填入商品介绍,数字人将自动讲解商品。 当用户对商品有疑问时,数字人可自动跳转至对应商品并解答问题。 配合抖音接收来源,实现直播间自动带货。

2023-02-18

python实现读取文件夹下所有excel文件内容上传MySQL数据库,并附带生成log文件,同时上传成功之后清空文件夹

python实现读取文件夹下所有excel文件内容上传MySQL数据库,并附带生成log文件,同时上传成功之后清空文件夹

2023-02-10

phpexcel实现选择本地Excel表格数据导入MySQL

php实现利用PHPExcel-1.8插件点击按钮选择Excel文件提取表格数据上传导入MySQL数据库

2023-01-07

jsp实现,登录,插入,查询oracle数据可视化看板,数据区域实现隐藏滚动条,但有滚动效果,图表利用highcharts控件

jsp实现用户登录,提交数据至oracle数据库,以数据化看板的形式展现,图表区域采用highcharts,数据显示区域,实现高度超过限定值,增加上下滚动,表头不动,数据可上下滚动,

2022-04-19

tomcat 去读oracle数据库数据利用highcharts生成图表

tomcat 读取oracle数据库数据利用highcharts生成图表,sql语句传入开始日期和结束日期,修改数据库链接IP用户名密码数据库名称即可连接,需搭建tomcat环境执行

2022-04-18

宏脉医美操作手册完整版.doc

宏脉医美操作手册完整版,详细讲解宏脉的操作流程。让操作员,管理员很快就可以上手操作,比纸质的版的方便实用。

2020-01-18

懒人版10.9.2AMD内核文件

懒人版MACos 10.9.2版本AMD内核替换文件

2015-07-23

网上购物系统时尚版V8.4

本程序适合网上购物程序开发可以使用在个人网店

2011-08-21

android手机游戏项目源代码

基于android手机开发应用平台和游戏程序软件

2011-07-27

使用C语言做的项目影院售票系统

里面附带源码很全的使用C#编写的影院售票系统

2010-05-18

北大青鸟.NET项目酒店管理系统

这是用C语言编写的一个酒店管理系统附带源码设计思路

2010-05-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除