原创 jsp 分页查询展示,实现按 上一页或下一页实现用ajax刷新内容

4. 在前端页面的 Ajax 请求回调函数中，根据返回的 JSON 数据更新页面内容，例如更新列表数据、更新页码等。2. 在后端控制器中接收 Ajax 请求，并根据传入的参数（例如当前页码）查询数据库，获取需要展示的内容。例如，判断是否有上一页或下一页，并在前端部分显示或隐藏对应的按钮。1. 在前端页面中添加两个按钮，分别为“上一页”和“下一页”。// 查询数据库，获取数据并计算分页部分的逻辑。// 前端分页部分代码。// 上一页按钮事件。// 下一页按钮事件。

原创 PostgreSQL按月计算每天值的累加

要按月计算每天值的累加，您可以使用PostgreSQL中的日期函数和窗口函数。执行上述查询后，您将获得按月计算的每天值的累加结果，其中每个日期对应的累加值是该日期所在年份和月份内所有日期的数值之和。子句将结果按照年份和月份进行分组，这样每个年份和月份只出现一次，并且对应的累加值是该年份和月份内所有日期的数值之和。子句按照日期列对窗口函数进行排序。子句按照日期列对结果进行排序。这个查询使用了窗口函数。

原创 python利用shutil.move实现移动原文件夹文件至新文件夹并实现新文件夹文件存在情况下覆盖写入并输出至log日志

python实现移动原文件夹文件至新文件夹并实现新文件夹文件存在情况下覆盖写入并输出至log日志

原创 使用Keras建立模型并训练等一系列操作方式

由于Keras是一种建立在已有深度学习框架上的二次框架，其使用起来非常方便，其后端实现有两种方法，theano和tensorflow。Functional API：Keras的API是非常强大的，你可以利用这些API来构造更加复杂的模型，比如多输出模型，有向无环图等等。以上这篇使用Keras建立模型并训练等一系列操作方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。因为是随机数据，没有意义，这里训练的结果不必计较，只是练习而已。可以看到，两次的结果是一样的。

原创 python开发数字人助理版

数字人助理版是fay开源项目的重要分支，专注于构建智能数字助理的开源解决方案。它提供了灵活的模块化设计，使开发人员能够定制和组合各种功能模块，包括情绪分析、NLP处理、语音合成和语音输出等。Fay数字人助理版为开发人员提供了强大的工具和资源，用于构建智能、个性化和多功能的数字助理应用。通过该版本，开发人员可以轻松创建适用于各种场景和领域的数字人助理，为用户提供智能化的语音交互和个性化服务。

原创 python读取postgres数据生成CSV文件并 利用outlook 添加多个联系人地址群发带附件邮件

XXX@chiconypower.com' #收件人。writer.writerow(['名称', '离职人员平均在职天数', '总人数','离职人员在职天数', '在职人员在职天数', '总在职天数','在职人数', '离职人数', '离职人员在职天数占比'])mail_item.CC = 'XXX@chiconypower.com' # 抄送人。

原创 KETTLE-从ftp上下载csv文件插入到数据库

使用kettle从另一台服务器上的ftp上下载txt文件到本地 然后将数据插入到数据库中 ftp的目录是动态的 每天都会生成一个时间目录 如20180510 文件就放在这下面 我们文件名是不变的 所以整个kjb的思路就是先获取动态时间作为变量在ftp组件中使用 下载到本地后 清空表（我们是全量导入 所以清空） 然后再导入数据。“q+”: Math.floor((this.getMonth() + 3) / 3), //季度。这是获取ftp路径的ktr 也就是为了获取动态时间的目录。

原创 Kettle数据同步日常使用汇总及整理

核心一点，最好就是变量的作用范围为当前作业，尤其对于费定时任务，有可能多个作业同时启动的，一定要将变量的作用范围设定在当前作业中，如果设置变量的操作是在一个转换中，然后一个作业进行调用这个转换，那么变量的作用范围就是parent-job，一般不选择整个JVM，具体情况，根据设定变量这个操作的位置不同，决定其作用范围的设置，，就需要在主作业中嵌套一个子作业，子作业中调用一个转换，转换的功能就是通过从子作业的上一步中获取结果信息，然后将信息设置成变量，变量的有效范围parent-job；

原创 Flink设置Source数据源使用kafka获取数据

注意: lombok的使用Rich代表“富”，它可以获得运行环境的上下文，并拥有一些生命周期的方法open是 Rich Function 的初始化方法，也就是会开启一个算子的生命周期。当一个算子的实际工作方法例如 map()或者 filter()方法被调用之前，open()会首先被调用。所以像文件 IO 的创建，数据库连接的创建，配置文件的读取等等这样一次性的工作，都适合在 open()方法中完成。close()方法，是生命周期中的最后一个调用的方法，类似于解构方法。一般用来做一些清理工作。

原创 使用Docker容器搭建Kafka集群的详细过程讲解

到此这篇关于Docker容器 Kafka集群的搭建的文章就介绍到这了。启动3个Kafka节点。

原创 Docker安装flink及如何避坑

flink作为第三代大数据处理方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践。

原创 使用Docker部署Flink大数据

redis整个项目的部署和工作环境如上图所示。由于 kafka 和 hbase 均需要 zookeeper 的支持，所以没有使用集成式的 hbase docker镜像，所以笔者自己基于 hbase 1.5.0 制作了一版镜像，由于 hbase 的 standlone模式端口会随机生成，故也搭建成了伪分布式，HMaster 和 HRegionserver均在同一个 Docker Container 中。

原创 flink集群(docker版)配置及使用

的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。Checkpoint是增量做的，每次的时间较短，数据量较小。

原创 使用datax实现增量同步mysql数据库数据（定时任务）

1，执行读取和写入的mysqltomysql.json，（我这里文件名叫new.json）里面有数据源库表的信息，读取的字段等设置，并且接收外部传入的两个时间参数（格式化为时间戳），路径为/usr/local/datax/job下，修改注意格式为标准json,格式化无问题再使用。可以看到，数据已同步，具体还可以优化，请参考datax官方文档，搭建运行中间不要怕出问题，大胆尝试细心排错，有可能格式，执行权限，文件编码都会造成执行不成功，祝大家一次同步成功。可以看到，我们的定时任务已经写入。

原创 Python+datax 自动批量执行datax任务完成离线数据同步

在之前的文章中我们介绍过阿里的开源离线数据同步工具——datax，我们可以使用datax来完成我们异构数据库之间的离线数据同步工作，它可以通过给予的主键（文本或数值）进行任务切分来同步进行，数据同步的效率还是非常高效的。下面，我们首先获取下json模板信息，因为我们把json都放在了这个python脚本同目录下面，因此我们使用os来获取这个脚本文件的所属文件夹绝对路径。（我这里处理的思路是统一处理同一个reader和writer的批量任务，也可以修改成不同reader和writer的批量任务）

原创 【DataX-Web的搭建（Windows/Linux环境）

ps1：报错：提供的配置文件[D:\java\Projects\sync-data\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件.（配置环境变量），但从github上下载的版本只支持python2.x版本，而现在python3.x正流行，这给我们带来不少麻烦。(8) 文件流：只能读取规则的二维表结构文件，并且只能读取本地文件及远程服务器的文件，只能调用api接口获取流。调度中心、执行器支持集群部署，提升调度系统容灾和可用性。

原创 使用datax实现增量同步mysql数据库数据 定时执行任务

1，执行读取和写入的mysqltomysql.json，（我这里文件名叫new.json）里面有数据源库表的信息，读取的字段等设置，并且接收外部传入的两个时间参数（格式化为时间戳），路径为/usr/local/datax/job下，修改注意格式为标准json,格式化无问题再使用。可以看到，数据已同步，具体还可以优化，请参考datax官方文档，搭建运行中间不要怕出问题，大胆尝试细心排错，有可能格式，执行权限，文件编码都会造成执行不成功。可以看到，我们的定时任务已经写入。再看一下datax的运行日志。

原创 使用 DataX 增量同步数据

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。如果想进一步了解 DataX ，请进一步查看。

原创 Python 读取千万级数据自动写入 MySQL 数据库

Python 读取数据自动写入 MySQL 数据库，这个需求在工作中是非常普遍的，主要涉及到 python 操作数据库，读写更新等，数据库可能是 mongodb、 es，他们的处理思路都是相似的，只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql，分为两个场景，两种方式。

原创 python处理一个上千万的csv文件都需要注意哪些方面

数据表小的时候可以随时修改数据表，来适合应用程序的调用；数据表大了，去更改数据表会繁琐且容易出错，用代码去调用也需要复杂的计算。设计存储表之前应综合考虑表的编码问题，字段存储类型，和合适的存储方法等等问题。

原创 利用python读写mysql数据库数据

df_write.to_sql('table_py', con_engine, index = False) # index = False表示不加索引列，写到table_py表，如果表已经存在，会报错：ValueError: Table 'table_py' already exists.# 建立数据库连接，username, passwd, database_name都是如上，预先定义的参数，localhost也可以替换成某个数据库的ip地址。" #table_name某个表名。

原创 python读取json文件数据写到MySQL数据库

读取数据,获取字段信息。

原创 echarts数据可视化插件在页面中的使用及各个参数详解

'top' 'bottom'//默认自动，根据组件的位置和 orient 决定，当组件的 left 值为 'right' 以及纵向布局（orient 为 //'vertical'）的时候为右对齐，及为 'right'。itemSymbol:'circle',//图形的形状 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow'可以是像 '20%' 这样相对于容器高宽的百分比，也可以是 'left', 'center', 'right'。

原创 jsp页面直接读取mysql数据库数据并在页面显示

jsp页面直接读取mysql数据库数据显示：

原创 C#读取Txt大数据并更新到数据库

目前测试数据1300万 大约3-4分钟.(限制一次读取条数 和 线程数是 要节省服务器资源,如果调太大服务器其它应用可能就跑不了了), SqlServerDBHelper为数据库帮助类.没有什么特别的处理. 配置连接串时记录把连接池开起来。另外.以下代码中每次写都创建了连接 .之前试过一个连接反复用. 130次大约有20多次 数据库会出问题.并且需要的时间是7-8分钟 左右.配置文件: xxx.json。

原创 C#Winform从页面获取数据，传入数据库

System.Guid.NewGuid().ToString()全球唯一标识符 (GUID) 是一个字母数字标识符。1、SQLite数据库新建数据表，设置相应的字段。(其他数据库形式都相似，using相应数据库的包即可)一、新建一个类DBDao.cs，封装的连接数据库的方法ExecuteSql()2、页面有两个textBox：textBox1、textBox2，3、一个保存按钮：点击保存按钮就会保存到数据库。二、在页面的两个文本框输入数据，点击保存按钮，1、C#生成唯一的ID保存到数据库。

原创 PYTHON网络爬虫抓取动态网页并将数据存入数据库MYSQL

以下的代码是使用python实现的网络爬虫，抓取动态网页。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。以上是网页源码以上是审查网页元素所以此处不能简单的使用正则表达式来获取内容。以下是完整的获取内容并存储到数据库的思路及源码。

原创 python操作postgresql

原理是利用psycopg2.connect()建立一个connection对象，然后将connection和sql语句作为参数，进一步利用pd.read_sql获取数据库中的数据，返回类型为dataframe。psycopg2.connect()创建一个新的数据库会话（Session）并且返回一个连接对象用于连接数据库。用到的主要函数是df.to_sql()函数，跟df.to_csv()应该是一个系列的。copy_from()，是postgresSQ的内置函数，各种数据库create_engine示例。

原创 python将数据导入数据库

将python数据插入数据库的方法：先读入数据，建立数据库连接；最后，关闭数据库连接。cursor . execute( createtable餐饮_销售(numintprimarykey，datetime，salefloat))query= insertintocationing _ sale(数量，日期，销售)值(%s，%s，%s)如何才能实现这一点？如果数据库已经存在，注意不要复制主键，否则会出现错误。#如果没有这些关闭操作，执行后就无法在数据库中查看数据。#关闭游标，提交，关闭数据库连接。

原创 postman接口测试工具的使用之快速入门

Postman是一款非常流行的支持HTTP/HTTPS协议的接口调试与测试工具，其功能非常强大，易用。

原创 使用DRUID连接池链接数据库与实现登录功能

用户登录 * 用户登录案例需求： 1.编写login.html登录页面 username & password 两个输入框 2.使用Druid数据库连接池技术,操作mysql，day14数据库中user表 3.使用JdbcTemplate技术封装JDBC 4.登录成功跳转到SuccessServlet展示：登录成功！用户名,欢迎您

原创 python虚拟数字人直播间带货

本开源项目名为“数字人控制器”。意为，本项目可以充当时下流行的虚拟人、虚拟主播、数字人，等仿人形数字形象的内核部分。​ 使用UE、C4D、DAZ、LIVE2D等三维引擎软件开发的数字形象可以与本“数字人控制器”对接，从而实现虚拟主播、数字导游、数字助手等。我们提供UE4对接的demo，但我们更鼓励用户自行实现喜欢的数字形象。​ 当然，若不考虑外观形象的话，本“数字人控制器”其实也可以独立使用的，可以充当一个语音助理。NLP可以自由切换AIUI、ChatGPT及Yuan1.0。目前最新版本是2.0。

原创 python实现目录内Excel表格数据批量导入MySQL，并生成log文件，且清空上传成功文件夹内文件

python实现目录内Excel表格数据批量导入MySQL，并生成log文件，且清空上传成功文件夹内文件

原创 php实现选择Excel表格数据导入MySQL

原创 Tomcat实现oracle查询数据，鼠标点击数据选中行数据传入打印区域

<%@ page contentType="text/html;charset=utf-8" language="java" errorPage="" %><%@ page import="java.text.*"%><%@ page import="java.sql.*" %><%@ page import="java.util.*"%><html><head> <title>print</t...

原创 python实现链接oracle数据库定时查询数据生成excel

import csvimport cx_Oracleimport timefrom datetime import datetimeimport pandas as pdimport scheduleimport win32com.client as win32def sjcx():# 生成excel文件名 curr_time = time.strftime('%Y%m%d%H', time.localtime(time.time())) csv_file...

原创 登录界面js验证用户名密码

<html><!DOCTYPE html><html lang="en" class="no-js"><%@ page contentType="text/html;charset=utf-8" language="java" errorPage="" %> <head> <title>登录(Login)</title> <meta name="viewpo...

原创 python自定义时间定时发送带附件抄送outlook邮件

# -*- coding: utf-8 -*-"""Module 根据定义的Task，发送邮件提醒，避免遗漏处理"""from asyncio import exceptionsimport osimport xlrdimport scheduleimport timeimport win32com.client as win32from datetime import datetime,datedictWeek={0:"Monday",1:"Tu

原创 python 将excel文件转换为json文件

import datetimeimport timefrom tokenize import Doubleimport xlrdimport jsonfrom datetime import datetimefrom xlrd import xldate_as_datetime, xldate_as_tupledef open_excel(file): """ 打开execl文件 :param file: excel文件名字 :return...

原创 python定时发送带附件outlook邮件

import win32com.client as win32import pythoncomimport scheduleimport timepythoncom.CoInitialize()curr_time = time.strftime('%Y%m%d%H%M%S', time.localtime(time.time()))def send_mail(): outlook = win32.Dispatch('Outlook.Application') re...