Python批量写入一亿条业务型数据进oracle

于 2024-08-23 11:14:33 发布
阅读量335 收藏 11
点赞数 4
文章标签： python oracle 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zy229544/article/details/141460581
版权

        最近做项目需要大量业务型数据，想到利用Python写入随机数据进行循环调用。

数据准备

        首先在txt文件上罗列需要用到的业务型数据，考量其可用性、可实现性等

        在代码中将txt文档罗列的数据提取出来
import random
import faker
# 省份表
str_prov = ("河北、山西、辽宁、吉林、黑龙江、江苏、浙江、安徽、福建、江西、山东、河南、湖北、湖南、广东、海南、"
            "四川、贵州、云南、陕西、甘肃、青海、台湾、内蒙古、广西、西藏、宁夏、新疆、北京、天津、上海、重庆、香港、澳门")
lst_prov = str_prov.split('、')
my_prov = random.choice(lst_prov)
print("省份：" + my_prov)

# 职级表
str_rank = ("神王级、混沌主宰、永恒真神级、虚空真神级、真神级、宇宙之主级、尊者级、不朽级、界主级、域主级、"
            "宇宙级、恒星级、行星际、国际级、国家级、省级、市州级、县级、村级、生产大队级")
lst_rank = str_rank.split('、')
my_rank = random.choice(lst_rank)
print("职级：" + my_rank)

# 所属项目表
str_prj = ("游泳、射箭、田径、羽毛球、拳击、篮球、皮划艇、自行车、马术、击剑、足球、竞技体操、"
           "艺术体操、蹦床、手球、曲棍球、柔道、现代五项、赛艇、帆船、射击、乒乓球、跆拳道、网球、铁人三项、"
           "排球、举重、摔跤、棒球、垒球、保龄球、台球、板球、体育舞蹈、壁球、武术、围棋、象棋、藤球、橄榄球、"
           "轮滑、空手道、卡巴迪、高尔夫球、龙舟")
lst_prj = str_prj.split('、')
my_prj = random.choice(lst_prj)
print("所属项目：" + my_prj)

# 审批人员表
lst_approve = ["张三", "李四", "王五", "刘鎏", "齐琦", "赵强"]
my_approve = random.choice(lst_approve)
print("审批人：" + my_approve)

# 审批状态表
lst_status = ["通过", "驳回", "审批中"]
my_status = random.choice(lst_status)
print("审批状态：" + my_status)

# 服务评分表
lst_rating = [1, 2, 3, 4, 5]
my_rating = random.choice(lst_rating)
print("服务评分：{0}".format(my_rating))

# 性别表
lst_sex = ["男", "女"]
my_sex = random.choice(lst_sex)
print("性别：" + my_sex)

# 收入表
my_income = random.randint(1000, 40000)
print("收入：{0}".format(my_income))

# 年龄表
my_age = random.randint(21, 55)
print("年龄：{0}".format(my_age))

# 时间表
lst_time = ['2023/9/1 0:00:00', '2023/9/2 0:00:00', '2023/9/3 0:00:00', '2023/9/4 0:00:00', '2023/9/5 0:00:00',
            '2023/9/6 0:00:00', '2023/9/7 0:00:00', '2023/9/8 0:00:00', '2023/9/9 0:00:00', '2023/9/10 0:00:00',
            '2023/9/11 0:00:00', '2023/9/12 0:00:00', '2023/9/13 0:00:00', '2023/9/14 0:00:00', '2023/9/15 0:00:00',
            '2023/9/16 0:00:00', '2023/9/17 0:00:00', '2023/9/18 0:00:00', '2023/9/19 0:00:00', '2023/9/20 0:00:00',
            '2023/9/21 0:00:00', '2023/9/22 0:00:00', '2023/9/23 0:00:00', '2023/9/24 0:00:00', '2023/9/25 0:00:00',
            '2023/9/26 0:00:00', '2023/9/27 0:00:00', '2023/9/28 0:00:00', '2023/9/29 0:00:00', '2023/9/30 0:00:00',]
my_time = random.choice(lst_time)
print("时间：{0}".format(my_time))

# 姓名表
f = faker.Faker("zh_CN")
my_name = f.name()
print("姓名：" + my_name)
        需要将这些数据聚合在一张列表中，然后进行定量循环
data_lst = [(f.name(), random.choice(lst_sex), random.randint(21, 55), random.choice(lst_prov),
             random.choice(lst_rank), random.randint(1000, 40000), random.choice(lst_prj),
             random.choice(lst_time), random.choice(lst_approve), random.choice(lst_status),
             random.choice(lst_rating)) for _ in range(100000)]

print(data_lst)

使用Python将MySQL数据库查询到的数据写入oracle数据库中

首先创建连接
# 创建ORACLE数据库连接
    conn = cx_Oracle.connect('用户名', '密码', 'IP:端口/服务名')
 
# 获取操作游标
    cursor = conn.cursor()
添加数据sql
# 添加数据sql
    sql_ora = ("INSERT INTO REIMBURSEMENT_ONE_HUNDRED_MILLION (NAME, SEX, AGE, PROVINCE, RANK, "
               "INCOME, BELONG_PROJECT, REPORT_TIME, APPROVER, APPROVAL_STATUS, SERVICE_RATING)"
               " VALUES (:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11)")
写入Oracle数据库中，当含有日期类型的数据，需要执行时间类型固定SQL
# 需要执行sql语句，将时间类型固定
    sql_ora_1 = "alter session set nls_timestamp_format='YYYY-MM-DD HH24:MI:SS.FF'"
    cursor.execute(sql_ora_1)
    conn.commit()
执行写入SQL语句时，使用for循环，循环次数为mysql提取到的列表的长度，需要设置步长控制性能
# 设置并发数量
    batch_size = 100000
 
    # 使用循环执行SQL语句
    for i in range(0, len(data), batch_size):
        cursor.executemany(sql_ora, data[i:i + batch_size])
        使用threading函数，进行并发执行，使用分隔，将500个并发分隔为20个线程一组（由于数据库的断开和重连会消耗时间，需要联系运维将数据库的连接时间设置长一点）
# 将之分为20个线程为一组
def thread_func_20():
    for i in range(20):
        oracle_con()

# 500个线程分为25组20个
def many_thread():
    for i in range(25):
        t = threading.Thread(target=thread_func_20())
        t.start()

源码


# -*- coding: utf8 -*-
import cx_Oracle
import os
import time
import threading
from datetime import datetime
import random
import faker

# 指定Oracle文件位置
cx_Oracle.init_oracle_client(lib_dir=r"E:\awork\rj\oracleeee\instantclient_19_24")

# 编码转换
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'

def lst_data():
    # 省份表
    str_prov = ("河北、山西、辽宁、吉林、黑龙江、江苏、浙江、安徽、福建、江西、山东、河南、湖北、湖南、广东、海南、"
                "四川、贵州、云南、陕西、甘肃、青海、台湾、内蒙古、广西、西藏、宁夏、新疆、北京、天津、上海、重庆、香港、澳门")
    lst_prov = str_prov.split('、')
    my_prov = random.choice(lst_prov)
    # print("省份：" + my_prov)

    # 职级表
    str_rank = ("神王级、混沌主宰、永恒真神级、虚空真神级、真神级、宇宙之主级、尊者级、不朽级、界主级、域主级、"
                "宇宙级、恒星级、行星际、国际级、国家级、省级、市州级、县级、村级、生产大队级")
    lst_rank = str_rank.split('、')
    my_rank = random.choice(lst_rank)
    # print("职级：" + my_rank)

    # 所属项目表
    str_prj = ("游泳、射箭、田径、羽毛球、拳击、篮球、皮划艇、自行车、马术、击剑、足球、竞技体操、"
               "艺术体操、蹦床、手球、曲棍球、柔道、现代五项、赛艇、帆船、射击、乒乓球、跆拳道、网球、铁人三项、"
               "排球、举重、摔跤、棒球、垒球、保龄球、台球、板球、体育舞蹈、壁球、武术、围棋、象棋、藤球、橄榄球、"
               "轮滑、空手道、卡巴迪、高尔夫球、龙舟")
    lst_prj = str_prj.split('、')
    my_prj = random.choice(lst_prj)
    # print("所属项目：" + my_prj)

    # 审批人员表
    lst_approve = ["张三", "李四", "王五", "刘鎏", "齐琦", "赵强"]
    my_approve = random.choice(lst_approve)
    # print("审批人：" + my_approve)

    # 审批状态表
    lst_status = ["通过", "驳回", "审批中"]
    my_status = random.choice(lst_status)
    # print("审批状态：" + my_status)

    # 服务评分表
    lst_rating = [1, 2, 3, 4, 5]
    my_rating = random.choice(lst_rating)
    # print("服务评分：{0}".format(my_rating))

    # 性别表
    lst_sex = ["男", "女"]
    my_sex = random.choice(lst_sex)
    # print("性别：" + my_sex)

    # 收入表
    my_income = random.randint(1000, 40000)
    # print("收入：{0}".format(my_income))

    # 年龄表
    my_age = random.randint(21, 55)
    # print("年龄：{0}".format(my_age))

    # 时间表
    lst_time = ['2023/9/1 0:00:00', '2023/9/2 0:00:00', '2023/9/3 0:00:00', '2023/9/4 0:00:00', '2023/9/5 0:00:00',
                '2023/9/6 0:00:00', '2023/9/7 0:00:00', '2023/9/8 0:00:00', '2023/9/9 0:00:00', '2023/9/10 0:00:00',
                '2023/9/11 0:00:00', '2023/9/12 0:00:00', '2023/9/13 0:00:00', '2023/9/14 0:00:00', '2023/9/15 0:00:00',
                '2023/9/16 0:00:00', '2023/9/17 0:00:00', '2023/9/18 0:00:00', '2023/9/19 0:00:00', '2023/9/20 0:00:00',
                '2023/9/21 0:00:00', '2023/9/22 0:00:00', '2023/9/23 0:00:00', '2023/9/24 0:00:00', '2023/9/25 0:00:00',
                '2023/9/26 0:00:00', '2023/9/27 0:00:00', '2023/9/28 0:00:00', '2023/9/29 0:00:00',
                '2023/9/30 0:00:00', ]
    my_time = random.choice(lst_time)
    # print("时间：{0}".format(my_time))

    # 姓名表
    f = faker.Faker("zh_CN")
    my_name = f.name()
    # print("姓名：" + my_name)
    # 循环生成数据
    data_lst = [(f.name(), random.choice(lst_sex), random.randint(21, 55), random.choice(lst_prov),
                 random.choice(lst_rank), random.randint(1000, 40000), random.choice(lst_prj),
                 random.choice(lst_time), random.choice(lst_approve), random.choice(lst_status),
                 random.choice(lst_rating)) for _ in range(200000)]

    return data_lst

def oracle_con():
    # 调用函数结果
    data = lst_data()
    print("随机列表读取成功" + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))
    # 创建ORACLE数据库连接
    conn = cx_Oracle.connect('用户名', '密码', 'IP:端口/服务名')

    # 获取操作游标
    cursor = conn.cursor()

    # 添加数据sql
    sql_ora = ("INSERT INTO REIMBURSEMENT_ONE_HUNDRED_MILLION (NAME, SEX, AGE, PROVINCE, RANK, "
               "INCOME, BELONG_PROJECT, REPORT_TIME, APPROVER, APPROVAL_STATUS, SERVICE_RATING)"
               " VALUES (:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11)")

    # 需要执行sql语句，将时间类型固定
    sql_ora_1 = "alter session set nls_timestamp_format='YYYY-MM-DD HH24:MI:SS.FF'"
    cursor.execute(sql_ora_1)
    conn.commit()

    # 设置并发数量
    batch_size = 10000

    # 使用循环执行SQL语句
    for i in range(0, len(data), batch_size):
        try:
            cursor.executemany(sql_ora, data[i:i + batch_size])
        except Exception as e:
            print(e)

    # 提交SQL语句
    conn.commit()

    # 关闭连接，释放资源
    cursor.close()
    conn.close()

    print("oracle数据写入成功：" + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())))

# 将之分为20个线程为一组
def thread_func_20():
    for i in range(20):
        oracle_con()

# 500个线程分为25组20个
def many_thread():
    for i in range(25):
        t = threading.Thread(target=thread_func_20())
        t.start()


# 使用并发执行
if __name__ == '__main__':
    many_thread()

其他几个点

        安装cx_oracle包需要Python3.10以下的版本；
        执行cx_oralce包需要配置Oracle环境，配置了环境变量，但还是找不到Oracle包，只有在代码中指定oracle文件位置；

# 指定Oracle文件位置
cx_Oracle.init_oracle_client(lib_dir=r"E:\awork\rj\oracleeee\instantclient_19_24")

Amir_zy
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
将Excel数据导入至Oracle数据库的技术研究.pdf
10-10
将Excel数据导入至Oracle数据库的技术研究.pdf
python连接oracle批量写入_oracle大数据量python导入实践-1w/s
weixin_39844549的博客
12-06 652
在项目中需要将一个80w+的csv数据(200+m)导入到oracle库，一开始使用的是Navicat for Oracle的导入工具。跑了五六分钟之后绝望了，因为才跑了2%，按这样的速度跑半天都跑不完。回想了一下老本行mysql，觉得Oracle应该也会有一个批量插入的高效率语句的写法。于是翻看了oracle的官方文档精通 Oracle+Python，第 1 部分：查询最佳应践一次多行大型的插入...
python脚本：从Excel读取数据插入oracle数据库
最新发布
a949368227的博客
06-13 778
把Excel文件绝对路径和数据表名称作为参数，传入insert_from_excel方法。1、Excel第一行，作为列名，需要与数据库字段名一致。4、把解压后的文件夹路径配置到path环境变量。3、把5个压缩包解压到同一个文件夹。1、访问oracle官网。2、针对于不同类型数据。
python 批量造数据写入Oracle数据库
a874045的博客
03-29 1300
python批量造数
python读取Excel插入oracle库；批量插入
weixin_45789608的博客
08-25 1284
程序虽然简单，但是网上关于oracledb库的教程少，因此仅仅3个问题就让我晕头转向。让我以为是不是数据库没连接上？是不是sql语句只能用单引号引起来？是不是execute函数传参传错了？好在最后还是成功排查出这三个问题，记录下来也是希望能够帮到其他人。
python连接oracle数据库及向数据库插入数据
qq_44522328的博客
09-19 3961
python连接oracle数据库及向数据库插入数据
python-批量插入数据
qq_42636236的博客
11-06 789
是不是在工作中经常会遇到各种数据需要我们处理然后将所需要的数据最终写入数据库这种事情呢？实例需求：如果已有人员权限表（已提供excel表），想查看这些人是否存在于数据库表user用户表中，如果存在则跳过，否则将这个用户插入到表中。（批量查询写入操作）这样就完成批量数据的写入了，是不是很简单？三、将已获取的数据源数据写入表中。一、连接mysql数据库。
mysql-oracle数据同步
09-12
2. **编程方式**：通过编写Java、Python或其他语言的脚本，连接MySQL和Oracle数据库，读取MySQL数据，处理后写入Oracle。这种方式需要对数据库API有深入理解，比如JDBC、ODBC等。 3. **数据库复制服务**：Oracle...
excel批量导入oracle数据库
11-22
本文将详细讲解如何使用Excel批量导入Oracle数据库，这是一个常见的需求，特别是在数据分析和报表生成等领域。 首先，我们需要了解Excel和Oracle数据库的基本概念。Excel是一款由Microsoft开发的电子表格应用程序，...
mysql和Oracle的数据同步demo案例
03-05
数据同步的方法通常包括异步复制、实时同步和批量导入导出等。在这个"mysql和Oracle的数据同步demo案例"中，我们可能涉及以下技术： 1. **异步复制**：通过配置数据库的复制功能，如MySQL的binlog和Oracle的...
python批量入库--cx_oracle
05-29
1、实现Python批量数据入库。 2、统一提交事物，保证数据的完整性
python实现自动化报表功能(Oracle/plsql/Excel/多线程)
09-18
Oracle是一个广泛使用的大型关系型数据库管理系统，而PL/SQL是其过程化语言的扩展，它允许开发者编写复杂的程序化存储过程，能够实现复杂的数据操作。在自动化报表中，利用Python脚本执行SQL语句，通过cx_Oracle模块...
python批量写入数据
konasoft的博客
05-25 1392
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 python批量写入文件内容前言一、使用步骤1.引入库 前言 提示：这里可以添加本文要记录的大概内容： python批量写入文件内容 提示：以下是本篇文章正文内容，下面案例可供参考 一、使用步骤 1.引入库 代码如下（示例）： #coding=utf-8 import re for i in range(10000,60000): with open('abc.txt',"a") as csvfile: cs.
python写入oracle数据库_python向oracle插入数据
weixin_39836876的博客
12-14 1982
#encoding:utf-8import pymongo#import threadconnection=pymongo.Connection('192.168.85.76',27017)#选择WikiAnswer库db=connection.WikiAnswerdef insert_user(start,end,status,closetime): # insert_user(10000,2...
使用Python连接Oracle数据库的基本操作
热门推荐
qq_53174498的博客
04-17 2万+
Python进行数据库连接基本操作 这里我们采用的是使用Oracle数据库进行相关操作在连接数据库之间，应下载相应的工具包cx_Oracle，在你安装的Python文件夹中找到script，在路径栏点击输入cmd回车进入命令行输入 pip install cx_Oracle 进行安装，工具包较小，下载较快，大概300kb。 安装好之后，打开Python，新建一个工作区。1.引入该工具包，使用import关键词，输入 import cx_Oracle 引入该工具包,运行看是否加载成功(结果区为>
第三章 Python批量插入数据至Oracle
weixin_45282113的博客
07-27 3222
现在正好在写用Python批量插入数据，所以就总结下代码和过程中出现的问题 代码如下： # coding=utf-8 import cx_Oracle from common.myconfig import conf def write_sql(): # 第一步：链接数据库 db_host = conf.get_str('ORACLE', 'host') print(db_host) db_port = conf.get_str('ORACLE', 'port')
Python实现批量导入数据到数据库
weixin_45505773的博客
10-25 1984
Python实现批量导入数据到数据库 excel数据批量导入mysql数据库，django后台数据批量导入 数据分析可视化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值