python3 ---读txt选择所需数据或其他信息,并将数据导入Mysql数据库

读txt选择所需数据或其他信息,将数据导入Mysql数据库

要实现这个功能,我们先来屡屡思路:

1.找到要读取的文件名

2.读取文件内容后使用正则选出所需值

3.将所所需数据导入mysql数据

大概是这么个思路,ps:中间却有很多小细节

第一步,获取文件名:


知识点os.walk:os.walk通过在目录树中游走输出在目录中的文件名,向上或者向下。一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。

第二步,遍历文件并使用正则选出所需值:


知识点:1.m =str(f.readlines()),正则匹配的是字符串,所以要将读取到的txt内容转换成字符类型哦

             2.正则表达式re.findall()用法:匹配多处正则,即查找全部RX bytes:(\d+)中的数值,ps返回的是()中的数值

ps:数值不在列表中,则插入对应位置


这个点要吐槽下,j in list2返回值:True or False,判断元素是否存在列表中。刚开始没想到这个方法,好囧。

第三步:导入数据(哎呦呦重点哦)

1.将所需内容写入txt文件

2.将数据改为固定格式

3.批量导入数据

a.这个没啥可说的,要说的就是“a”--追加写入


b.数据格式(敲黑板,当初重点卡在这里),因为上面数据是以元组形式写入txt的。而导入数据库格式是[(*,*,*,*,*),(*,*,*,*,*),(*,*,*,*,*)...](一个列表,列表每项是一个元组),而txt文本是这样子的,直接读取又无法转换格式


问题来了,怎么转换成这种格式呢,因为它是以字符串读取txt内容的,即获取的“('129584883789', '0', '0', '1', '805698509044652', '353610602053941', '1799686896', '186692267035', '0', '45262516465', .....”都是字符形式,和我导入数据库格式可不一样哦。

方法来了,第一使用replace('(', '')方法,先去除“(“和”)”以及“\n”,同样方法再去除‘’(单引号),这样我们能得到一个这样的数列

“129584883789, 0, 0, 1,805698509044652, 353610602053941, 1799686896, 186692267035, 0,45262516465”这里就可以看到是我们想要的数据。

第二,使用ss=tuple([str(j) for in sj.split(',')])方法。以“,”号分隔,将字符串转换成元组,

输出:[(129584883789, 0, 0, 1,805698509044652, 353610602053941, 1799686896, 186692267035, 0,45262516465),(129584883709, 0, 0, 0,805698509044234, 353610602053941, 1799686896, 186692267035, 0,4526251614),(.....),.....]

完美解决!!!!!


c.数据准备好了,先连接上我们的数据库,在查看下我们要导入的数据库的库名是否存在,若不存在首先要创建出来,再进行导入。

知识点:sql语句中,数据如果有固定类型就写固定类型的,如果没有就是要%s占位吧

       cursor.extcutemany()批量导入多条数据,数据格式为[(),(),(),(),()....]

运行一下,哇喔!插入数据成功喽!!!!

记录一下学习python之路,新手的我加油吧!!

ps:第一次写代码呢,python3的mysql数据库模块是pymysql



  • 3
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在Python3中,要将Excel数据导入MySQL数据库,您可以使用以下步骤: 1. 安装所需的库:您需要安装pandas库来处理Excel数据,以及pysql库用于将数据导入MySQL数据库。您可以使用以下命令来安装这些库:`pip install pandas pysql`. 2. 导入所需的库:在Python脚本中,您需要导入pandas和pysql库,如下所示: ``` import pandas as pd import pymysql ``` 3. 取Excel数据:使用pandas库中的`read_excel()`函数取Excel文件中的数据,并将其存储在一个DataFrame中。例如: ``` df = pd.read_excel('data.xlsx') ``` 4. 创建与MySQL数据库的连接:使用pymysql库中的`connect()`函数创建与MySQL数据库的连接,并指定要连接的主机、用户名、密码和数据库名称等信息。例如: ``` conn = pymysql.connect(host='localhost', user='root', password='your_password', database='your_database') ``` 5. 将数据导入MySQL数据库:将DataFrame中的数据逐行插入到MySQL数据库中。您可以使用pandas库中的`iterrows()`函数来遍历DataFrame中的每一行,并使用pymysql库中的`cursor()`方法执行SQL插入语句。例如: ``` cursor = conn.cursor() for index, row in df.iterrows(): sql = "INSERT INTO table_name (column1, column2, ...) VALUES (%s, %s, ...)" cursor.execute(sql, tuple(row)) conn.commit() ``` 其中,`table_name`是您要将数据插入的MySQL表的名称,`column1, column2, ...`是表中的列名,`%s, %s, ...`是插入的值占位符。 6. 关闭连接:在数据导入完成后,记得关闭MySQL数据库连接。例如: ``` conn.close() ``` 这样,您就可以使用Python3将Excel数据导入MySQL数据库了。希望对您有所帮助! ### 回答2: 要将Excel数据导入MySQL,可以使用Python3的pandas和pymysql库。 首先,需要安装pandas和pymysql库。可以通过以下命令在终端中安装它们: ``` pip install pandas pip install pymysql ``` 接下来,可以使用以下代码将Excel数据导入MySQL数据库中: ```python import pandas as pd import pymysql # 连接MySQL数据库 conn = pymysql.connect(host='localhost', user='username', password='password', database='database_name') # 取Excel文件 dataframe = pd.read_excel('data.xlsx') # 将数据写入MySQL数据库 dataframe.to_sql('table_name', conn, if_exists='replace', index=False) # 关闭数据库连接 conn.close() ``` 在上述代码中,需要根据实际情况修改数据库连接的参数,包括主机名(host)、用户名(user)、密码(password)和数据库名(database_name)等。同时,还需要指定Excel文件的路径和文件名。其中,`if_exists='replace'`表示如果表已存在,则会先删除原表数据再插入新数据,`index=False`表示不将数据的索引写入数据库中。 通过运行以上代码,Excel数据将会成功导入MySQL数据库中。 ### 回答3: 要使用Python3将Excel数据导入MySQL数据库,可以按照以下步骤进行操作: 1. 首先,确保已经安装了所需Python库,包括pandas和pymysql。可以使用以下命令进行安装: ``` pip install pandas pymysql ``` 2. 导入所需的库: ```python import pandas as pd import pymysql ``` 3. 连接到MySQL数据库: ```python conn = pymysql.connect(host='localhost', user='root', password='password', database='database_name') ``` 4. 取Excel文件数据: ```python data = pd.read_excel('file_path.xlsx') ``` 5. 将数据导入MySQL数据库的表中: ```python data.to_sql('table_name', conn, if_exists='append', index=False) ``` 这个步骤将Excel数据插入到名为table_name的表中。如果该表不存在,则会创建一个新表。 6. 关闭数据库连接: ```python conn.close() ``` 以上是使用Python3将Excel数据导入MySQL数据库的基本步骤。需要注意的是,确保Excel文件数据库连接信息正确无误,并根据实际情况修改代码。另外,该方法适用于小数据量的导入操作。如果要处理大量数据,可能需要考虑使用其他方法来提高效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值