python插入es一百万条测试数据

最新推荐文章于 2023-11-03 00:01:28 发布

zhuzebi

最新推荐文章于 2023-11-03 00:01:28 发布

阅读量709

点赞数 2

文章标签： python elasticsearch

本文链接：https://blog.csdn.net/zhuzebi/article/details/114747200

版权

本文介绍如何使用Python结合Faker模块，高效地向Elasticsearch中插入一百万条模拟的随机测试数据，详细阐述了相关代码实现过程。

摘要由CSDN通过智能技术生成

用到了Faker模块，用于模拟随机测试数据

直接上代码

import datetime
import os
import random

import requests

from faker import Faker

import time
from elasticsearch import Elasticsearch
from elasticsearch import helpers
from elasticsearch_dsl.connections import connections

# Elasticsearch 服务器,测试用,实际部署依据环境变量传入
ELASTICSEARCH_HOSTS = [os.environ.get("ELASTICSEARCH_HOSTS", default='127.0.0.1:9200')]

# Elasticsearch 验证密码
ELASTICSEARCH_AUTH = os.environ.get("ELASTICSEARCH_AUTH", default=None)
if ELASTICSEARCH_AUTH:
    user, passwd = ELASTICSEARCH_AUTH.split(":")
    ELASTICSEARCH_AUTH = (user, passwd)
connections.create_connection(hosts=ELASTICSEARCH_HOSTS, http_auth=ELASTICSEARCH_AUTH)
es = Elasticsearch(ELASTICSEARCH_HOSTS, http_auth=ELASTICSEARCH_AUTH)

f = Faker('zh_CN')


def timer(func):
    def wrapper(*args, **kwargs):
        start = time.time()
        res &