#!/bin/bash
source ./common.config
d_h_m=`date +%Y-%m-%d_%H:%M:%S`
day_and_hour=`date -d "${timespan}" +"%Y-%m-%d-%H"`
today=`date +%Y-%m-%d`
today_timespan=`date -d "${timespan}" +"%Y-%m-%d"`
url=$ad_url_prefix${day_and_hour}.log.gz.tar.gz
file=$ad_file_p${day_and_hour}.log.gz.tar.gz
if [ 2 -gt $# ]; then
echo -e "\033[31m please input the params like dir_path 0/1!!! \033[0m"
exit 1
fi
#测试要下载的文件是否存在
ret=`curl -I -m 10 -o /dev/null -s -w "%{http_code}" ${url}`
if [ ${ret} -eq 200 ]; then
echo -e "\033[32m ${file} downloading... \033[0m"
ret_down=`curl -o ${file} ${url}`
if [ -n "${ret_down}" ]; then
echo -e "\033[31m ${d_h_m} ft_idl adjust download data failed !\033[0m"
exit 1
fi
else
echo -e "\033[31m ${d_h
linux shell通过http协议获取数据并上传hdfs
最新推荐文章于 2023-07-12 09:04:45 发布
本文介绍了如何在Linux Shell脚本中使用curl命令通过HTTP协议获取数据,并探讨了利用配置文件提高脚本复用性的技巧。通过source命令加载common.config配置文件,将文件内容作为环境变量,简化脚本操作。
摘要由CSDN通过智能技术生成