phoenix 执行sql脚本

最新推荐文章于 2023-05-10 09:46:43 发布
あずにゃん
最新推荐文章于 2023-05-10 09:46:43 发布
阅读量2.3k
点赞数
分类专栏： phoenix 大数据文章标签： phoenix
本文链接：https://blog.csdn.net/zimiao552147572/article/details/88427173
版权
大数据同时被 2 个专栏收录
103 篇文章 27 订阅
订阅专栏
phoenix
0 篇文章 0 订阅
订阅专栏
日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
1.Phoenix执行sql脚本
    cd /root/phoenix/bin 
    ./psql.py node1,node2,node3:2181 xxx.sql

    ln -s /root/phoenix/bin/psql.py /usr/bin/psql
    psql node1,node2,node3:2181 xxx.sql

2.phoenix 交互界面
    phoenix node1:2181
    !tables
    select * from "表名/视图名";
    drop table "表名";
    drop view "视图名";
    !quit 

3.psql node1,node2,node3:2181 xxx.sql 表示执行 xxx.sql文件
  xxx.sql文件内容如下：
    create VIEW "itcast_adm_personas_hbase_20190210"(
    "user_id" varchar(100) primary key,
    "basicInfo"."user_name" VARCHAR(100),
    "basicInfo"."user_sex"  VARCHAR(100),
    "basicInfo"."user_birthday" VARCHAR(100),
    "basicInfo"."user_age"  VARCHAR(100),
    "basicInfo"."constellation" VARCHAR(100),
    "basicInfo"."province" VARCHAR(100),
    "basicInfo"."city" VARCHAR(100),
    "basicInfo"."city_level" VARCHAR(100),
    "basicInfo"."hex_mail" VARCHAR(100),
    "basicInfo"."op_mail" VARCHAR(100),
    "basicInfo"."hex_phone" VARCHAR(100),
    "basicInfo"."fore_phone" VARCHAR(100),
    "basicInfo"."op_phone" VARCHAR(100),
    "basicInfo"."add_time" VARCHAR(100),
    "basicInfo"."login_ip" VARCHAR(100),
    "basicInfo"."login_source" VARCHAR(100),
    "basicInfo"."request_user" VARCHAR(100),
    "basicInfo"."total_mark" VARCHAR(100),
    "basicInfo"."used_mark" VARCHAR(100),
    "basicInfo"."level_name" VARCHAR(100),
    "basicInfo"."blacklist" VARCHAR(100),
    "basicInfo"."is_married" VARCHAR(100),
    "basicInfo"."education" VARCHAR(100),
    "basicInfo"."monthly_money" VARCHAR(100),
    "basicInfo"."profession" VARCHAR(100),
    "basicInfo"."sex_model" VARCHAR(100),
    "basicInfo"."is_pregnant_woman" VARCHAR(100),
    "basicInfo"."is_have_children" VARCHAR(100),
    "basicInfo"."children_sex_rate" VARCHAR(100),
    "basicInfo"."children_age_rate" VARCHAR(100),
    "basicInfo"."is_have_car" VARCHAR(100),
    "basicInfo"."potential_car_user_rate" VARCHAR(100),
    "basicInfo"."phone_brand" VARCHAR(100),
    "basicInfo"."phone_brand_level" VARCHAR(100),
    "basicInfo"."phone_cnt" VARCHAR(100),
    "basicInfo"."change_phone_rate" VARCHAR(100),
    "basicInfo"."majia_flag" VARCHAR(100),
    "basicInfo"."majie_account_cnt" VARCHAR(100),
    "basicInfo"."loyal_model" VARCHAR(100),
    "basicInfo"."shopping_type_model" VARCHAR(100),
    "basicInfo"."figure_model" VARCHAR(100),
    "basicInfo"."stature_model" VARCHAR(100),
    "order"."first_order_time" VARCHAR(100),
    "order"."last_order_time" VARCHAR(100),
    "order"."first_order_ago" VARCHAR(100),
    "order"."last_order_ago" VARCHAR(100),
    "order"."month1_hg_order_cnt" VARCHAR(100),
    "order"."month1_hg_order_amt" VARCHAR(100),
    "order"."month2_hg_order_cnt" VARCHAR(100),
    "order"."month2_hg_order_amt" VARCHAR(100),
    "order"."month3_hg_order_cnt" VARCHAR(100),
    "order"."month3_hg_order_amt" VARCHAR(100),
    "order"."month1_order_cnt" VARCHAR(100),
    "order"."month1_order_amt" VARCHAR(100),
    "order"."month2_order_cnt" VARCHAR(100),
    "order"."month2_order_amt" VARCHAR(100),
    "order"."month3_order_cnt" VARCHAR(100),
    "order"."month3_order_amt" VARCHAR(100),
    "order"."max_order_amt" VARCHAR(100),
    "order"."min_order_amt" VARCHAR(100),
    "order"."total_order_cnt" VARCHAR(100),
    "order"."total_order_amt" VARCHAR(100),
    "order"."user_avg_amt" VARCHAR(100),
    "order"."month3_user_avg_amt" VARCHAR(100),
    "order"."common_address" VARCHAR(100),
    "order"."common_paytype" VARCHAR(100),
    "order"."month1_cart_cnt" VARCHAR(100),
    "order"."month1_cart_goods_cnt" VARCHAR(100),
    "order"."month1_cart_submit_cnt" VARCHAR(100),
    "order"."month1_cart_rate" VARCHAR(100),
    "order"."month1_cart_cancle_cnt" VARCHAR(100),
    "order"."return_cnt" VARCHAR(100),
    "order"."return_amt" VARCHAR(100),
    "order"."reject_cnt" VARCHAR(100),
    "order"."reject_amt" VARCHAR(100),
    "order"."last_return_time" VARCHAR(100),
    "order"."school_order_cnt" VARCHAR(100),
    "order"."company_order_cnt" VARCHAR(100),
    "order"."home_order_cnt" VARCHAR(100),
    "order"."forenoon_order_cnt" VARCHAR(100),
    "order"."afternoon_order_cnt" VARCHAR(100),
    "order"."night_order_cnt" VARCHAR(100),
    "order"."morning_order_cnt" VARCHAR(100),
    "category"."first_category_id" VARCHAR(100),
    "category"."first_category_name" VARCHAR(100),
    "category"."second_category_id" VARCHAR(100),
    "category"."second_catery_name" VARCHAR(100),
    "category"."third_category_id" VARCHAR(100),
    "category"."third_category_name" VARCHAR(100),
    "category"."month1_category_cnt" VARCHAR(100),
    "category"."month1_category_amt" VARCHAR(100),
    "category"."month3_category_cnt" VARCHAR(100),
    "category"."month3_category_amt" VARCHAR(100),
    "category"."month6_category_cnt" VARCHAR(100),
    "category"."month6_category_amt" VARCHAR(100),
    "category"."total_category_cnt" VARCHAR(100),
    "category"."total_category_amt" VARCHAR(100),
    "category"."month1_cart_category_cnt" VARCHAR(100),
    "category"."month3_cart_category_cnt" VARCHAR(100),
    "category"."month6_cart_category_cnt" VARCHAR(100),
    "category"."total_cart_category_cnt" VARCHAR(100),
    "category"."last_category_time" VARCHAR(100),
    "category"."last_category_ago" VARCHAR(100),
    "visit"."latest_pc_visit_date" VARCHAR(100),
    "visit"."latest_app_visit_date" VARCHAR(100),
    "visit"."latest_pc_visit_session" VARCHAR(100),
    "visit"."latest_pc_cookies" VARCHAR(100), 
    "visit"."latest_pc_pv" VARCHAR(100),
    "visit"."latest_pc_browser_name" VARCHAR(100),
    "visit"."latest_pc_visit_os" VARCHAR(100),
    "visit"."latest_app_name" VARCHAR(100),
    "visit"."latest_app_visit_os" VARCHAR(100),
    "visit"."latest_visit_ip" VARCHAR(100),
    "visit"."latest_city" VARCHAR(100),
    "visit"."latest_province" VARCHAR(100),
    "visit"."first_pc_visit_date" VARCHAR(100),
    "visit"."first_app_visit_date" VARCHAR(100),
    "visit"."first_pc_visit_session" VARCHAR(100),
    "visit"."first_pc_cookies" VARCHAR(100),
    "visit"."first_pc_pv" VARCHAR(100),
    "visit"."first_pc_browser_name" VARCHAR(100),
    "visit"."first_pc_visit_os" VARCHAR(100),
    "visit"."first_app_name" VARCHAR(100),
    "visit"."first_app_visit_os" VARCHAR(100),
    "visit"."first_visit_ip" VARCHAR(100),
    "visit"."first_city" VARCHAR(100),
    "visit"."first_province" VARCHAR(100),
    "visit"."day7_app_cnt" VARCHAR(100),
    "visit"."day15_app_cnt" VARCHAR(100),
    "visit"."month1_app_cnt" VARCHAR(100),
    "visit"."month2_app_cnt" VARCHAR(100),
    "visit"."month3_app_cnt" VARCHAR(100),
    "visit"."day7_pc_cnt" VARCHAR(100),
    "visit"."day15_pc_cnt" VARCHAR(100),
    "visit"."month1_pc_cnt" VARCHAR(100),
    "visit"."month2_pc_cnt" VARCHAR(100),
    "visit"."month3_pc_cnt" VARCHAR(100),
    "visit"."month1_pc_days" VARCHAR(100),
    "visit"."month1_pc_pv" VARCHAR(100),
    "visit"."month1_pc_avg_pv" VARCHAR(100),
    "visit"."month1_pc_diff_ip_cnt" VARCHAR(100),
    "visit"."month1_pc_diff_cookie_cnt" VARCHAR(100),
    "visit"."month1_pc_common_ip" VARCHAR(100),
    "visit"."month1_pc_common_cookie" VARCHAR(100),
    "visit"."month1_pc_common_browser_name" VARCHAR(100),
    "visit"."month1_pc_common_os" VARCHAR(100),
    "visit"."month1_hour025_cnt" VARCHAR(100),
    "visit"."month1_hour627_cnt" VARCHAR(100),
    "visit"."month1_hour829_cnt" VARCHAR(100),
    "visit"."month1_hour10212_cnt" VARCHAR(100),
    "visit"."month1_hour13214_cnt" VARCHAR(100),
    "visit"."month1_hour15217_cnt" VARCHAR(100),
    "visit"."month1_hour18219_cnt" VARCHAR(100),
    "visit"."month1_hour20221_cnt" VARCHAR(100),
    "visit"."month1_hour22223_cnt" VARCHAR(100)
    );

4.shell脚本自动生成用于在phoenix中执行的sql脚本
    #!/bin/sh
    #获取昨天的时间
    yesterday=`date -d '-1 day' "+%Y%m%d"`

    #指定运行哪天的数据
    if [ $1 ];then
        yesterday=$1
    fi

    table=itcast_adm_personas_hbase_$yesterday

    touch $table.sql
     
    echo 'create VIEW "'$table'"(
    "user_id" varchar(100) primary key,
    "basicInfo"."user_name" VARCHAR(100),
    "basicInfo"."user_sex"  VARCHAR(100),
    "basicInfo"."user_birthday" VARCHAR(100),
    "basicInfo"."user_age"  VARCHAR(100),
    "basicInfo"."constellation" VARCHAR(100),
    "basicInfo"."province" VARCHAR(100),
    "basicInfo"."city" VARCHAR(100),
    "basicInfo"."city_level" VARCHAR(100),
    "basicInfo"."hex_mail" VARCHAR(100),
    "basicInfo"."op_mail" VARCHAR(100),
    "basicInfo"."hex_phone" VARCHAR(100),
    "basicInfo"."fore_phone" VARCHAR(100),
    "basicInfo"."op_phone" VARCHAR(100),
    "basicInfo"."add_time" VARCHAR(100),
    "basicInfo"."login_ip" VARCHAR(100),
    "basicInfo"."login_source" VARCHAR(100),
    "basicInfo"."request_user" VARCHAR(100),
    "basicInfo"."total_mark" VARCHAR(100),
    "basicInfo"."used_mark" VARCHAR(100),
    "basicInfo"."level_name" VARCHAR(100),
    "basicInfo"."blacklist" VARCHAR(100),
    "basicInfo"."is_married" VARCHAR(100),
    "basicInfo"."education" VARCHAR(100),
    "basicInfo"."monthly_money" VARCHAR(100),
    "basicInfo"."profession" VARCHAR(100),
    "basicInfo"."sex_model" VARCHAR(100),
    "basicInfo"."is_pregnant_woman" VARCHAR(100),
    "basicInfo"."is_have_children" VARCHAR(100),
    "basicInfo"."children_sex_rate" VARCHAR(100),
    "basicInfo"."children_age_rate" VARCHAR(100),
    "basicInfo"."is_have_car" VARCHAR(100),
    "basicInfo"."potential_car_user_rate" VARCHAR(100),
    "basicInfo"."phone_brand" VARCHAR(100),
    "basicInfo"."phone_brand_level" VARCHAR(100),
    "basicInfo"."phone_cnt" VARCHAR(100),
    "basicInfo"."change_phone_rate" VARCHAR(100),
    "basicInfo"."majia_flag" VARCHAR(100),
    "basicInfo"."majie_account_cnt" VARCHAR(100),
    "basicInfo"."loyal_model" VARCHAR(100),
    "basicInfo"."shopping_type_model" VARCHAR(100),
    "basicInfo"."figure_model" VARCHAR(100),
    "basicInfo"."stature_model" VARCHAR(100),
    "order"."first_order_time" VARCHAR(100),
    "order"."last_order_time" VARCHAR(100),
    "order"."first_order_ago" VARCHAR(100),
    "order"."last_order_ago" VARCHAR(100),
    "order"."month1_hg_order_cnt" VARCHAR(100),
    "order"."month1_hg_order_amt" VARCHAR(100),
    "order"."month2_hg_order_cnt" VARCHAR(100),
    "order"."month2_hg_order_amt" VARCHAR(100),
    "order"."month3_hg_order_cnt" VARCHAR(100),
    "order"."month3_hg_order_amt" VARCHAR(100),
    "order"."month1_order_cnt" VARCHAR(100),
    "order"."month1_order_amt" VARCHAR(100),
    "order"."month2_order_cnt" VARCHAR(100),
    "order"."month2_order_amt" VARCHAR(100),
    "order"."month3_order_cnt" VARCHAR(100),
    "order"."month3_order_amt" VARCHAR(100),
    "order"."max_order_amt" VARCHAR(100),
    "order"."min_order_amt" VARCHAR(100),
    "order"."total_order_cnt" VARCHAR(100),
    "order"."total_order_amt" VARCHAR(100),
    "order"."user_avg_amt" VARCHAR(100),
    "order"."month3_user_avg_amt" VARCHAR(100),
    "order"."common_address" VARCHAR(100),
    "order"."common_paytype" VARCHAR(100),
    "order"."month1_cart_cnt" VARCHAR(100),
    "order"."month1_cart_goods_cnt" VARCHAR(100),
    "order"."month1_cart_submit_cnt" VARCHAR(100),
    "order"."month1_cart_rate" VARCHAR(100),
    "order"."month1_cart_cancle_cnt" VARCHAR(100),
    "order"."return_cnt" VARCHAR(100),
    "order"."return_amt" VARCHAR(100),
    "order"."reject_cnt" VARCHAR(100),
    "order"."reject_amt" VARCHAR(100),
    "order"."last_return_time" VARCHAR(100),
    "order"."school_order_cnt" VARCHAR(100),
    "order"."company_order_cnt" VARCHAR(100),
    "order"."home_order_cnt" VARCHAR(100),
    "order"."forenoon_order_cnt" VARCHAR(100),
    "order"."afternoon_order_cnt" VARCHAR(100),
    "order"."night_order_cnt" VARCHAR(100),
    "order"."morning_order_cnt" VARCHAR(100),
    "category"."first_category_id" VARCHAR(100),
    "category"."first_category_name" VARCHAR(100),
    "category"."second_category_id" VARCHAR(100),
    "category"."second_catery_name" VARCHAR(100),
    "category"."third_category_id" VARCHAR(100),
    "category"."third_category_name" VARCHAR(100),
    "category"."month1_category_cnt" VARCHAR(100),
    "category"."month1_category_amt" VARCHAR(100),
    "category"."month3_category_cnt" VARCHAR(100),
    "category"."month3_category_amt" VARCHAR(100),
    "category"."month6_category_cnt" VARCHAR(100),
    "category"."month6_category_amt" VARCHAR(100),
    "category"."total_category_cnt" VARCHAR(100),
    "category"."total_category_amt" VARCHAR(100),
    "category"."month1_cart_category_cnt" VARCHAR(100),
    "category"."month3_cart_category_cnt" VARCHAR(100),
    "category"."month6_cart_category_cnt" VARCHAR(100),
    "category"."total_cart_category_cnt" VARCHAR(100),
    "category"."last_category_time" VARCHAR(100),
    "category"."last_category_ago" VARCHAR(100),
    "visit"."latest_pc_visit_date" VARCHAR(100),
    "visit"."latest_app_visit_date" VARCHAR(100),
    "visit"."latest_pc_visit_session" VARCHAR(100),
    "visit"."latest_pc_cookies" VARCHAR(100), 
    "visit"."latest_pc_pv" VARCHAR(100),
    "visit"."latest_pc_browser_name" VARCHAR(100),
    "visit"."latest_pc_visit_os" VARCHAR(100),
    "visit"."latest_app_name" VARCHAR(100),
    "visit"."latest_app_visit_os" VARCHAR(100),
    "visit"."latest_visit_ip" VARCHAR(100),
    "visit"."latest_city" VARCHAR(100),
    "visit"."latest_province" VARCHAR(100),
    "visit"."first_pc_visit_date" VARCHAR(100),
    "visit"."first_app_visit_date" VARCHAR(100),
    "visit"."first_pc_visit_session" VARCHAR(100),
    "visit"."first_pc_cookies" VARCHAR(100),
    "visit"."first_pc_pv" VARCHAR(100),
    "visit"."first_pc_browser_name" VARCHAR(100),
    "visit"."first_pc_visit_os" VARCHAR(100),
    "visit"."first_app_name" VARCHAR(100),
    "visit"."first_app_visit_os" VARCHAR(100),
    "visit"."first_visit_ip" VARCHAR(100),
    "visit"."first_city" VARCHAR(100),
    "visit"."first_province" VARCHAR(100),
    "visit"."day7_app_cnt" VARCHAR(100),
    "visit"."day15_app_cnt" VARCHAR(100),
    "visit"."month1_app_cnt" VARCHAR(100),
    "visit"."month2_app_cnt" VARCHAR(100),
    "visit"."month3_app_cnt" VARCHAR(100),
    "visit"."day7_pc_cnt" VARCHAR(100),
    "visit"."day15_pc_cnt" VARCHAR(100),
    "visit"."month1_pc_cnt" VARCHAR(100),
    "visit"."month2_pc_cnt" VARCHAR(100),
    "visit"."month3_pc_cnt" VARCHAR(100),
    "visit"."month1_pc_days" VARCHAR(100),
    "visit"."month1_pc_pv" VARCHAR(100),
    "visit"."month1_pc_avg_pv" VARCHAR(100),
    "visit"."month1_pc_diff_ip_cnt" VARCHAR(100),
    "visit"."month1_pc_diff_cookie_cnt" VARCHAR(100),
    "visit"."month1_pc_common_ip" VARCHAR(100),
    "visit"."month1_pc_common_cookie" VARCHAR(100),
    "visit"."month1_pc_common_browser_name" VARCHAR(100),
    "visit"."month1_pc_common_os" VARCHAR(100),
    "visit"."month1_hour025_cnt" VARCHAR(100),
    "visit"."month1_hour627_cnt" VARCHAR(100),
    "visit"."month1_hour829_cnt" VARCHAR(100),
    "visit"."month1_hour10212_cnt" VARCHAR(100),
    "visit"."month1_hour13214_cnt" VARCHAR(100),
    "visit"."month1_hour15217_cnt" VARCHAR(100),
    "visit"."month1_hour18219_cnt" VARCHAR(100),
    "visit"."month1_hour20221_cnt" VARCHAR(100),
    "visit"."month1_hour22223_cnt" VARCHAR(100)
    );' > $table.sql

    psql node1,node2,node3:2181 $table.sql
あずにゃん
关注
0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
1
评论
phoenix 执行sql脚本

1.Phoenix执行sql脚本 cd /root/phoenix/bin ./psql.py node1,node2,node3:2181 xxx.sql ln -s /root/phoenix/bin/psql.py /usr/bin/psql psql node1,node2,node3:2181 xxx.sql2.phoenix 交互界面 ...
复制链接

扫一扫