Superset使用教程

最新推荐文章于 2024-02-15 21:05:17 发布

hellostack

最新推荐文章于 2024-02-15 21:05:17 发布

阅读量1.5w

点赞数 1

分类专栏：大数据文章标签： superset BI

本文链接：https://blog.csdn.net/zjh776/article/details/84999709

版权

大数据专栏收录该内容

7 篇文章 1 订阅

订阅专栏

一、简介

Superset在大规模分布式环境可伸缩使用，也可在容器中使用。可兼容多种web服务器 (Gunicorn, Nginx, Apache)、多种元数据引擎(MySQL, Postgres, MariaDB, …)、多种消息队列(Redis, RabbitMQ, SQS, …)、缓存层(Memcached, Redis, …)等。可被成百上千用户并发使用。Airbnb生产环境在K8s中使用了Superset，每日有600+活跃用户查看100k的图表。

Superset的作用：

对应有组目前的开发流程帮助有限
前端 1人兼职
后台 2人 -> 1人兼职
宏 1人 -> 模型组
直接给业务人员使用，提供交互式查询及图表分析
供其他基于数仓的系统集成

Superset的局限性：

不支持级联查询的图表
需要二次开发
文档较少

二、数据源Database

凡是有SqlAlchemy支持的数据源，superset都支持，包括下图：
superset支持数据库

Kylin：是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Druid：是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析
ClickHouse：是一个开源的面向联机分析处理(OLAP, On-Line Analytical Processing) 的列式存储数据库管理系统

创建数据源

Source -> Databases
点击加号（+）新增数据源
输入Sqlalchemy Uri
可以指定：

chart的超时时间
是否在SQL Lab中暴露
是否允许同步查询，默认选择，适合在web请求时间内（约小于1分钟）完成的查询
是否允许异常查询，需要配置Celery worker
是否允许csv上传，还需要在Extra中指定允许的schema
是否允许在SQL Lab中执行CREATE TABLE AS
是否允许在SQL Lab中执行非select的DML语句(UPDATE, DELETE, CREATE, …)
如果允许在SQL Lab中执行CREATE TABLE AS，强制让table都建立在哪个schema下
是否模拟登录用户，针对Presto和Hive
是否允许SQL Lab列出该数据库的所有schema，对于有大量table和view的数仓会很耗时
更多的数据库连接参数在Extra中配置，如schema

例子
本地postgresql数据库中，有一名为postgres的数据库，用户名postgres，密码postgres，现在要连接其中pd_data_investor_hx的schema。
则Sqlalchemy Uri为postgresql://postgres:postgres@localhost/postgres。把选项全部勾选。且extra为

{
    "metadata_params": {"schema":"pd_data_investor_hx"},
    "engine_params": {},
    "metadata_cache_timeout": {},
    "schemas_allowed_for_csv_upload": []
}

三、表Table

Sources -> Tables
点击加号（+）新增数据表
Database选择之前创建好的数据源，Table Name必须是数据源中对应真实的表名，表中必须包含一个Date或者Timestamp类型的字段【？】
成功添加后，会提示"As part of this two phase configuration process, you should now click the edit button by the new table to configure it." 即更多配置要在添加完成后，通过Edit进行修改。

Edit的Detail选项卡：

Sql：This fields acts a Superset view, meaning that Superset will run a query against this string as a subquery，将类似view一样替代table，即作为from子句。
Enable Filter Select：Whether to populate the filter’s dropdown in the explore view’s filter section with a list of distinct values fetched from the backend on the fly
Fetch Values Predicate：Predicate applied when fetching distinct value to populate the filter control component. Supports jinja template syntax. Applies only when Enable Filter Select is on.
描述
Owner
Main Datetime Column，导入Table时会自动默认填入一个Date或者Timestamp类型的字段
Default Endpoint：Redirects to this endpoint when clicking on the table from the table list
Offset：Timezone offset (in hours) for this datasource，时区偏移，默认0是UTC，UTC与格林尼治平均时(GMT, Greenwich Mean Time)一样,都与英国伦敦的本地时相同
Cache Timeout：表的缓存超时时间，0表示从不缓存，如果不特别设置则默认与数据库的超时时间一样
SQL Lab View：Whether the table was generated by the ‘Visualize’ flow in SQL Lab
Template parameters：A set of parameters that become available in the query using Jinja templating syntax

Edit的List Columns选项卡：
列出表的各列信息，包括别名、类型、Groupable、Filterable和Is temporal（据观察，char类型的字段会自动勾选Groupable和Filterable，Date或者Timestamp类型的字段会自动勾选Is temporal，这对后续配置Chart有影响），可以对列进行增删改。

Edit的List Metrics选项卡：
列出表的快捷度量，如名为count的快捷度量是对该表进行COUNT(*)查询，据观察，number类型的字段会自动有sum和avg，如sum__min_order_vol的快捷度量是进行SUM(min_order_vol)查询，求min_order_vol字段的总和。另外，还有一些不明选项：

D3 Format：d3 formatting string as defined here. For instance, this default formatting applies in the Table visualization and allow for different metric to use different formats
Is Restricted：Whether the access to this metric is restricted to certain roles. Only roles with the permission ‘metric access on XXX (the name of this metric)’ are allowed to access this metric

例子
导入表pd_data_investor_hx.acct_false_declaim_discriminate
在这里插入图片描述

四、Chart

Charts
点击加号（+）新增数据图
选择数据源，选择可视化类型

可视化类型

常用包括：

表格
- Table View：A basic html table that is sortable and searchable，组成项time、group by、not group by
- Time Table View：A data table with rich time-series related columns，组成项time，query（必填）
- Pivot Table：A pivot table view, define your rows, columns and metrics，组成项time，query（必填），透视表是二维矩阵
线条
- Time Series - Line Chart：A rich line chart component with tons of options，如Growth Rate
- Time Series - Multiple Line Chart：Pile on multiple line charts，如Multi Line
- Dual Axis Line Chart：A rich line chart with dual axis，如Average and Sum Trends
直方图
- Distribution - Bar Chart：A good old bar chart，如Genders by State
- Time Series - Bar Chart ：A bar chart where the x axis is time
- Histogram
堆积图
- Time Series - Stacked：A rich stack area chart
网络图
- Force-directed Graph：An animated directed force layout graph visualization，如Energy Force Layout
饼图
- Pie Chart：Annoy visualization snobs with this controversial pie chart
控件
- Filter Box：A multi filter, multi-choice filter box to make dashboards interactive

注意，在一个Chart中对数据源表做的任何修改，都是全局生效的：

The data source configuration exposed here affects all the charts using this datasource. Be mindful that changing settings here may affect other charts in undesirable ways.

可生成外链，分享给别人；也可通过iFrame嵌入到别的网页中。