猿创征文｜ 我的开发者工具箱之数据分析师装备库

工欲善其事，必先利其器。
——《论语·卫灵公》

---

前言

分享本人在日常数据分析工作各阶段常用的工具，供小伙伴们参考。

---

一、对接需求阶段

当业务方有需求下发给我时，我会先根据他们的需求，分析其业务痛点，再从业务痛点着手，查看业务系统中的相关数据。在这个过程中，主要涉及到和业务方沟通、试算、对数等工作，我会用到如下工具。

（一）DBeaver

DBeaver是一款数据库工具，支持Mysql、PostgreSQL、Hive等。

• 优势所在：
• 支持大多数数据库，且驱动安装比较方便，数据分析涉及的数据源多种多样，目前所在公司没有数据湖，需要从各业务系统获取数据，涉及到Mysql、PostgreSQL、Hive等，都能完美支持。
• 具有联想输入功能，当输入库名、表名、字段名的前几个字母时，可以展示前几个字母相同的库名、表名和字段名，直接选择想要的即可，非常友好。
• 数据导入导出操作简单，将我们SQL查询的数据导出，可以更方便地与业务方核对。
• 可以保存历史SQL语句，方便后续复用。

（二）WPS

国产的办公软件，部分功能需要收费，可添加下文BI工具SmartBI组件制作透视分析图表，并在SmartBI系统展示或集成到钉钉等软件。

• 本人常用功能：
• 数据对比，用于快速区分相同数据。
• 数据透视，简单的数据筛选方便与业务方说明情况，试算核对。

二、设计阶段

当需求澄清完成后，就进入到整体设计阶段，这时需要关注的是业务系统或者其他数据源的结构及其之间的联系，编写设计文档，需求评审。为了更好的沟通，方便团队小伙伴理解，会用到画图工具和文档编辑工具。

（一）亿图图示

一个绘图软件，简单易用，形成的图形也简洁。

• 本人使用场景：
• 前期业务调研阶段用它来画业务系统的E-R图，有助于了解业务系统表与表之间的联系。
• 理解业务时用其绘制思维导图，串联各业务场景。

（二）Confluence

协同办公软件，可以集成Jira，文档编写时类似office word操作。

• 本人使用场景：
• 需求文档和设计文档编写，团队伙伴都可以看到文档，进行修改评论，当有人修改文档时，会提示刷新。

三、模型报表开发阶段

当设计完成，评审通过后，正式进入开发阶段，这个阶段是要将业务过程或者需求转化为代码，以下是我常用的编辑器和小工具。

（一）Notepad++

编辑器，可用于写代码，也可以用于写文档，本人主要用于写HiveQL和SQL脚本。

• 优势所在：
• 修改代码方便，SQL代码经常会涉及到修改一整列的情况，使用Alt + 鼠标点击下拉，可以选定整列进行整体修改。
• 自动对齐，写SQL代码时，如果一列代码有符号又有中英文，要AS重命名，经常会出现上下行AS无法对齐的情况，Notepad++会自动对齐，页面美观，强迫症患者的福音。

（二）PyCharm

编辑器，重型Python编辑器，本人主要用于写Pyhton脚本和Shell脚本。

• 使用感受：
• 非常多的主题，背景可以选择，背景还可以自定义。
• 可以自动检测代码语法问题。
• 方便地git push

（三）蛙蛙工具

一个在线工具网站，包含开发工具、转换工具，甚至还有毒鸡汤，工作疲惫时看一看，毒鸡汤那清奇的脑回路倒也甚是解乏。

• 本人主要使用模块：
• 开发工具中的crontab执行时间计算，生产中批任务使用Airflow调度，任务Schedule依赖于crontab命令，使用蛙蛙工具可以快速转译生成执行时间，方便设置调度周期。
• 开发工具中的正则表达式测试工具，可以简单测试正则表达式是否写对。

（四）Beyond Compare

比对工具，当脚本或者文档复杂，需要对比两个脚本或者文档间的差异时，可以派上用场。

• 使用感受：
• 两个脚本或者文档分两个版面显示，差异部分高亮，一目了然方便核对。
• 还会自动将相同部分排列于同一行，更清晰易懂。
• 脚本需要修改时可以直接点击将其中一个版面部分内容替换为另一个版面的内容。

四、可视化呈现阶段

当处理好数据后，需要做的就是数据可视化了，选择好的可视化工具可以更快捷地制作图表，精美且内容清晰的图表也能让用户有更好的使用体验。以下是比较常用的两款BI工具。

（一）Tableau

Tableau是一款功能比较丰富的BI工具，可以方便地绘制各种可视化图表。

• 优势所在：
• 老牌的BI工具，可视化样式丰富。
• 使用维度度量拖拽的方式形成图表，操作简单。
• 可以支持多种数据源的连接，比如Mysql、PostgreSQL等。

（二）SmartBI

国产的BI工具，售后服务相应快。

• 使用感受：
• 可以自由设置用户，并根据数据源分配权限，可以细化到用SQL来设置某个用户能看到的数据范围。
• 售后相应较快，提工单解决问题，有提供使用培训。
• 具有金融血统，金融方面的数据分析经验比较丰富。
• 类似帆软，可以用类Excel组件编辑，对用惯Excel画图的用户友好。

---

总结

工欲善其事，必先利其器。出自《论语·卫灵公》，子贡问为仁。子曰：“工欲善其事，必先利其器。居是邦也，事其大夫之贤者，友其士之仁者。”其意为，子贡问怎样修养仁德。孔子说：“工匠要做好工作，必须先磨快工具。住在一个国家，要侍奉大夫中的贤人，与士人中的仁人交朋友。”
开发者工具，就是我们的装备，装备的好坏，会直接影响开发的效率，以上的工具在我日常工作中用着比较顺手，各位小伙伴可以试试。