大数据面试：Maxwell与DolphinScheduler 调度器

Maxwell

1.Maxwell 与 Canal 、FlinkCDC 的对比

1） FlinkCDC 、 Maxwell 、 Canal 都是主要用于实时系统中实时数据同步处理场景。

2.Maxwell 好处

支持断点续传。

全量初始化同步。

自动根据库名和表名把数据发往 Kafka 的对应主题。

3.Maxwell 底层原理

MySQL 主从复制。

4.全量同步速度如何

同步速度慢， 全量同步建议采用 Sqoop 或者 DataX。

5.Maxwell 数据重复问题

同步历史数据时， bootstrap 会扫描所有数据。

同时 maxwell 会监听 binlog 变化。

例如： 用 bootstrap 同步历史数据库时， 历史数据库中新插入一条数据， 这时 bootstrap 扫描到， maxwell 进程也监控到了， 这时就会出现数据重复问题。

DolphinScheduler 调度器

1.3.9 版本， 支持邮件 、 企业微信。

2.0.3 版本， 支持的报警信息更全一些， 配置更容易。

3.0.0 以上版本， 支持数据质量监控。

1.每天集群运行多少指标?

每天跑 100 多个指标， 有活动时跑 200 个左右。

2.任务挂了怎么办？

（1） 运行成功或者失败都会发邮件 、 发钉钉 、 集成自动打电话。

（2） 最主要的解决方案就是， 看日志， 解决问题。

（3） 报警网站睿象云， http://www.onealert.com/

（4） 双 11 和 618 活动需要 24 小时值班

3. DS 挂了怎么办？

看日志报错原因： 直接重启， 资源不够增加资源在重启。