利用flume增量采集关系数据库的配置

网上关于flume采集关系数据库如mysql的资料比较多，但是大部分都是复制粘贴，一错皆错，而且对于配置参数的介绍不太完整，或者未说明参数意义，由于最近在使用flume，所以在这里对配置参数简单总结一下。

这里只介绍sql-source的配置

agent.channels=ch1
agent.channels.ch1.type=memory


agent.sources=sql-source
agent.sources.sql-source.channels=ch1
agent.sources.sql-source.type=org.keedio.flume.source.SQLSource
agent.sources.sql-source.hibernate.connection.url=jdbc:mysql://172.16.1.127:3306/test
agent.sources.sql-source.hibernate.connection.user=root
agent.sources.sql-source.hibernate.connection.password=123456
agent.sources.sql-source.hibernate.connection.autocommit=true  #这个参数很重要，默认false,如果设为false就不会自动查询
agent.sources.sql-source.run.query.delay=5000  #查询间隔，单位毫秒
agent.sources.sql-source.custom.query=select * from test_table where id > $@$ order by id   #这里的$@$表示增量列上一次查询的值，记录在status文件中
agent.sources.sql-source.start.from=50000  #增量列的初始值
agent.sources.sql-source.status.file.path=/var/lib/flume
agent.sources.sql-source.status.file.name=sql-source.status