StreamSets实战之路（十）-基础篇- StreamSets-数据流开发-微服务数据流设计

主要介绍StreamSets中微服务数据流设计，以mysql的CRUD操作为例，来设计微服务数据流。

  

微服务在当前已经是非常流行的技术，将大型或复杂的系统进行模块拆分成功能单一、组织灵活的微服务，从而降低系统的耦合性，提高系统的灵活性、高可用性、运行高效性等。为此，Streamsets也提供了微服务简单、快速的开发方案，在设计微服务时，只需通过现有的插件任意组合就可以设计出简单或复杂的微服务。

 

（1）创建一个微服务数据流

 

（2）会生成一个微服务数据流模板

 

（3）下面对生成的模板进行改进，并运行

 

 

该数据流主要的关键组件有REST Service、HTTP Router、JDBC Lookup、JDBC Tee、Send Response to Origin。

REST Service组件：

该组件是微服务的关键组件，让微服务对外提供一个REST Ful API，需要配置端口、APP ID、线程数、最大请求数据大小等：

 

HTTP Router组件：

该组件设置Http的路由，根据前端请求的不同路径进行路由。

 

JDBC Lookup组件：

该组件用于数据查询，主要设置jdbc的连接串、mysql的连接用户名和密码、设置查询语句、设置结果返回的方式

 

使用jdbc需要上传相关数据库的连接驱动，目前支持mysql、oracle等等

 

生成查询语句sql

 

JDBC Tee组件：

该组件用于数据增加、修改、删除，主要设置jdbc的连接串、mysql的连接用户名和密码、数据操作类型

 

Send Response to Origin组件：

将数据返回到Origin组件，并设置状态码为200。

 

（4）微服务访问测试

curl -i -X GET http://localhost:8000/rest/v1/searchlist --header "X-SDC-APPLICATION-ID:microservice"

HTTP/1.1 200 OK

Date: Fri, 26 Jun 2020 09:20:06 GMT

Content-Type: application/json

Transfer-Encoding: chunked

Server: Jetty(9.4.12.v20180830)



{"httpStatusCode":200,"data":[{"id":1,"name":"小明","age":12,"sex":"男"}],"error":[]}



curl -i -X POST http://localhost:8000/rest/v1/add --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2,"name":"小花","age":16,"sex":"女"}'

HTTP/1.1 200 OK

Date: Fri, 26 Jun 2020 09:21:47 GMT

Content-Type: application/json

Transfer-Encoding: chunked

Server: Jetty(9.4.12.v20180830)



{"httpStatusCode":200,"data":[{}],"error":[]}



curl -i -X GET http://localhost:8000/rest/v1/searchlist --header "X-SDC-APPLICATION-ID:microservice"

HTTP/1.1 200 OK

Date: Fri, 26 Jun 2020 09:22:28 GMT

Content-Type: application/json

Transfer-Encoding: chunked

Server: Jetty(9.4.12.v20180830)



{"httpStatusCode":200,"data":[{"id":1,"name":"小明","age":12,"sex":"男"},{"id":2,"name":"小花","age":16,"sex":"女"}],"error":[]}

这次查询会看到新增了一条数据



curl -i -X POST http://localhost:8000/rest/v1/update --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2,"name":".花","age":26,"sex":"女"}'

HTTP/1.1 200 OK

Date: Fri, 26 Jun 2020 09:24:12 GMT

Content-Type: application/json

Transfer-Encoding: chunked

Server: Jetty(9.4.12.v20180830)



{"httpStatusCode":200,"data":[{}],"error":[]}



curl -i -X POST http://localhost:8000/rest/v1/findbyid --header "X-SDC-APPLICATION-ID:microservice" -d '{"id":2}'

HTTP/1.1 200 OK

Date: Fri, 26 Jun 2020 09:25:45 GMT

Content-Type: application/json

Transfer-Encoding: chunked

Server: Jetty(9.4.12.v20180830)



{"httpStatusCode":200,"data":[{"id":2,"name":"小花","age":26,"sex":"女"}],"error":[]}

 

附：

连接需要在库中创建数据库名为test3，表名为student_tb，建表语句：

CREATE TABLE `student_tb` (

  `id` int(11) NOT NULL,

  `name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,

  `age` int(11) DEFAULT NULL,

  `sex` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

 

 

 

Streamsets实战之路正在更新中，尽情期待！！！

 

此文章为博主原创，转载请标明出处和原始链接，谢谢。