StreamSets实战之路（六）-基础篇- StreamSets-origin类组件使用

主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。

Origin类组件主要包含以下：

Amazon S3

Amazon SQS Consumer

Azure Data Lake Storage Gen1

Azure Data Lake Storage Gen2

Azure IoT/Event Hub Consumer

CoAP Server

Cron Scheduler // 任务调度组件，用于调度数据流

Directory // 文件目录组件，用于从文件目录下读取数据

Elasticsearch // ES源组件,用于从ES中读取数据

File Tail // 文件源插件，用于从文件尾源将读取数据行

Google BigQuery

Google Cloud Storage

Google Pub/Sub Subscriber

Groovy Scripting // Groovy脚本组件，自定义groovy脚本，功能强大

gRPC Client // Google RPC客户端组件，用于从gRPC服务器获取数据

Hadoop FS // hadoop 文件系统组件，用于从HDFS中读取数据，可用集群模式下读取数据

Hadoop FS Standalone // hadoop 文件系统组件，用于从HDFS中读取数据

HTTP Client // Http客户端组件，用于从Http服务器获取数据

HTTP Server // Http服务器组件，用于接收HTTP客户端的数据

JavaScript Scripting  // JavaScript脚本组件，自定义JavaScript脚本，功能强大

JDBC Multitable Consumer // JDBC多线程数据源组件，用于以JDBC方式读取数据，适用于可通过JDBC方式连接的数据库（例如：mysql、oracle等），该组件可用于多线程模式

JDBC Query Consumer  // JDBC数据源组件，用于以JDBC方式读取数据，适用于可通过JDBC方式连接的数据库（例如：mysql、oracle等）

JMS Consumer // JMS数据源组件，用于从JMS服务中消费数据

Jython Scripting // Jython脚本组件，自定义Jython脚本，功能强大

Kafka Consumer // Kafka数据源组件，用于从Kafka中消费数据

Kafka Multitopic Consumer // // Kafka多Topic数据源组件，用于从Kafka中消费数据，可用于指定多个topic进行消费，多线程消费

Kinesis Consumer // Kinesis数据源组件，用于从Kinesis中消费数据

MapR DB CDC

MapR DB JSON

MapR FS

MapR FS Standalone

MapR Multitopic Streams Consumer

MapR Streams Consumer

MongoDB // MongoDB数据源组件，用于从MongoDB中读取数据

MongoDB Oplog // MongoDB Oplog数据源组件，用于从MongoDB Oplog中读取数据

MQTT Subscriber // MQTT数据源组件，用于从MQTT中消费数据

MySQL Binary Log // MySQL Binary Log数据源组件，用于从MySQL Binary Log中读取数据

NiFi HTTP Server // NiFi HTTP 服务数据源组件，用于接收NiFi HTTP Client 发送的数据

Omniture

OPC UA Client

Oracle Bulkload // Oracle 批量加载插件，用于从多个Oracle表读取所有可用数据，可用于多线程

Oracle CDC Client

PostgreSQL CDC Client

Pulsar Consumer // Pulsar数据源组件，用于从Pulsar中消费数据

RabbitMQ Consumer //RabbitMQ数据源组件，用于从RabbitMQ中消费数据

Redis Consumer // Redis数据源组件，用于从Redis中读取数据

REST Service // REST 服务组件，用于微服务工作流设置，接收HTTP 请求

Salesforce

SDC RPC

SFTP/FTP/FTPS Client // FTP 客户端组件，用于从FTP服务中获取数据

SQL Server 2019 BDC Multitable Consumer

SQL Server CDC Client

SQL Server Change Tracking

Start Pipeline // 数据流启动组件，用于启动数据流

System Metrics // 系统指标源组件，用于从linux系统上获取CPU、内存等指标信息

TCP Server // TCP 服务组件，用于接收TCP Client发送的数据

Teradata Consumer

UDP Multithreaded Source //UDP多线程服务组件，用于接收UDP Client发送的数据

UDP Source // UDP 服务组件，用于接收UDP Client发送的数据

WebSocket Client // WebSocket客户端组件，用于从WebSocket服务获取数据

WebSocket Server // WebSocket服务组件，用于接收WebSocket Client发送的数据

Windows Event Log // Windows 事件日志组件，用于从Windows系统中获取事件日志，该组件尽可用于Edge数据流

  

使用方法：

 

注意：origin组件一个工作流只能存在一个origin组件。

 

Streamsets实战之路正在更新中，尽情期待！！！

此文章为博主原创，转载请标明出处和原始链接，谢谢。