hyperscan使用教程

已于 2023-04-04 14:43:31 修改
阅读量3.4k 收藏 18
点赞数 2
分类专栏： # hyperscan 开源学习 文章标签： 开源软件 大数据
于 2023-04-04 14:42:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhjuan/article/details/129951898
版权

目录

文档说明

关键词

hyperscan介绍

块模式(Block Mode)

流模式(Streaming Mode)

向量模式(Vectored Mode)

hyperscan使用

运行环境

安装

主要接口详解

示例详解

知识点

相关资源

源码位置

接口介绍等

性能测试


文档说明

本文介绍的hyperscan主要能帮你解决以下问题：

（1）在一个字符串（连续的内存单元）中高速查找是否有一个字符串集中的一个或多个字符串；

（2）在一个字符串（不连续的内存单元）中高速查找是否有一个字符串集中的一个或多个字符串；

（3）在一个持续的流中高速查找是否有一个字符串集中的一个或多个字符串；

        典型的持续流，如：不断提交上来的网络数据包，字符串集中的字符串可能被分割在不同的数据包中。

hyperscan匹配速率：是pcre的数十倍，数据吞吐率能到>10Gbps，甚至能>100Gbps.

关键词

        多模匹配、多模式匹配、单模匹配、单模式匹配、流式匹配、自动机、自动状态机、AC( Aho-Corasick)自动机、BM（Boyer-Moore）算法、正则匹配、正则表达式。

hyperscan介绍

        hyperscan是intel推出的一款高性能正则表达式引擎，基于X86平台以PCRE为原型而开发，支持PCRE的大部分语法，用c语言开发，提供一套 C API 。

跟pcre区别：

        （1）hyperscan匹配速率是pcre的数十倍；

        （2）hyperscan支持多模式匹配，不像pcre只支持单条的正则表达式的匹配。

hyperscan支持多种匹配模式：块模式、流模式、向量模式。

块模式(Block Mode)

        对一段完整的数据块进行扫描匹配，扫描匹配结束即返回最终结果，也即所有匹配的结果都在该段完整的数据块中，匹配结果不跨数据块，是一种传统的匹配模式。

块模式在所有模式中，消耗资源最小，匹配效率最高。

流模式(Streaming Mode)

        当扫描的结果不在一段完整的数据块中时，如在在真实网络场景下，数据是分散在持续不断过来的数据包中的，我们叫它数据流，扫描的结果往往会跨数据包，在不同的数据包中都有自己的一部分。这时要匹配到正确的结果，如果用传统的匹配思路，可以把所有数据全部缓存下来，最终来一次匹配。但是这样的话不仅会增加内存的开销，还会使得匹配没有了实时性，因为数据流可能会持续很长的一段时间。

        Hyperscan的流模式，专门设计为对这种流数据的匹配。通过有限量的流内存对流匹配信息进行记录，在不缓存已过去流数据的情况下，保证能正确地匹配出所有结果，同时也不会有匹配不实时的问题。

向量模式(Vectored Mode)

向量模式适用以下场景：

（1）不是对一段完整的数据块进行扫描匹配，要扫描匹配的数据块分散在多个不连续的内存块中；

（2）这些不连续的数据，也不像流数据在时间上有到来的先后，而是在扫描前用户就能全部准备好。

hyperscan使用

运行环境

        hyperscan只能在x86平台上运行。

安装

        以下安装过程基于linux（centos）。

主要依赖安装

ragel安装

源码下载地址：

Ragel State Machine Compilerhttp://www.colm.net/open-source/ragel/

本次安装版本为：ragel-6.10.tar.gz

安装过程：

$ tar -xvf ragel-6.10.tar.gz    //解压

$ cd ragel-6.10

$ ./configure

$ make

$ sudo make install

$ ldconfig // 让动态链接库为系统所共享

boost安装

源码下载地址：

Boost C++ Libraries - Browse /boost at SourceForge.netFree peer-reviewed portable C++ source librarieshttps://sourceforge.net/projects/boost/files/boost

本次安装版本为：boost_1_69_0

安装过程：

$ tar -xvf  boost_1_69_0.tar.gz     // 解压

$ cd boost_1_69_0

$ ./bootstrap.sh

$ sudo ./b2 --with-iostreams --with-random install  // 只安装iostreams和random，当然也可以完整安装，安装过程会比较慢

$ ldconfig // 让动态链接库为系统所共享

hyperscan安装

源码下载地址：

Releases · intel/hyperscan · GitHubHigh-performance regular expression matching library - Releases · intel/hyperscanhttps://github.com/intel/hyperscan/releases

本次安装版本为：hyperscan-5.1.0

安装过程：

$ tar -xvf hyperscan-5.1.0.tar.gz

$ cd hyperscan-5.1.0

$ mkdir cmake-build

$ cd cmake-build

$ cmake -DBUILD_SHARED_LIBS=on -DCMAKE_BUILD_TYPE=Release ..

$ make -j8    // 多线程加速编译

$ sudo make install

$ ldconfig  // 让动态链接库为系统所共享

主要接口详解

从使用角度上介绍各匹配模式的主要接口，其他接口详见“相关资源”->“接口介绍等”。

块模式主要接口

（1）正则表达式编译函数

hs_error_t hs_compile(const char *expression, unsigned int flags, unsigned int mode, const hs_platform_info_t *platform, hs_database_t **db, hs_compile_error_t **error)

//单模正则匹配编译函数

expression：要被编译的正则表达式，也即搜索字符串集；

flags：表达式行为的标志，如：是否大小写敏感（HS_FLAG_CASELESS

）等，具体可参看hyperscan源码中的 hs_compile.h 文件；

mode：数据库匹配模式标志：

HS_MODE_BLOCK ：块模式

HS_MODE_STREAM  ：流模式

HS_MODE_VECTORED ：向量模式

platform：确定数据库的目标平台，一般写NULL，表示生成适合在当前主机平台上运行的数据库；

db：指向最终编译成的模式数据库指针；

error：错误返回，出错是，需用 hs_free_compile_error () 函数释放该缓冲区；

hs_error_t hs_compile_multi(const char *const *expressions, const unsigned int *flags, const unsigned int *ids, unsigned int elements, unsigned int mode, const hs_platform_info_t *platform, hs_database_t **db, hs_compile_error_t **error)

//多模正则匹配编译函数

expressions：指针数据，用于存储多个匹配表达式（pcre也是单模，一次只能编译一条正则表达式），不同于hs_compile函数的expression，是一个字符串指针；

（2）分配草稿空间

hs_error_t hs_alloc_scratch( const hs_database_t * db , hs_scratch_t ** scratch )

db：编译函数生成的数据库，如上面hs_compile生成的db；

scratch：指向草稿空间指针，用于返回分配的草稿空间；

（3）块扫描函数

hs_error_t hs_scan( const hs_database_t * db , const char * data , unsigned int length , unsigned int flags , hs_scratch_t * scratch , match_event_handler onEvent , void * context )

db：编译函数生成的数据库，如上面的hs_compile；

data：指向被扫描数据的指针；

length：被扫描数据的长度；

flags：预留，暂未使用；

scratch：数据库草稿空间，多线程检测时，每个检测线程都需要自己独立的草稿空间；

onEvent：匹配时间的回调函数，每触发一次匹配将调用一次改回调函数；

context：指向用户自定义数据，用于onEvent函数做响应的结果返回；

（4）释放草稿空间

hs_error_t hs_free_scratch(hs_scratch_t *scratch)

scratch：指向将被释放的草稿空间；

（5）释放编译数据库

hs_error_t hs_free_database(hs_database_t *db)

db：指向将被释放的模式数据库，如上面hs_compile生成的db；

流模式主要接口

主要流程参看，块模式，这里只列出之间的差异。

（1）正则表达式编译函数

（2）分配草稿空间

（3）打开数据流

hs_error_t hs_open_stream( const hs_database_t * db , unsigned int flags , hs_stream_t ** stream )

db：编译函数生成的数据库；

flags：预留，暂未使用；

stream：指向该函数生成的数据流；

（4）流扫描函数

hs_error_t hs_scan_stream( hs_stream_t * id , const char * data , unsigned int length , unsigned int flags , hs_scratch_t * scratch , match_event_handler onEvent , void * ctxt )

id ：hs_open_stream 函数放回的数据流；

其他参数同块模式的块扫描函数。

（5）释放草稿空间

（6）关闭数据流

hs_error_t hs_close_stream( hs_stream_t * id , hs_scratch_t * scratch , match_event_handler onEvent , void * ctxt )

id：hs_open_stream 函数放回的数据流；

scratch：由 hs_alloc_scratch () 分配的草稿空间。仅当 onEvent 回调也是 NULL 时才允许为 NULL；

onEvent：指向匹配事件回调函数的指针。如果为 NULL 指针，则不会返回匹配结果；

ctxt：指向用户自定义数据，用于匹配发生时返回结果；

（7）释放编译的数据库

向量模式主要接口

主要流程参看块模式，这里只列出之间的差异。

（1）正则表达式编译函数

（2）分配草稿空间

（3）向量扫描函数

hs_error_t hs_scan_vector( const hs_database_t * db , const char * const * data , const unsigned int * length , unsigned int count , unsigned int flags , hs_scratch_t * scratch , match_event_handler onEvent , void * context )

data：指针数组，指向要扫描数据；

length：对应指针数组，每个指针指向数据的大小；

count：data指针数组的大小，也即数组length的大小；

其他参数上面的其他接口函数。

（4）释放草稿空间

（5）释放编译的数据库

示例详解

块扫描

hyperscan源码的示例，位置：

        examples/simplegrep.c

示例功能简介：

        块模式匹配，运行参数argv[1]提供扫描串编译生成模式数据库，运行参数argv[2]为一个文件，文件内容为被扫描数据。

流扫描示例

hyperscan源码的示例，位置：

        examples/pcapscan.cc

示例功能简介：

        通过读取pcap文件（pcap文件可通过一些网络工具，如wireshark捕获数据包生成的文件），模拟实际网络环境做流模式匹配。

知识点

（1）做多线程匹配时，每个线程都需要有自己独立的草稿空间，分别调用hs_clone_scratch 和hs_free_scratch做对应的克隆和释放；

（2）匹配结果，为效率考虑，只提供匹配结果在被匹配字符串结束位置（即to：相对于字符串开始的偏移位置），匹配的回调函数：

int match_event_handler(unsigned int id, unsigned long long from, unsigned long long to, unsigned int flags, void *context )

要想得到起始位置from，在编译模式数据库时，需在对应的表达式上加上flag标志：HS_FLAG_SOM_LEFTMOST。

（3）流式匹配要想获得匹配的起始位置from，除了（2）中加上对应的flag标志外，还需在编译时加上特定mode标志，即下三个中的一个：

/**
 * Compiler mode flag: use full precision to track start of match offsets in
 * stream state.
 *
 * This mode will use the most stream state per pattern, but will always return
 * an accurate start of match offset regardless of how far back in the past it
 * was found.
 *
 * One of the SOM_HORIZON modes must be selected to use the @ref
 * HS_FLAG_SOM_LEFTMOST expression flag.
 */
#define HS_MODE_SOM_HORIZON_LARGE   (1U << 24)

/**
 * Compiler mode flag: use medium precision to track start of match offsets in
 * stream state.
 *
 * This mode will use less stream state than @ref HS_MODE_SOM_HORIZON_LARGE and
 * will limit start of match accuracy to offsets within 2^32 bytes of the
 * end of match offset reported.
 *
 * One of the SOM_HORIZON modes must be selected to use the @ref
 * HS_FLAG_SOM_LEFTMOST expression flag.
 */
#define HS_MODE_SOM_HORIZON_MEDIUM  (1U << 25)

/**
 * Compiler mode flag: use limited precision to track start of match offsets in
 * stream state.
 *
 * This mode will use less stream state than @ref HS_MODE_SOM_HORIZON_LARGE and
 * will limit start of match accuracy to offsets within 2^16 bytes of the
 * end of match offset reported.
 *
 * One of the SOM_HORIZON modes must be selected to use the @ref
 * HS_FLAG_SOM_LEFTMOST expression flag.
 */
#define HS_MODE_SOM_HORIZON_SMALL   (1U << 26)

相关资源

源码位置

Releases · intel/hyperscan · GitHubHigh-performance regular expression matching library - Releases · intel/hyperscanhttps://github.com/intel/hyperscan/releases

接口介绍等

官方英文资料

http://intel.github.io/hyperscan/dev-reference/api_files.html#file-hs-h

hyperscan_sys - RustHyperscan is a software regular expression matching engine designed with high performance and flexibility in mind.https://docs.rs/hyperscan-sys/0.2.1/hyperscan_sys/

翻译很好的中文资料

section2--hyperscan 的对应接口 - 高性能正则 - 计算机科学 | Echidna = Echidna 的小窝 = l am the bone of my swordhttp://www.echidna-sxh.com/hyperscan/hyperscan-api/

性能测试

【ClickHouse为什么这么快？】3. 正则匹配算法 re 和 hyperscan 介绍_51CTO博客_clickhouse正则匹配查询【ClickHouse为什么这么快？】3. 正则匹配算法 re 和 hyperscan 介绍，一、什么是正则表达式？如何匹配特定的字符串？为了解决这个问题，定义一淘描述字符串特征的的模式,用于查找、替换符合特征的字符串,或者用来验证某个字符串是否符合指定的特征——这个模式就是“正则表达式”。正则表达式最初的想法源于1940年，神经生理学家WaarrenMcCulloch与WalterPitts研究出了一种用数而简单的自...https://blog.51cto.com/u_15236724/5365574

zhjuan
关注
  • 2
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Hyperscan学习之源码安装---redhat
loving_le的博客
10-31 2372
Hyperscan开源库 最近项目上需要一个高性能的正则表达式匹配接口，想到了之前听人提到过的Hyperscan库，安装时候遇到了各种各样的问题，而且好多问题百度无解，特拿出来跟大家分享一下；
dpdk-hyperscan:使用dpdk进行超扫描
05-01
1.如何实现端口过滤 2.如何实现协议过滤 dpdk收包 nb_rx = rte_eth_rx_burst(portid, 0, pkts_burst, MAX_PKT_BURST); 解析包的五元组 l2fwd_parse_ipv4_5tuple(m, &tuple); 判断五元组中port与协议与给定值是否相同 if (tuple.port_src == get_ui_port_filter_src_port() || tuple.port_dst == get_ui_port_filter_dst_port()) { dump_pcap_write(dump_fd, m); continue; } if (tuple.proto == proto) { dump_pcap_write(dump_fd, m); continue; } 相同则将包数据写到
cpp-Hyperscan高性能正则表达式匹配库
08-16
Hyperscan是一个高性能的多重正则表达式匹配库。 它遵循常用libpcre库的正则表达式语法，但它是一个独立的库，具有自己的C API。
hyperscan在IDS和IPS产品中的应用
最新发布
2401_84466336的博客
06-03 851
hyperscan是基于intel的高速正则表达式匹配引擎，这个基于状态机（Automata)的引擎经过了多年开发经过不断优化与完善，效率非常之高，虽然没有pcre等对正则语法支持全面，但非常适用于网络设备。用户可以在网络设备数据面(Data Plane)使用hyperscan进行规则匹配，实现高性能DPI/lPS/IDS等应用开源代码：https://github.com/01org/hyperscan。
hyperscan库接口的使用
weixin_39291964的博客
03-05 696
Hyperscan库的使用主要涉及到几个关键步骤：编译正则表达式、创建数据库、执行匹配操作以及处理匹配结果。下面我将详细介绍这些步骤中涉及的主要接口和它们的使用方法。
Intel Hyperscan简介
RToax
06-03 1270
https://software.intel.com/content/www/us/en/develop/articles/introduction-to-hyperscan.html
Hyperscan的源码编译安装
每天分享一个编程小知识
03-30 1032
Hyperscan是一个正则表达式引擎，旨在提供高性能、同时匹配多个表达式的能力以及扫描操作的灵活性。要想实现高性能的字符串或者正则匹配，就可以使用它。操作系统版本： Ubuntu 20.04.5。Hyperscan版本： 5.3.0。
【hyperscan】示例解读 pcapscan
dengdi8115的博客
10-23 496
示例位置: <hyperscan source>/examples/pcapscan.cc参考：http://01org.github.io/hyperscan/dev-reference/api_files.html 1. 概述 此示例实现一个简单的数据包匹配性能测量程序。 pcapscan使用libpcap从pcap文件中读取数据包，并根据一个规则文件中指定的...
Hyperscan 之 simplegrep示例解读
hhd1988的专栏
02-05 802
源码下载： https://github.com/intel/hyperscan/releases/ 1. 概述 此示例实现一个grep的简化版本：指定一个正则表达式和文件，执行后依次输出匹配位置。 但这个简单示例并不支持从stdin读取数据，也不支持grep那丰富的命令行参数。 simplegrep演示了以下hyperscan概念： 单个模式的编译 使用最简单的hs_compile接口，仅支持一个正则表达式。支持多个表达式同时编译的API是hs_compile_multi Block方式的
java使用hyperscan代码及资源
05-07
Java 使用 Hyperscan 的技术详解 Hyperscan 是一个高性能的并行扫描库，主要用于网络和安全应用中的正则表达式匹配。它利用硬件加速功能，能够在大规模数据流中快速识别模式。在 Java 中集成 Hyperscan 可以极大地...
hyperscan-4.0.1.tar
03-28
hyperscan-4.0.1.ta的源码，可用于下载编译，和学习，
intel提供的开源检测引擎库，hyperscan
11-27
hyperscan提供的开源检测引擎库，2015年10月刚刚开源，这给使用DPI引擎的厂家多了一个参考选择，以往常用的库多采用PCRE，现在hyperscan可以基于DPDK提供30%的性能，对于X86架构的产品是个福音
FreeDPI-HyperScan 内核态开发手册v0.1.pdf
08-02
FreeDPI技术为下一代智能网络设备插上了“应用感知”的翅膀，让这些智能网络设备能够从流经它的网络数据包中分析出这些数据包所属的应用，进而为其所承载的业务提供更好的服务和更佳的用户上网体验。 随着大数据时代的来临，针对网络流量的数据采集和数据挖掘需求也变得越来越强烈，而FreeDPI技术可以为数据采集的“4W(Who、When、Where、What)”中最重要的“What”维度提供最丰富的信息。
hyperscan规则库生成及匹配代码
01-20
FileDBGen.gen生成，KK.regx匹配的，简单的demo，必须运行在linux环境中，个人纪录一下，引用网上开源项目包
rust-hyperscan:具有多个模式和流扫描的Rust的Hyperscan绑定
05-18
锈超扫描 是高性能的正则表达式匹配库。 用法 要使用，请在[dependencies]下将以下行添加到Cargo.toml： hyperscan = " 0.2 " 例子 use hyperscan :: prelude :: * ; fn main () { let pattern = pattern! { "test" ; CASELESS | SOM_LEFTMOST}; let db: BlockDatabase = pattern. build (). unwrap (); let scratch = db. alloc_scratch (). unwrap (); let mut matches = vec! []; db. scan ( "some test data" , & scratch, | id, from, to,
hyperscan函数说明
10-09
3. **扫描（Scanning）**: 使用生成的数据库，`hyperscan`可以对数据流进行扫描，找出与模式集中的正则表达式相匹配的子串。 4. **事件（Event）**: 当找到匹配项时，`hyperscan`会产生一个事件，包括匹配的模式ID...
Hyperscan 之 pcapscan示例解读
hhd1988的专栏
02-05 879
源码下载： https://github.com/intel/hyperscan/releases/ 1. 概述 此示例实现一个简单的数据包匹配性能测量程序。 pcapscan使用libpcap从pcap文件中读取数据包，并根据一个规则文件中指定的多个正则表达式对报文进行匹配，并输出匹配结果和一些统计信息。pcapscan使用并对比了两种匹配模式：BLOCK和STREAM。BLOCK模式时它对单个数据包进行匹配；而STREAM模式下它通过五元组将数据包进行简单分流，并对每条流中的数据进行匹配。STR
Hyperscan 5.1.0 安装
山塘小鱼儿的博客
04-14 1020
安装依赖ragel ragel源码下载地址 编译安装 $ tar -xvf ragel-6.10.tar.gz $ cd ragel-6.10 $ ./configure $ make $ sudo make install $ ldconfig 安装依赖boost boost官网，这里下载的是boost_1_69_0.tar.gz 编译安装，只需要安装iostreams和random就可以了 $ tar -xvf boost_1_69_0.tar.gz $ cd boost_1_69_
使用hyperscan检测域名合法性
08-11
要使用 Hyperscan 来检测域名的合法性，您需要先安装 Hyperscan 库，并编写相应的代码来进行匹配。以下是一个简单的示例代码，演示如何使用 Hyperscan 来检测域名的合法性： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <hs/hs.h> int main() { char domain[100]; printf("请输入一个域名："); scanf("%s", domain); // 编译正则表达式 const char* pattern = "^[a-zA-Z0-9]+([\\-\\.][a-zA-Z0-9]+)*\\.[a-zA-Z]{2,}([a-zA-Z0-9]*)$"; hs_database_t* database; hs_compile_error_t* compile_err; if (hs_compile(pattern, HS_FLAG_CASELESS, HS_MODE_BLOCK, NULL, &database, &compile_err) != HS_SUCCESS) { fprintf(stderr, "无法编译正则表达式：%s\n", compile_err->message); hs_free_compile_error(compile_err); exit(1); } // 创建匹配数据库 hs_scratch_t* scratch; if (hs_alloc_scratch(database, &scratch) != HS_SUCCESS) { fprintf(stderr, "无法创建匹配数据库\n"); hs_free_database(database); exit(1); } // 进行匹配 if (hs_scan(database, domain, strlen(domain), 0, scratch, NULL, NULL) == HS_SUCCESS) { printf("域名合法\n"); } else { printf("域名非法\n"); } // 释放资源 hs_free_scratch(scratch); hs_free_database(database); return 0; } ``` 此示例代码使用 Hyperscan 库中的函数来编译正则表达式，创建匹配数据库，并进行域名的匹配。正则表达式模式与之前的示例相同，用于匹配域名的格式。 请注意，为了使用 Hyperscan 库，您需要先下载和安装 Hyperscan。您可以从 Hyperscan 的官方网站获取最新版本的库文件和开发文档。在编译时，还需要将 Hyperscan 的头文件和库文件正确地链接到您的项目中。 此外，Hyperscan 是一款用于高性能多模式字符串匹配的库，其设计目标是在大规模数据流中实现快速匹配。在仅进行域名合法性检测的场景下，Hyperscan 可能会过于强大。如果仅需简单的正则表达式匹配，使用其他轻量级的正则表达式库可能更合适。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhjuan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值