c++ curl 的简单使用和从网页上抓取图片的代码

最新推荐文章于 2024-05-12 22:49:32 发布
最新推荐文章于 2024-05-12 22:49:32 发布
阅读量3k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglpql/article/details/38090361
版权
1. 简单配置

  • 安装curl
  • apt-get curl 
  • 安装c++的库 libcurl4-openssl-dev
  • apt-get libcurl4-openssl-dev

2. 写代码时几个重要函数的介绍

  • curl_easy_init () / curl_easy_cleanup ()
  • CURLcode curl_easy_setopt(CURL *handle, CURLoption option, parameter) 
  • 这个函数最重要；http://curl.haxx.se/libcurl/c/curl_easy_setopt.html
  • CURLOPT_URL : 第三个参数设置为想要访问的URL
  • CURLOPT_HEADER : 文件头部信息是否可见第三个参数为不可见0
  • CURLOPT_HEADERFUNCTION : 当接收到头部信息时调用设置的回调函数
  • CURLOPT_VERBOSE : 是否报告异常0不接收
  • CURLOPT_TIMEOUT : 设置CURL允许执行的最长秒数
  • CURLOPT_DNS_CACHE_TIMEOUT : 设置超时，默认的DNS cache的超时时间为60秒
  • CURLOPT_WRITEFUNCTION : 设置内容写回的回调函数
最低0.47元/天 解锁文章
lq.kr
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用CURL抓取网页数据
11-05
例如，使用CURL抓取一个网页的基本命令如下： ```bash curl http://example.com ``` 这会将`http://example.com`的HTML内容打印到终端。为了将数据保存到文件，我们可以使用`-o`或`--output`选项： ```bash curl ...
C/C++编程：curl使用
OceanStar的博客
03-08 5511
静默与冗长 Verbose 如果curl命令没有执行或返回您期望的结果，您的第一反应应该始终是使用-v /——verbose选项运行该命令以获取更多信息。 例如，让我们看看curl在尝试一个简单的HTTP示例(将下载的数据保存到名为“saved”的文件中)时可能会说什么: curl -v http://example.com -o saved * Rebuilt URL to: http://example.com/ 这告诉我们curl现在尝试连接到这个IP地址。这意味着名称“example.com”已
c++ curl get 访问网页（post关于curl 的文章都有就不介绍了）
chenghu2439的专栏
11-12 6762
CURL* pEasyHandle = InitCurl(); CURLcode code; if(NULL == pEasyHandle) { //curl_global_cleanup(); return false; } char* szpage = "www.baidu.com"; curl_easy_setopt(pEasyHandle, CURLOPT_UR
2024年C C++最全C语言curl实现FTP上传、下载、获取文件信息(2)，2024年最新手慢无
最新发布
2401_84976212的博客
05-12 921
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新如果你需要这些资料，可以戳这里获取} /*************************************************************************** Project
C++ 用libcurl库进行http通讯网络编程
理性的幻想
11-20 6908
转自 http://www.cnblogs.com/moodlxs/archive/2012/10/15/2724318.html 目录索引： 一、LibCurl基本编程框架 二、一些基本的函数 三、curl_easy_setopt函数部分选项介绍 四、curl_easy_perform 函数说明（error 状态码） 五、libcurl使用的HTTP消息头 六、获
CURL采集图片代码
努力奔跑的博客
02-24 442
getImg();//调用函数 function getImg(){ $ch = curl_init();//初始化 $url = 'http://niemimi.com/';//图片网站 curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $res = c
PHP下载mp3文件, 图片等到本地
免费天气预报接口 - 天气api
10-22 1013
//下载文件 $url = 'http://xxx.com/99248982.mp3'; $ch = curl_init($url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1); $raw...
curl 库文件，可用于C++ https 通信
01-23
通过这个库，开发者可以轻松地实现文件上传、下载、网页抓取等功能。 总结，curl库文件是C++开发中不可或缺的工具，它极大地简化了网络通信的复杂性，提供了高效、安全的网络数据传输方案。无论是进行简单的HTTP...
C++实现网页抓取
04-13
在IT领域，网页抓取（Web Scraping）是一项重要的技术，它允许我们自动化地从互联网上提取大量数据。本教程将介绍如何使用C++语言来实现一个基础的网页抓取程序。C++作为一门强大的系统级编程语言，可以提供高效且...
c++爬取网页的HTML代码
07-05
在IT领域，网络爬虫是一种常见的技术，用于自动地抓取网页内容，通常是HTML代码，以便分析、存储或处理。本篇文章将详细讲解如何使用C++语言来实现这个功能，并探讨涉及的相关知识点。 首先，我们需要了解C++并不...
WebScraper:使用libcurl API从网页上刮取库存数据
04-18
WebScraper是一个基于C++的项目，利用libcurl API来实现网页数据的抓取，特别是针对库存数据。libcurl是一个强大的URL传输库，它支持多种网络协议，包括HTTP、HTTPS、FTP等，使得开发者能够方便地从网页上获取信息。...
windows下的CURL上传下载图片
12-07
windows下C++利用CURL进行上传下载图片功能代码，主要说明可查看压缩包内的ReadMe说明文档，供初学者借鉴使用
使用libcurl库获取网页源码
weixin_30526593的博客
04-12 253
libcurl真是个好东西，不过我以前C/C++学得太不扎实，以致想写个返回字符串的函数都为难。由于不同网页的大小不一，有可能有的网页只有十来K，有的网页却有200多K，如果分配一个200多K的静态变量，这样又太不划算了，何况还没测试频繁分配这样大的静态变量会有什么后遗症，所以只好将下载的网页源码保存到文件了。 下面是一个最简单的用libcurl库获取网页源码并保存到文件的实例： ...
【小沐学C++】libcurl实现HTTP/HTTPS请求
爱看书的小沐
07-08 5141
libcurl 是一个免费且易于使用的客户端 URL 传输 库，支持DICT，FILE，FTP，FTPS，GOPHER，GOPHERS，HTTP，HTTPS， IMAP， IMAPS， LDAP， LDAPS， MQTT， POPP3， POP3S， RTMP， RTMPS， RTSP， SCP， SFTP， SMB、SMBS、SMTP、SMTPS、TELNET 和 TFTP。
C++抓网页
king_road的专栏
12-04 1242
<br /><br />#include<windows.h><br />#include<Wininet.h><br />#include<iostream><br />#include<fstream><br />#include<string><br />#pragma comment(lib,"WinInet.lib")<br />using namespace std;<br />int main()<br />{<br />    HINTERNET hINet, hHttpFile;    
C++ 以字节流方式读取图片
ZDT_zdh的博客
05-28 4091
// FILE * fp = NULL; char * pFileData; int file_size=0; fp = fopen("1.jpg", "rb" ); if(fp!=NULL) { fseek( fp, 0, SEEK_END ); file_size = ftell( fp ); f...
Linux文件I/O编程（二）
hello
10-18 450
目录 实现cp指令 修改文件某字段内容 写一个整数到文件 写结构体数组到文件 标准C库文件I/O函数 标准C库函数（fopen、fwrite、fread、fseek、fclose） 实现cp指令 文件名通过参数传入，打开文件 —>读取内容到缓冲区—>缓冲区内容写入目标文件。 #include <stdio.h> #include <string.h> #include <stdlib.h> #include <sys/types.h.
写C++代码 实现从指定网页中抓取中文写作素材
06-10
抓取网页内容需要用到网络编程和HTML解析技术，这里给出一个基于C++的示例代码，使用了libcurl和libxml2库： ```cpp #include <curl/curl.h> #include <libxml/HTMLparser.h> #include <iostream> #include <string> #include <vector> // 回调函数，处理libcurl返回的网页内容 static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp) { size_t realsize = size * nmemb; std::string* str = (std::string*)userp; str->append((char*)contents, realsize); return realsize; } // 解析HTML内容，提取中文文本 static void ParseHtml(const std::string& html, std::vector<std::string>& result) { htmlDocPtr doc = htmlReadDoc((xmlChar*)(html.c_str()), NULL, NULL, HTML_PARSE_NOERROR | HTML_PARSE_NOWARNING); if (!doc) { std::cerr << "Failed to parse HTML" << std::endl; return; } xmlNodePtr cur = xmlDocGetRootElement(doc); while (cur && cur->type != XML_ELEMENT_NODE) { cur = cur->next; } while (cur) { if (cur->type == XML_ELEMENT_NODE) { if (xmlStrcmp(cur->name, (const xmlChar*)"script") == 0 || xmlStrcmp(cur->name, (const xmlChar*)"style") == 0) { // 忽略脚本和样式标签 cur = cur->next; continue; } xmlChar* text = xmlNodeGetContent(cur); if (text) { std::string str = (char*)text; int len = str.length(); for (int i = 0; i < len; i++) { if (str[i] >= 0x4e00 && str[i] <= 0x9fa5) { // 只保留中文字符 result.push_back(str.substr(i, 1)); } } xmlFree(text); } } cur = cur->next; } xmlFreeDoc(doc); } int main(int argc, char** argv) { if (argc < 2) { std::cerr << "Usage: " << argv[0] << " url" << std::endl; return 1; } CURL* curl = curl_easy_init(); if (!curl) { std::cerr << "Failed to initialize libcurl" << std::endl; return 1; } std::string html; std::vector<std::string> result; curl_easy_setopt(curl, CURLOPT_URL, argv[1]); curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback); curl_easy_setopt(curl, CURLOPT_WRITEDATA, &html); CURLcode res = curl_easy_perform(curl); if (res != CURLE_OK) { std::cerr << "Failed to fetch URL: " << curl_easy_strerror(res) << std::endl; curl_easy_cleanup(curl); return 1; } ParseHtml(html, result); for (const auto& str : result) { std::cout << str; } std::cout << std::endl; curl_easy_cleanup(curl); return 0; } ``` 这个代码可以从命令行接收一个网页链接作为参数，抓取网页内容并解析出中文文本，输出到标准输出。你可以根据自己的需求修改代码，比如改为从文件中读取链接列表，抓取多个网页的内容等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值