使用HttpWebRequest和HttpWebResponse实现模拟登录需要登陆后才可以访问的页面

最新推荐文章于 2023-09-16 15:29:56 发布

猫不想吃鱼

最新推荐文章于 2023-09-16 15:29:56 发布

阅读量1.6k

点赞数 3

分类专栏： .net 文章标签： httpwebrequest .net cookie

本文链接：https://blog.csdn.net/zx943336311/article/details/44702965

版权

.net 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

这几天一直在学习实用HttpWebRequest和HttpWebResponse的使用，刚到一个新的公司，他们使用的大部分都是这种模拟登录的方式，以前完全没有接触过这些，所以学习起来比较吃力来着，还好，总算搞明白了一点东西！在这里记录一下！指不定还能帮到人呢！

就我现在所了解到的，使用HttpWebResponse和HttpWebRequest大概可以分为三个部分，

先用一个简单的例子来了解一下这三部，在IP138这个网站有一个功能，根据电话号码获得该号码的详细信息，

这个画面的Url就是 http://www.ip138.com:8080/search.asp?action=mobile&mobile=15137199886

第一部分：创建请求

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("http://www.ip138.com:8080/search.asp?action=mobile&mobile=15137199886");

当该画面不需要帐号密码就可以访问的时候，我们就不需要在这一步去做太多的东西，直接.Create创建一个HttpWebRequest就可以了

第二部分：发送请求

 HttpWebResponse response = (HttpWebResponse)request.GetResponse()

在这里，我们直接调用Request对象的getResponse()方法，就可以获得返回的数据，当然，这样只是得到了数据，得到数据后，我们还需要对数据进行接收和处理

第三部分：接收并处理数据

<span style="white-space:pre">	</span>Stream stream = response.GetResponseStream();//第三步  处理数据
        StreamReader sr = new StreamReader(stream,Encoding.UTF8);

<span style="white-space:pre">	</span>string str = sr.ReadToEnd();

现在我们已经接收到了画面返回的数据：str，这里接收到的数据str是链接所对应的画面的源文件，包含所有HTML标签和js代码等等，这时候我们需要画面中的某个数据的话，就需要首先过滤一下HTML标签，这里是我找到的一段过率HTML的代码，可以借鉴一下

  /// <summary> 
    /// 过滤html标签 
    /// </summary>  
    /// <param name="strHtml">html的内容</param> 
    /// <returns></returns>  
    public static string StripHTML(string stringToStrip)
    {
        // paring using RegEx //  
        stringToStrip = Regex.Replace(stringToStrip, "</p(?:\\s*)>(?:\\s*)<p(?:\\s*)>", "\n\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
        stringToStrip = Regex.Replace(stringToStrip, "<br(?:\\s*)/>", "\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
        stringToStrip = Regex.Replace(stringToStrip, "\"", "''", RegexOptions.IgnoreCase | RegexOptions.Compiled);
        stringToStrip = StripHtmlXmlTags(stringToStrip);
        return stringToStrip;
    }
    private static string StripHtmlXmlTags(string content)
    {
        return Regex.Replace(content, "<[^>]+>", "", RegexOptions.IgnoreCase | RegexOptions.Compiled);
    }

过滤过标签之后，我们就可以得到我们想要的数据了，当然还有一些其他的东西在里面，我们在从中拆出来需要用到的数据就可以了

上面写的只是一个简单的方法，当有些画面需要我们登录之后才可以访问的话，我们可以先模拟登录一下登录画面，获得登录画面返回的Cookie ，

然后保存Cookie的状态，在访问相应画面的时候，将Cookie一并传过去就可以了。以人人网为例具体代码如下：

在这里推荐一个工具，httpwatch，这个软件挺好用的，使用它，我们可以看到画面请求的所有详细

 static void Main(string[] args)
        {
            string strUrl = "http://www.renren.com/PLogin.do";
            StringBuilder strsb = new StringBuilder();
            strsb.Append("email=pan_wyyx@163.com&password=这里填写密码&autoLogin=true&icode=&origURL=http%3A%2F%2Fwww.renren.com%2Fhome&domain=renren.com&key_id=1&captcha_type=web_login");
            Post(strUrl, strsb.ToString());
        }

        static void Post(string url, string indata)
        {

            string outdata = ""; //定义输出数据

            //新建一个CookieContainer来存放Cookie集合 
            CookieContainer myCookieContainer = new CookieContainer();

            //新建一个HttpWebRequest 
            HttpWebRequest myHttpWebRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            

            //设定WebRequest的数据
            myHttpWebRequest.ContentType = "application/x-www-form-urlencoded";
            myHttpWebRequest.ContentLength = indata.Length; //定义Post数据长度
            myHttpWebRequest.Method = "POST";    //定义method 类型
            myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Q312461; .NET CLR 1.0.3705)";//定义浏览器
            //设置HttpWebRequest的CookieContainer为刚才建立的那个myCookieContainer ，准备接收Cookie
            myHttpWebRequest.CookieContainer = myCookieContainer;

            //接收数据流
            Stream myRequestStream = myHttpWebRequest.GetRequestStream();
            StreamWriter myStreamWriter = new StreamWriter(myRequestStream, System.Text.Encoding.Default);
            //把数据写入HttpWebRequest的Request流 
            myStreamWriter.Write(indata, 0, indata.Length);

            //关闭打开对象 
            myStreamWriter.Close();
            myRequestStream.Close();

            //新建一个HttpWebResponse 接收网页传回的数据
            HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();

            //获取一个包含url的Cookie集合的CookieCollection 
            myHttpWebResponse.Cookies = myCookieContainer.GetCookies(myHttpWebRequest.RequestUri);
            
            Stream myResponseStream = myHttpWebResponse.GetResponseStream();
            StreamReader myStreamReader = new StreamReader(myResponseStream, System.Text.Encoding.Default);
            outdata = myStreamReader.ReadToEnd();
            //把数据从HttpWebResponse的Response流中读出 
            myStreamReader.Close();
            myResponseStream.Close();

            //拿到了Cookie，再进行请求就能直接读取到登录后才能读取的内容了 
            myHttpWebRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            myHttpWebRequest.CookieContainer = myCookieContainer;//* 
            //刚才那个CookieContainer已经存有了Cookie,把它附加到HttpWebRequest中则能直接通过验证 
            myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
            myHttpWebResponse.Cookies = myCookieContainer.GetCookies(myHttpWebRequest.RequestUri);
            myResponseStream = myHttpWebResponse.GetResponseStream();
            myStreamReader = new StreamReader(myResponseStream, System.Text.Encoding.Default);
            outdata = myStreamReader.ReadToEnd();
            myStreamReader.Close();
            myResponseStream.Close();
            Console.WriteLine(outdata);
<span style="white-space:pre">		</span><pre name="code" class="csharp">            //这里的URL就是我们需要登录之后才可以访问的URL

myHttpWebRequest = (HttpWebRequest)HttpWebRequest.Create("http://i.renren.com/store/cart/current");

<span style="white-space:pre">	</span>    
            myHttpWebRequest.CookieContainer = myCookieContainer;//*解析到的CookieContainer 
            myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
            myHttpWebResponse.Cookies = myCookieContainer.GetCookies(myHttpWebRequest.RequestUri);
            myResponseStream = myHttpWebResponse.GetResponseStream();
            myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
            outdata = myStreamReader.ReadToEnd();
            myStreamReader.Close();
            myResponseStream.Close();

            outdata = StripHTML(outdata);

            Console.WriteLine(outdata);
            Console.ReadLine();
        }

        /// <summary> 
        /// 过滤html标签 
        /// </summary>  
        /// <param name="strHtml">html的内容</param> 
        /// <returns></returns>  
        public static string StripHTML(string stringToStrip)
        {
            // paring using RegEx //  
            stringToStrip = Regex.Replace(stringToStrip, "</p(?:\\s*)>(?:\\s*)<p(?:\\s*)>", "\n\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
            stringToStrip = Regex.Replace(stringToStrip, "<br(?:\\s*)/>", "\n", RegexOptions.IgnoreCase | RegexOptions.Compiled);
            stringToStrip = Regex.Replace(stringToStrip, "\"", "''", RegexOptions.IgnoreCase | RegexOptions.Compiled);
            stringToStrip = StripHtmlXmlTags(stringToStrip);
            return stringToStrip;
        }
        private static string StripHtmlXmlTags(string content)
        {
            return Regex.Replace(content, "<[^>]+>", "", RegexOptions.IgnoreCase | RegexOptions.Compiled);
        }