模仿HTTP要求完成网页自动操纵及数据收集的要领【C#.Net教程】,HTTP请求，网页自动操作，数据采集

下面小编就为人人带来一篇模仿HTTP要求完成网页自动操纵及数据收集的要领。小编以为挺不错的，如今就分享给人人，也给人人做个参考。一同追随小编过来看看吧

媒介

网页可分为信息供应和营业操纵类，信息供应如消息、股票行情之类的网站。营业操纵如网上营业厅、OA之类的。固然，也有许多网站同时具有这两种性子，像微博、豆瓣、淘宝这类网站，既供应信息，也完成某些营业。

平常上网体式格局平常都是手动操纵（这个不须要诠释：D）。但偶然刻人工手动操纵的体式格局能够就没法胜任了，如爬取收集上大批数据，及时监测某个页面的变化，批量操纵营业（如批量发微博，批量淘宝购物）、刷单等。因为操纵量大，而且都是反复的操纵，人工操纵效力低下，且易失足。这时候刻就能够运用软件来自动操纵了。

本人开辟过多个这类软件，有收集爬虫、自动批量操纵营业这类的。个中运用到的一个中心功用就是模仿HTTP要求。固然，偶然会运用HTTPS协定，而且网站平常须要上岸后才进一步操纵，另有最主要的一点就是弄清楚网站的营业流程，即晓得为了完成某个操纵该在什么时刻向哪一个页面以什么体式格局提交什么数据，末了，要提取数据或晓得操纵效果，就还须要剖析HTML。本文将逐一论述。

本文运用C#言语来展现代码，固然也能够用别的言语完成，道理是一样的。以上岸京东为实例。

模仿HTTP要求

C#模仿HTTP要求须要运用到以下类：

•WebRequest

•HttpWebRequest

•HttpWebResponse

•Stream

先竖立一个要求对象（HttpWebRequest），设置相干的Headers信息后发送要求（假如是POST，还要把表单数据写入收集流），假如目的地点可接见，会取得一个响应对象（HttpWebResponse），从响应对象的收集流中便可读出返回效果。

示例代码以下：

String contentType = "application/x-www-form-urlencoded";
String accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/x-silverlight,
 application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-ms-application, application/x-ms-xbap,
  application/vnd.ms-xpsdocument, application/xaml+xml, application/x-silverlight-2-b1, */*";
String userAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36";

public String Get(String url, String encode = DEFAULT_ENCODE)
{
   HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
   InitHttpWebRequestHeaders(request);
   request.Method = "GET";
   var html = ReadHtml(request, encode);
   return html;
}

public String Post(String url, String param, String encode = DEFAULT_ENCODE)
{
   Encoding encoding = System.Text.Encoding.UTF8;
   byte[] data = encoding.GetBytes(param);
   HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
   InitHttpWebRequestHeaders(request);
   request.Method = "POST";
   request.ContentLength = data.Length;
   var outstream = request.GetRequestStream();
   outstream.Write(data, 0, data.Length);
   var html = ReadHtml(request, encode);
   return html;
}

private void InitHttpWebRequestHeaders(HttpWebRequest request)
{
  request.ContentType = contentType;
  request.Accept = accept;
  request.UserAgent = userAgent;
}

private String ReadHtml(HttpWebRequest request, String encode)
{
  HttpWebResponse response = request.GetResponse() as HttpWebResponse;
  Stream stream = response.GetResponseStream();
  StreamReader reader = new StreamReader(stream, Encoding.GetEncoding(encode));
  String content = reader.ReadToEnd();
  reader.Close();
  stream.Close();
  return content;
}

能够看出，Get和Post要领的代码大部分都类似，所以代码进行了封装，提取了雷同代码作为新的函数。

HTTPS要求

当网站运用https协定时，以上代码就能够会涌现以下毛病：

The underlying connection was closed: Could not establish trust relationship for

原因是证书毛病，用浏览器翻开会涌现以下页面：

当点击继承前去xxx.xx(不安全)时，便可继承翻开网页。在顺序中，也只需模仿这一步就能够继承了。C#中只需设置ServicePointManager.ServerCertificateValidationCallback代办，在代办要领中直接返回true就好了。

private HttpWebRequest CreateHttpWebRequest(String url)
{
  HttpWebRequest request;
  if (IsHttpsProtocol(url))
  {
    ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
    request = WebRequest.Create(url) as HttpWebRequest;
    request.ProtocolVersion = HttpVersion.Version10;
  }
  else
  {
    request = WebRequest.Create(url) as HttpWebRequest;
  }

  return request;
}

private HttpWebRequest CreateHttpWebRequest(String url)
{
  HttpWebRequest request;
  if (IsHttpsProtocol(url))
  {
    ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
    request = WebRequest.Create(url) as HttpWebRequest;
    request.ProtocolVersion = HttpVersion.Version10;
  }
  else
  {
    request = WebRequest.Create(url) as HttpWebRequest;
  }

  return request;
}

如许，便可一般接见https网站了。

纪录Cookies完成身份认证

有些网站须要登录才实行下一步操纵，比方在京东购物须要先登录。网站服务器运用session来纪录客户端用户，每个session对应一个用户，而前面的代码每次竖立一个要求都邑从新竖立一个session。纵然登录胜利，在实行下一步操纵因为新竖立了一个衔接，登录也是无效的。这时候就得想办法让服务器以为这一系列的要求来自同一个session。

客户端只要Cookies，为了在下次要求的时刻让服务器晓得该客户端对应哪一个session，Cookies中会有一个纪录session ID的纪录。所以，只需Cookies雷同，对服务器来讲就是同一个用户。

这时候须要运用到CookieContainer，望文生义，这就是一个Cookies容器。HttpWebRequest有一个CookieContainer属性。只需把每次要求的Cookies都纪录在CookieContainer，下次要求时设置HttpWebRequest的CookieContainer属性，因为Cookies雷同，关于服务器来讲就是同一个用户了。

public String Get(String url, String encode = DEFAULT_ENCODE)
{
   HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
   InitHttpWebRequestHeaders(request);
   request.Method = "GET";

   request.CookieContainer = cookieContainer;
   HttpWebResponse response = request.GetResponse() as HttpWebResponse;
   foreach (Cookie c in response.Cookies)
   {
      cookieContainer.Add(c);
   }
}

剖析调试网站

以上就完成了模仿HTTP要求，固然，最主要的照样剖析站。平常的状况都是没有文档、找不到网站开辟人员，从一个黑盒子最先探究。剖析东西有许多，引荐运用Chrome+插件Advanced Rest Client，Chrome的开辟者东西能让我们晓得翻开一个网页时背景做了哪些操纵与要求，Advanced Rest Client可模仿发送要求。

比方在登录京东时，会提交以下数据：