热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

asp.net需要登陆的网站上下载网页源代码和文件

最近有个项目需要从网络上下载网页信息和文件,并且需要登录后才能下载,所以做了个下载的通用类,供大家参考。
这个是文件下载类:
代码如下:

using System;
using System.IO;
using System.Net;
using System.Web;

public class SRWebClient
{
COOKIEContainer COOKIE;
public SRWebClient()
{
COOKIE = new COOKIEContainer();
}

///
/// 下载Web源代码
///

public string DownloadHtml(string URL)
{
HttpWebRequest request = HttpWebRequest.Create(URL) as HttpWebRequest;
request.COOKIECOntainer= COOKIE;
request.AllowAutoRedirect = false;

WebResponse res = request.GetResponse();
string r = "";

StreamReader S1 = new StreamReader(res.GetResponseStream(), System.Text.Encoding.Default);
try
{
r = S1.ReadToEnd();
}
catch (Exception er)
{
Log l = new Log();
l.writelog("下载Web错误", er.ToString());
}
finally
{
res.Close();
S1.Close();
}

return r;
}

///
/// 下载文件
///

public long DownloadFile(string FileURL, string FileSavePath)
{
long Filelength = 0;
HttpWebRequest req = HttpWebRequest.Create(FileURL) as HttpWebRequest;

req.COOKIECOntainer= COOKIE;
req.AllowAutoRedirect = true;

HttpWebResponse res = req.GetResponse() as HttpWebResponse;
System.IO.Stream stream = res.GetResponseStream();
try
{
Filelength = res.ContentLength;

byte[] b = new byte[512];

int nReadSize = 0;
nReadSize = stream.Read(b, 0, 512);

System.IO.FileStream fs = System.IO.File.Create(FileSavePath);
try
{
while (nReadSize > 0)
{
fs.Write(b, 0, nReadSize);
nReadSize = stream.Read(b, 0, 512);
}
}
finally
{
fs.Close();
}
}
catch (Exception er)
{
Log l = new Log();
l.writelog("下载文件错误", er.ToString());
}
finally
{
res.Close();
stream.Close();
}

return Filelength;
}

///
/// 提交数据
///

public void Request(string RequestPageURL, RequestData Data)
{
string StrUrl = RequestPageURL;
HttpWebRequest request = HttpWebRequest.Create(StrUrl) as HttpWebRequest;
HttpWebResponse response;

string postdata = Data.GetData();
request.Referer = RequestPageURL;
request.AllowAutoRedirect = false;
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.01; Windows NT 5.0)";
request.COOKIECOntainer= COOKIE;

Uri u = new Uri(StrUrl);

if (postdata.Length > 0) //包含要提交的数据 就使用Post方式
{
//作为表单请求
request.COntentType= "application/x-www-form-urlencoded";
//方式就是Post
request.Method = "POST";

//把提交的数据换成字节数组
Byte[] B = System.Text.Encoding.Default.GetBytes(postdata);
request.COntentLength= B.Length;

Stream SW = request.GetRequestStream(); //开始提交数据
SW.Write(B, 0, B.Length);
SW.Close();
}

respOnse= request.GetResponse() as HttpWebResponse;
response.Close();
}
}

这个是提交的数据类:
代码如下:

using System.Collections;
using System.IO;

public class RequestData
{
ArrayList arr = new ArrayList();
public RequestData()
{

}

public string GetData()
{
string r = "";

for (int i = 0; i {
data d = (data) arr[i];
if (r.Length > 0)
r += "&";
r += d.Field + "=" + d.Value;
}
return r;
}

public void AddField(string Field, string Value)
{
data a = new data();
a.Field = Field;
a.Value = Value;

arr.Add(a);
}

struct data
{
public string Field, Value;
}
}

代码贴完了,下面是测试代码,因为有些数据涉及到客户的资料,故隐去
代码如下:

using NUnit.Framework;

[TestFixture]
public class TestWeb
{
[Test]
public void testDownSEOrder()
{
RequestData data = new RequestData();
data.AddField("name", "abc");
data.AddField("password", "121");

SRWebClient web = new SRWebClient();
web.Request("http://127.0.0.1/login.asp", data);

string s = web.DownloadHtml("http://127.0.0.1/dingdan.asp");
System.Console.WriteLine(s);
}

[Test]
public void testDownFile()
{
RequestData data = new RequestData();
data.AddField("name", "aaa");
data.AddField("password", "bbb");

SRWebClient web = new SRWebClient();
web.Request("http://127.0.0.1/login.asp", data);

web.DownloadFile("http://127.0.0.1/download.asp?fileid=1", @"c:\a.txt");
}
}

推荐阅读
  • 本文介绍了lua语言中闭包的特性及其在模式匹配、日期处理、编译和模块化等方面的应用。lua中的闭包是严格遵循词法定界的第一类值,函数可以作为变量自由传递,也可以作为参数传递给其他函数。这些特性使得lua语言具有极大的灵活性,为程序开发带来了便利。 ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 基于layUI的图片上传前预览功能的2种实现方式
    本文介绍了基于layUI的图片上传前预览功能的两种实现方式:一种是使用blob+FileReader,另一种是使用layUI自带的参数。通过选择文件后点击文件名,在页面中间弹窗内预览图片。其中,layUI自带的参数实现了图片预览功能。该功能依赖于layUI的上传模块,并使用了blob和FileReader来读取本地文件并获取图像的base64编码。点击文件名时会执行See()函数。摘要长度为169字。 ... [详细]
  • 如何去除Win7快捷方式的箭头
    本文介绍了如何去除Win7快捷方式的箭头的方法,通过生成一个透明的ico图标并将其命名为Empty.ico,将图标复制到windows目录下,并导入注册表,即可去除箭头。这样做可以改善默认快捷方式的外观,提升桌面整洁度。 ... [详细]
  • 本文介绍了使用Java实现大数乘法的分治算法,包括输入数据的处理、普通大数乘法的结果和Karatsuba大数乘法的结果。通过改变long类型可以适应不同范围的大数乘法计算。 ... [详细]
  • 本文是一位90后程序员分享的职业发展经验,从年薪3w到30w的薪资增长过程。文章回顾了自己的青春时光,包括与朋友一起玩DOTA的回忆,并附上了一段纪念DOTA青春的视频链接。作者还提到了一些与程序员相关的名词和团队,如Pis、蛛丝马迹、B神、LGD、EHOME等。通过分享自己的经验,作者希望能够给其他程序员提供一些职业发展的思路和启示。 ... [详细]
  • HDU 2372 El Dorado(DP)的最长上升子序列长度求解方法
    本文介绍了解决HDU 2372 El Dorado问题的一种动态规划方法,通过循环k的方式求解最长上升子序列的长度。具体实现过程包括初始化dp数组、读取数列、计算最长上升子序列长度等步骤。 ... [详细]
  • 本文讨论了Alink回归预测的不完善问题,指出目前主要针对Python做案例,对其他语言支持不足。同时介绍了pom.xml文件的基本结构和使用方法,以及Maven的相关知识。最后,对Alink回归预测的未来发展提出了期待。 ... [详细]
  • 本文讨论了如何优化解决hdu 1003 java题目的动态规划方法,通过分析加法规则和最大和的性质,提出了一种优化的思路。具体方法是,当从1加到n为负时,即sum(1,n)sum(n,s),可以继续加法计算。同时,还考虑了两种特殊情况:都是负数的情况和有0的情况。最后,通过使用Scanner类来获取输入数据。 ... [详细]
  • Windows下配置PHP5.6的方法及注意事项
    本文介绍了在Windows系统下配置PHP5.6的步骤及注意事项,包括下载PHP5.6、解压并配置IIS、添加模块映射、测试等。同时提供了一些常见问题的解决方法,如下载缺失的msvcr110.dll文件等。通过本文的指导,读者可以轻松地在Windows系统下配置PHP5.6,并解决一些常见的配置问题。 ... [详细]
  • 本文介绍了C#中数据集DataSet对象的使用及相关方法详解,包括DataSet对象的概述、与数据关系对象的互联、Rows集合和Columns集合的组成,以及DataSet对象常用的方法之一——Merge方法的使用。通过本文的阅读,读者可以了解到DataSet对象在C#中的重要性和使用方法。 ... [详细]
  • 本文介绍了OC学习笔记中的@property和@synthesize,包括属性的定义和合成的使用方法。通过示例代码详细讲解了@property和@synthesize的作用和用法。 ... [详细]
  • Mac OS 升级到11.2.2 Eclipse打不开了,报错Failed to create the Java Virtual Machine
    本文介绍了在Mac OS升级到11.2.2版本后,使用Eclipse打开时出现报错Failed to create the Java Virtual Machine的问题,并提供了解决方法。 ... [详细]
  • 电脑公司win7剪切板位置及使用方法
    本文介绍了电脑公司win7剪切板的位置和使用方法。剪切板一般位于c:\windows\system32目录,程序名为clipbrd.exe。通过在搜索栏中输入cmd打开命令提示符窗口,并输入clip /?即可调用剪贴板查看器。赶紧来试试看吧!更多精彩文章请关注本站。 ... [详细]
  • Metasploit攻击渗透实践
    本文介绍了Metasploit攻击渗透实践的内容和要求,包括主动攻击、针对浏览器和客户端的攻击,以及成功应用辅助模块的实践过程。其中涉及使用Hydra在不知道密码的情况下攻击metsploit2靶机获取密码,以及攻击浏览器中的tomcat服务的具体步骤。同时还讲解了爆破密码的方法和设置攻击目标主机的相关参数。 ... [详细]
author-avatar
白堤柳帘佳_688
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有