热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

抓取源码-php抓取网页源码的问题

抓取一般的页面没问题·。但近期给一个网站个搞晕了·。请大神们帮帮忙看看是什么原因导致失败。谢谢地址:183.36.249.82我们学校的图书馆。我用的代码如下{代码...}但会出现这个错误:ServerError...
抓取一般的页面没问题·。
但近期给一个网站个搞晕了·。请大神们帮帮忙看看是什么原因导致失败。谢谢

地址:http://183.36.249.82/

我们学校的图书馆。

我用的代码如下


但会出现这个错误:

Server Error in '/' Application.

Runtime Error

我用的服务器是SAE。也试过用SAE提供的fetch功能。

但可惜也是报错。

错误是:string(3) "500" string(21) "Internal Server Error"

多天研究原因不解。求解答。谢谢

回复内容:

抓取一般的页面没问题·。
但近期给一个网站个搞晕了·。请大神们帮帮忙看看是什么原因导致失败。谢谢

地址:http://183.36.249.82/

我们学校的图书馆。

我用的代码如下


但会出现这个错误:

Server Error in '/' Application.

Runtime Error

我用的服务器是SAE。也试过用SAE提供的fetch功能。

但可惜也是报错。

错误是:string(3) "500" string(21) "Internal Server Error"

多天研究原因不解。求解答。谢谢

file_get_contents抓取的时候,一般要设置一下HTTP context.抓取网页还是用cURL比较好.

 'GET',
        'header' => $header,
        'timeout' => 10,
        'protocol_version' => '1.1',
    ),

));


$cOntents= file_get_contents('http://183.36.249.82/', false, $context); 
echo $contents; 

你没发现网站要求重定向了吗?是刚学php呢吧?换用curl吧,file_get_contents抓不下来这个的吧(显然我错了,看别人的回答就知道是可以的,没文化真可怕啊)。

给你个参考连接吧,我不想写代码了
http://segmentfault.com/q/1010000000484804#a-1020000000484819
问问题的人虽然问得是ruby的问题,但是人家的php代码估计够你参考用了。

推荐阅读
  • 文章目录简介HTTP请求过程HTTP状态码含义HTTP头部信息Cookie状态管理HTTP请求方式简介HTTP协议(超文本传输协议)是用于从WWW服务 ... [详细]
  • 最近在学Python,看了不少资料、视频,对爬虫比较感兴趣,爬过了网页文字、图片、视频。文字就不说了直接从网页上去根据标签分离出来就好了。图片和视频则需要在获取到相应的链接之后取做下载。以下是图片和视 ... [详细]
  • Scrapy 爬取图片
    1.创建Scrapy项目scrapystartprojectCrawlMeiziTuscrapygenspiderMeiziTuSpiderhttps:movie.douban.c ... [详细]
  • 目录爬虫06scrapy框架1.scrapy概述安装2.基本使用3.全栈数据的爬取4.五大核心组件对象5.适当提升scrapy爬取数据的效率6.请求传参爬虫06scrapy框架1. ... [详细]
  • 使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例
    本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤,可以获取到网站首页的新闻数据。代码示例使用Python编写,并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ... [详细]
  • 本文介绍了使用cacti监控mssql 2005运行资源情况的操作步骤,包括安装必要的工具和驱动,测试mssql的连接,配置监控脚本等。通过php连接mssql来获取SQL 2005性能计算器的值,实现对mssql的监控。详细的操作步骤和代码请参考附件。 ... [详细]
  • ECMA262规定typeof操作符的返回值和instanceof的使用方法
    本文介绍了ECMA262规定的typeof操作符对不同类型的变量的返回值,以及instanceof操作符的使用方法。同时还提到了在不同浏览器中对正则表达式应用typeof操作符的返回值的差异。 ... [详细]
  • css元素可拖动,如何使用CSS禁止元素拖拽?
    一、用户行为三剑客以下3个CSS属性:user-select属性可以设置是否允许用户选择页面中的图文内容;user-modify属性可以设置是否允许输入 ... [详细]
  • 前端提高篇(七十):SVG基本使用、基本样式、路径path
    SVG是使用XML来描述二维图形和绘图程序的语言。SVG遵循的是xml的规范,与html5的使用有所区别SVG绘制出来的是矢量图,放大之后不会失真官方文 ... [详细]
  • 博主使用代理IP来自于网上免费提供高匿IP的这个网站用到的库frombs4importBeautifulSoupimportrandomimporturllib.re ... [详细]
  • Java验证码——kaptcha的使用配置及样式
    本文介绍了如何使用kaptcha库来实现Java验证码的配置和样式设置,包括pom.xml的依赖配置和web.xml中servlet的配置。 ... [详细]
  • 深入理解CSS中的margin属性及其应用场景
    本文主要介绍了CSS中的margin属性及其应用场景,包括垂直外边距合并、padding的使用时机、行内替换元素与费替换元素的区别、margin的基线、盒子的物理大小、显示大小、逻辑大小等知识点。通过深入理解这些概念,读者可以更好地掌握margin的用法和原理。同时,文中提供了一些相关的文档和规范供读者参考。 ... [详细]
  • 使用chrome编辑器实现网页截图功能的方法
    本文介绍了在chrome浏览器中使用编辑器实现网页截图功能的方法。通过在地址栏中输入特定命令,打开控制台并调用命令面板,用户可以方便地进行网页截图操作。 ... [详细]
  • 本文整理了常用的CSS属性及用法,包括背景属性、边框属性、尺寸属性、可伸缩框属性、字体属性和文本属性等,方便开发者查阅和使用。 ... [详细]
  • 本文由编程笔记#小编为大家整理,主要介绍了markdown[软件代理设置]相关的知识,希望对你有一定的参考价值。 ... [详细]
author-avatar
楼_市早班车_954
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有