首页
技术博客
PHP教程
数据库技术
前端开发
HTML5
Nginx
php论坛
新用户注册
|
会员登录
PHP教程
技术博客
编程问答
PNG素材
编程语言
前端技术
Android
PHP教程
HTML5教程
数据库
Linux技术
Nginx技术
PHP安全
WebSerer
职场攻略
JavaScript
开放平台
业界资讯
大话程序猿
登录
极速注册
取消
热门标签 | HotTags
frameworks
schema
case
settings
bitmap
cSharp
triggers
nodejs
format
function
emoji
runtime
spring
header
php
python2
python3
controller
bit
erlang
js
md5
buffer
instance
javascript
random
filter
plugins
node.js
request
text
audio
blob
heap
expression
default
flutter
iostream
jar
split
input
string
java
perl
vbscript
hook
usb
bytecode
range
yaml
config
web
hashtable
go
substring
replace
hashcode
fetch
express
stream
solr
python
uri
scala
dagger
tags
netty
sum
command
heatmap
httpclient
cmd
hashset
vba
search
php5
loops
post
timezone
当前位置:
开发笔记
>
编程语言
> 正文
简单的数据抓取工具
作者:a58224227 | 来源:互联网 | 2023-05-19 06:30
简单的数据抓取工具:求一个简单的数据抓取工具我需要的数据如:http:map.baidu.com?newmap1&reqflagpcmap&biz1&qts&wd1&c131&tn
求一个简单的数据抓取工具
我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。
本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。
可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。
分享到:
------解决方案--------------------
找个开源的还是得改成你需要的,到麻烦。php的curl就可以,支持代理。
python的话socket挺好的,而且多线程的话threading处理非常方便。
自己写呗~
------解决方案--------------------
东西做好 然后告诉他 这个就是最好的工具
http
utf-8
文件
数据库
多线程
爬虫
php
python
curl
写下你的评论吧 !
吐个槽吧,看都看了
会员登录
|
用户注册
推荐阅读
js
Alink回归预测的不完善问题及期待
本文讨论了Alink回归预测的不完善问题,指出目前主要针对Python做案例,对其他语言支持不足。同时介绍了pom.xml文件的基本结构和使用方法,以及Maven的相关知识。最后,对Alink回归预测的未来发展提出了期待。 ...
[详细]
蜡笔小新 2023-12-14 14:25:33
php
PHPMailer邮件类邮件发送功能的使用教学及注意事项
本文介绍了使用国外开源码PHPMailer邮件类实现邮件发送功能的简单教学,同时提供了一些注意事项。文章涵盖了字符集设置、发送HTML格式邮件、群发邮件以及避免类的重定义等方面的内容。此外,还提供了一些与PHP相关的资源和服务,如传奇手游游戏源码下载、vscode字体调整、数据恢复、Ubuntu实验环境搭建、北京爬虫市场、进阶PHP和SEO人员需注意的内容。 ...
[详细]
蜡笔小新 2023-12-13 11:56:08
request
延迟注入工具(python)的SQL脚本
本文介绍了一个延迟注入工具(python)的SQL脚本,包括使用urllib2、time、socket、threading、requests等模块实现延迟注入的方法。该工具可以通过构造特定的URL来进行注入测试,并通过延迟时间来判断注入是否成功。 ...
[详细]
蜡笔小新 2023-12-12 10:36:42
php
Python3中选择文件对话框的格式打开和保存图片
本文介绍了在Python3中如何使用选择文件对话框的格式打开和保存图片的方法。通过使用tkinter库中的filedialog模块的asksaveasfilename和askopenfilename函数,可以方便地选择要打开或保存的图片文件,并进行相关操作。具体的代码示例和操作步骤也被提供。 ...
[详细]
蜡笔小新 2023-12-14 17:46:55
php
搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的详细步骤
本文详细介绍了搭建Windows Server 2012 R2 IIS8.5+PHP(FastCGI)+MySQL环境的步骤,包括环境说明、相关软件下载的地址以及所需的插件下载地址。 ...
[详细]
蜡笔小新 2023-12-14 17:03:58
js
Mac OS 升级到11.2.2 Eclipse打不开了,报错Failed to create the Java Virtual Machine
本文介绍了在Mac OS升级到11.2.2版本后,使用Eclipse打开时出现报错Failed to create the Java Virtual Machine的问题,并提供了解决方法。 ...
[详细]
蜡笔小新 2023-12-14 12:01:13
js
MyBatis多表查询与动态SQL使用
本文介绍了MyBatis多表查询与动态SQL的使用方法,包括一对一查询和一对多查询。同时还介绍了动态SQL的使用,包括if标签、trim标签、where标签、set标签和foreach标签的用法。文章还提供了相关的配置信息和示例代码。 ...
[详细]
蜡笔小新 2023-12-12 17:12:51
filter
web.py开发web 第八章 Formalchemy 服务端验证方法
本文介绍了在web.py开发中使用Formalchemy进行服务端表单数据验证的方法。以User表单为例,详细说明了对各字段的验证要求,包括必填、长度限制、唯一性等。同时介绍了如何自定义验证方法来实现验证唯一性和两个密码是否相等的功能。该文提供了相关代码示例。 ...
[详细]
蜡笔小新 2023-12-12 16:36:00
php
php支持中文文件名
2019独角兽企业重金招聘Python工程师标准大家可能遇到过上传中文文件名的文件,或者读取中文目录时不能读取,出现错误的情况这种情况是因为php自动将中文字符转成了utf8 ...
[详细]
蜡笔小新 2023-12-12 15:02:55
js
Python解析C语言结构体
本文介绍了使用Python解析C语言结构体的方法,包括定义基本类型和结构体类型的字典,并提供了一个示例代码,展示了如何解析C语言结构体。 ...
[详细]
蜡笔小新 2023-12-11 18:45:50
instance
Activiti7流程定义开发笔记
本文介绍了Activiti7流程定义的开发笔记,包括流程定义的概念、使用activiti-explorer和activiti-eclipse-designer进行建模的方式,以及生成流程图的方法。还介绍了流程定义部署的概念和步骤,包括将bpmn和png文件添加部署到activiti数据库中的方法,以及使用ZIP包进行部署的方式。同时还提到了activiti.cfg.xml文件的作用。 ...
[详细]
蜡笔小新 2023-12-10 19:22:56
request
PHP cURL请求体在node.js中没有定义的问题
本文讨论了在使用PHP cURL发送POST请求时,请求体在node.js中没有定义的问题。作者尝试了多种解决方案,但仍然无法解决该问题。同时提供了当前PHP代码示例。 ...
[详细]
蜡笔小新 2023-12-10 10:19:23
php
Linux下部署Symfoy2对app/cache和app/logs目录的权限设置,symfoy2logs
php教程|php手册xml文件php教程-php手册Linux下部署Symfoy2对appcache和applogs目录的权限设置,symfoy2logs黑色记事本源码,vsco ...
[详细]
蜡笔小新 2023-10-17 20:32:59
php
Oracle 和 mysql的9点区别【MySQL】
数据库|mysql教程oracle,Oracle,money,mysql,coun数据库-mysql教程1.组函数用法规则mysql中组函数在select语句中可以随意使用,但在o ...
[详细]
蜡笔小新 2023-10-17 19:49:32
php
开发笔记:Python之路第一篇:初识Python
篇首语:本文由编程笔记#小编为大家整理,主要介绍了Python之路第一篇:初识Python相关的知识,希望对你有一定的参考价值。Python简介& ...
[详细]
蜡笔小新 2023-10-17 18:58:48
a58224227
这个家伙很懒,什么也没留下!
Tags | 热门标签
frameworks
schema
case
settings
bitmap
cSharp
triggers
nodejs
format
function
emoji
runtime
spring
header
php
python2
python3
controller
bit
erlang
js
md5
buffer
instance
javascript
random
filter
plugins
node.js
request
RankList | 热门文章
1
获取MySQL 5.5表元信息
2
EXPDP/IMPDP 命令行参数详解
3
Win7下Oracle的sqlplus不能启动
4
Oracle数据库RMAN恢复之数据文件的恢复
5
Oracle 归档模式archivelog
6
Oracle中提取主键拼字符串的问题
7
Oracle数据恢复
8
Oracle存储过程中异常处理应注意的问题
9
Oracle 11g 调优方面做的一些改进
10
Oracle分区表使用实例
11
非Oralce用户环境变量配置
12
Oracle 进程查看v$session
13
Oracle函数repalce用户
14
Oracle 10g 创建表空间慢问题
15
Oracle函数INSTR用法
PHP1.CN | 中国最专业的PHP中文社区 |
DevBox开发工具箱
|
json解析格式化
|
PHP资讯
|
PHP教程
|
数据库技术
|
服务器技术
|
前端开发技术
|
PHP框架
|
开发工具
|
在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved |
京公网安备 11010802041100号
|
京ICP备19059560号-4
| PHP1.CN 第一PHP社区 版权所有