python爬虫带界面_实战｜教你用python制作一款带界面的NBA爬虫小程序

作者&＃xff1a;投稿君

公众号&＃xff1a;早起Python

有时将代码转成带有界面的程序&＃xff0c;会极大的方便使用&＃xff0c;虽然在网上有很多现成的GUI系统&＃xff0c;但是套用别人的代码&＃xff0c;心里难免有些尴尬&＃xff0c;所以本文将用python爬虫结合wxpython模块构造一个NBA爬虫小软件。

本文框架构造将分为二个部分讲解&＃xff1a;构建GUI界面

举例套用爬虫框架

主要涉及的Python模块有requests

wx

pymysql

pandas

二、GUI界面设计

首先介绍下流程&＃xff1a;GUI界面设计讲解插入界面背景图片

设计GUI界面的代码思路其实很简单&＃xff0c;首先导入wx库

#一、引用模块

import wx

这里引用的模块是wxpython模块&＃xff0c;建立GUI的模块很多&＃xff0c;常见的有PyQt、Tkinter等。这些模块各有各的优缺点&＃xff0c;读者可以翻阅相关资料进行选择。

#二、定义全局变量(创建面板及布局)

class MyFrame(wx.Frame):

def __init__(self, parent, id):

wx.Frame.__init__(self, parent, id, &＃39;titlename&＃39;,size&＃61;(400, 300))

panel &＃61; wx.Panel(self)

self.bt_confirm &＃61; wx.Button(panel, label&＃61;&＃39;name1&＃39;)

self.bt_confirm.Bind(wx.EVT_BUTTON,self.OnclickSubmit)

self.bt_cancel &＃61; wx.Button(panel, label&＃61;&＃39;name2&＃39;)

self.bt_cancel.Bind(wx.EVT_BUTTON,self.OnclickCancel)

self.InitUI()

定义全局变量对于初级的GUI来说就是构建一个形式窗口&＃43;按钮布置&＃xff0c;不需要自建一个模块。但对于高级的GUI诸如投资系统而言&＃xff0c;全局变量是尤为重要的&＃xff0c;换句话说全局变量需要放在一个py文件中初始化。

上述代码是创建部分的代码&＃xff0c;个性化布局需要添加容器进行设置&＃xff0c;稍后会在总代码中呈现。

#三、调用局部变量并绑定事件

def InitUI(self):

""" 点击InitUI&＃xff0c;执行方法 """

def OnclickSubmit(self,event):

""" 绑定OnclickSubmit事件 """

简单来说就是绑定事件&＃xff0c;该事件是你点击对应按钮产生的效果。这部是整个GUI的核心&＃xff0c;如果你在做签到系统&＃xff0c;那么你就要绑定一个导入员工名单txt文件的事件。

#四、GUI执行脚本

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

app &＃61; wx.App() # 初始化

frame &＃61; MyFrame(parent&＃61;None,id&＃61;-1)

frame.Show()

app.MainLoop() # 调用主循环

del app

第四步的基本套路就是如此。

三、举例实现

以一个简单的NBA爬虫系统为例&＃xff0c;首先创建面板与布局

class MyFrame(wx.Frame):

def __init__(self, parent, id):

wx.Frame.__init__(self, parent, id, &＃39;NBA可视化&＃39;,size&＃61;(400, 300))

panel &＃61; wx.Panel(self)

self.bt_confirm &＃61; wx.Button(panel, label&＃61;&＃39;合同信息&＃39;)

self.bt_confirm.Bind(wx.EVT_BUTTON,self.OnclickSubmit)

self.bt_cancel &＃61; wx.Button(panel, label&＃61;&＃39;清空&＃39;)

self.bt_cancel.Bind(wx.EVT_BUTTON,self.OnclickCancel)

self.bt_imf &＃61; wx.Button(panel, label&＃61;&＃39;可视化&＃39;)

self.bt_imf.Bind(wx.EVT_BUTTON,self.Onclickvisual)

self.bt_team &＃61; wx.Button(panel, label&＃61;&＃39;球队信息&＃39;,pos&＃61;(280,20))

self.bt_team.Bind(wx.EVT_BUTTON,self.Onclickteam)

self.bt_obtain &＃61; wx.Button(panel, label&＃61;&＃39;球员信息&＃39;,pos&＃61;(20,20))

self.bt_obtain.Bind(wx.EVT_BUTTON,self.Onclickimfor)

self.bt_ml &＃61; wx.Button(panel, label&＃61;&＃39;得分榜&＃39;)

self.bt_ml.Bind(wx.EVT_BUTTON,self.Onclickmql)

self.title &＃61; wx.StaticText(panel, label&＃61;"NBA可视化")

self.label_user &＃61; wx.StaticText(panel, label&＃61;"球队名称")

self.text_user &＃61; wx.TextCtrl(panel, style&＃61;wx.TE_LEFT)

self.label_pwd &＃61; wx.StaticText(panel, label&＃61;"球员名称")

self.text_pwd &＃61; wx.TextCtrl(panel, style&＃61;wx.TE_LEFT)

self.label_path &＃61; wx.StaticText(panel, label&＃61;"储存路径")

self.text_pathword &＃61; wx.TextCtrl(panel, style&＃61;wx.TE_LEFT)

然后添加容器&＃xff0c;横向排列。

hsizer_user &＃61; wx.BoxSizer(wx.HORIZONTAL)

hsizer_user.Add(self.label_user, proportion&＃61;0, flag&＃61;wx.ALL, border&＃61;5)

hsizer_user.Add(self.text_user, proportion&＃61;1, flag&＃61;wx.ALL, border&＃61;5)

hsizer_pwd &＃61; wx.BoxSizer(wx.HORIZONTAL)

hsizer_pwd.Add(self.label_pwd, proportion&＃61;0, flag&＃61;wx.ALL, border&＃61;5)

hsizer_pwd.Add(self.text_pwd, proportion&＃61;1, flag&＃61;wx.ALL, border&＃61;5)

hsizer_path &＃61; wx.BoxSizer(wx.HORIZONTAL)

hsizer_path.Add(self.label_path, proportion&＃61;0, flag&＃61;wx.ALL, border&＃61;5)

hsizer_path.Add(self.text_pathword, proportion&＃61;1, flag&＃61;wx.ALL, border&＃61;5)

hsizer_button &＃61; wx.BoxSizer(wx.HORIZONTAL)

hsizer_button.Add(self.bt_confirm, proportion&＃61;0, flag&＃61;wx.ALIGN_CENTER, border&＃61;5)

hsizer_button.Add(self.bt_cancel, proportion&＃61;0, flag&＃61;wx.ALIGN_CENTER, border&＃61;5)

hsizer_button.Add(self.bt_imf, proportion&＃61;0, flag&＃61;wx.ALIGN_CENTER, border&＃61;5)

hsizer_button.Add(self.bt_ml, proportion&＃61;0, flag&＃61;wx.ALIGN_CENTER, border&＃61;5)

接着添加容器&＃xff0c;纵向排列。

vsizer_all &＃61; wx.BoxSizer(wx.VERTICAL)

vsizer_all.Add(self.title, proportion&＃61;0, flag&＃61;wx.BOTTOM | wx.TOP | wx.ALIGN_CENTER,

border&＃61;15)

vsizer_all.Add(hsizer_user, proportion&＃61;0, flag&＃61;wx.EXPAND | wx.LEFT | wx.RIGHT,

border&＃61;45)

vsizer_all.Add(hsizer_pwd, proportion&＃61;0, flag&＃61;wx.EXPAND | wx.LEFT | wx.RIGHT,

border&＃61;45)

vsizer_all.Add(hsizer_path, proportion&＃61;0, flag&＃61;wx.EXPAND | wx.LEFT | wx.RIGHT,

border&＃61;45)

vsizer_all.Add(hsizer_button, proportion&＃61;0, flag&＃61;wx.ALIGN_CENTER | wx.TOP,

border&＃61;15)

panel.SetSizer(vsizer_all)

self.InitUI()

下一步是事件绑定。

def InitUI(self):

""" 点击使用说明按钮&＃xff0c;执行方法 """

def OnQuit1(self,e):

""" 输入注意事项 """

def OnclickSubmit(self,event):

""" 点击合同信息按钮&＃xff0c;执行方法 """

def Onclickvisual(self,event):

""" 点击可视化按钮&＃xff0c;执行方法 """

def OnclickCancel(self,event):

""" 点击清空按钮&＃xff0c;执行方法 """

def Onclickimfor(self,event):

""" 点击球员名称按钮&＃xff0c;执行方法 """

def Onclickteam(self,event):

""" 点击球队名称按钮&＃xff0c;执行方法 """

def Onclickmql(self,event):

""" 点击得分榜按钮&＃xff0c;执行方法 """

这里的事件处理不是很难&＃xff0c;读者可以自己尝试创新&＃xff0c;最后执行脚本。

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

app &＃61; wx.App() # 初始化

frame &＃61; MyFrame(parent&＃61;None,id&＃61;-1) # 实例MyFrame类&＃xff0c;并传递参数

frame.Show() # 显示窗口

app.MainLoop() # 调用主循环方法

效果如图

补充&＃xff1a;插入背景图片

想要构造一个个性化系统&＃xff0c;最不能缺的就是将界面背景换成自己想要的。这里我选择用一张老科的图片。

相信有的读者会觉得一个独立的单机的GUI软件会更适合自己&＃xff0c;我也恰恰如此&＃xff0c;因此&＃xff0c;在设置背景图片中于之后的GUI需要进行打包&＃xff0c;故需要将指定的二进制图片base64化&＃xff0c;转换后存入py文件后以import为媒介才能打包。二进制代码转换如下&＃xff1a;

import base64

with open("name.jpg","rb") as f:

base64_str &＃61; base64.b64encode(f.read())

with open(&＃39;%s.py&＃39; % picture_name.replace(&＃39;.&＃39;, &＃39;_&＃39;), &＃39;w&＃43;&＃39;) as f1:

f1.write(base64_str)

f1.close()

此时可以得到有base64编码的py文件&＃xff0c;而后在代码中进行引用。由于打包不能打包图片&＃xff0c;故这里稍微复杂的实现“引用指定图片的base64编码——创建图片——插入背景图片”功能&＃xff01;

最后在再稍加修饰将文本底色改为透明。编写这段代码的框架非常固定&＃xff0c;所以我借鉴了大神们的代码&＃xff0c;基本代码框架如下&＃xff1a;

#这里需要在主事件中插入两句话

panel.Bind(wx.EVT_ERASE_BACKGROUND,self.OnEraseBack)

self.Bind(wx.EVT_ERASE_BACKGROUND, self.OnEraseBack)

#引用编码并创建图片

from bg_png import img as bg

def pic(picPath,picName):

tmp &＃61; open(picPath, &＃39;wb&＃39;)

tmp.write(base64.b64decode(picName))

tmp.close()

pic(&＃39;bg.png&＃39;,bg)

#插入图片(子事件 有缩进)

def OnEraseBack(self,event):

&＃39;&＃39;&＃39;加入图片背景&＃39;&＃39;&＃39;

try :

dc &＃61; event.GetDC()

if not dc:

dc &＃61; wx.ClientDC(self)

rect &＃61; self.GetUpdateRegion().GetBox()

dc.SetClippingRect(rect)

dc.Clear()

bmp &＃61; wx.Bitmap(nowpath&＃43;r&＃39;\bg.png&＃39;)

dc.DrawBitmap(bmp, -500, -100)

except :

pass

#将文本底色改为透明

#第一步&＃xff1a;将主事件中wx.StaticText全部换成TransparentStaticText

#第二步&＃xff1a;重现StaticText控件

class TransparentStaticText(wx.StaticText):

def __init__(self, parent, id&＃61;wx.ID_ANY, label&＃61;&＃39;&＃39;, pos&＃61;wx.DefaultPosition, size&＃61;wx.DefaultSize,

style&＃61;wx.TRANSPARENT_WINDOW, name&＃61;&＃39;TransparentStaticText&＃39;):

wx.StaticText.__init__(self, parent, id, label, pos, size, style, name)

self.Bind(wx.EVT_PAINT, self.OnPaint)

self.Bind(wx.EVT_ERASE_BACKGROUND, lambda event: None)

self.Bind(wx.EVT_SIZE, self.OnSize)

def OnPaint(self, event):

bdc &＃61; wx.PaintDC(self)

dc &＃61; wx.GCDC(bdc)

font_face &＃61; self.GetFont()

font_color &＃61; self.GetForegroundColour()

dc.SetFont(font_face)

dc.SetTextForeground(font_color)

dc.DrawText(self.GetLabel(), 0, 0)

def OnSize(self, event):

self.Refresh()

event.Skip()

最终效果如图&＃xff1a;

注意如果你想打包的话&＃xff0c;需要代码中中引入下面三个模块&＃xff1a;

import six

import packaging

import packaging.version

import packaging.specifiers

import packaging.requirements