Использование tkinter для ввода в переменную, которую нужно вызвать
в настоящее время я работаю над Скребковой программой, которая войдет на страницу Википедии и в ее текущей форме соскребет ссылки со страницы.
Я хотел бы иметь gui, который позволит пользователю вводить страницу Википедии. Я хочу, чтобы вход был прикреплен к selectWikiPage
переменная, но пока не повезло.
ниже мой текущий код.
import requests
from bs4 import BeautifulSoup
import re
from tkinter import *
#begin tkinter gui
def show_entry_fields():
print("Wikipedia URL: %s" % (e1.get()))
e1.delete(0,END)
master = Tk()
Label(master, text="Wikipedia URL").grid(row=0)
e1 = Entry(master)
e1.insert(10,"http://en.wikipedia.org/wiki/randomness")
e1.grid(row=0, column=1)
Button(master, text='Scrape', command=master.quit).grid(row=3, column=0, sticky=W, pady=4)
mainloop( )
session = requests.Session()
selectWikiPage = input(print("Please enter the Wikipedia page you wish to scrape from"))
if "wikipedia" in selectWikiPage:
html = session.post(selectWikiPage)
bsObj = BeautifulSoup(html.text, "html.parser")
findReferences = bsObj.find('ol', {'class': 'references'}) #isolate refereces section of page
href = BeautifulSoup(str(findReferences), "html.parser")
links = [a["href"] for a in href.find_all("a", href=True)]
for link in links:
print("Link: " + link)
else:
print("Error: Please enter a valid Wikipedia URL")
заранее большое спасибо.
2 ответов
код был почти правильным. Нескольких модификаций было достаточно. Надеюсь, это поможет. Пожалуйста, прокомментируйте, если вам нужны дополнительные разъяснения.
import requests
from bs4 import BeautifulSoup
import re
from tkinter import *
# you can declare selectWikiPage and master to be global and then avoid passing them around
# begin tkinter gui
def show_entry_fields():
print("Wikipedia URL: %s" % (e1.get()))
e1.delete(0, END)
#utility which selects all the text from start to end in widget
def select_all(event=None):
event.widget.select_range(0, 'end')
return 'break'
#the code is same, just obtained the URL from the widget using get()
def custom_scrape(e1, master):
session = requests.Session()
# selectWikiPage = input("Please enter the Wikipedia page you wish to scrape from")
selectWikiPage = e1.get()
if "wikipedia" in selectWikiPage:
html = session.post(selectWikiPage)
bsObj = BeautifulSoup(html.text, "html.parser")
findReferences = bsObj.find('ol', {'class': 'references'}) # isolate refereces section of page
href = BeautifulSoup(str(findReferences), "html.parser")
links = [a["href"] for a in href.find_all("a", href=True)]
for link in links:
print("Link: " + link)
else:
print("Error: Please enter a valid Wikipedia URL")
master.quit()
master = Tk()
Label(master, text="Wikipedia URL").grid(row=0)
e1 = Entry(master)
#bind ctrl+a for selecting all the contents of Entry widget
e1.bind('<Control-a>', select_all)
e1.insert(10, "Enter a wikipedia URL")
e1.grid(row=0, column=1)
#here, command attribute takes a lambda which itself doesnot take any args,
#but in turn calls another function which accepts
#arguments
#Refer to: https://stackoverflow.com/questions/22723039/python-tkinter-passing-values-with-a-button for details
Button(master, text='Scrape', command=lambda: custom_scrape(e1, master)).grid(row=3, column=0, sticky=W, pady=4)
mainloop()
вот уменьшительный пример, основанный на вашем коде; он позволяет использовать поле ввода, чтобы захватить значение страницы wiki для посещения и распечатать его на консоли.
Затем вы можете использовать этот url-адрес для продолжения очистки.
from tkinter import *
def m_quit():
global wiki_url
wiki_url += e1.get() + '/'
print('quitting')
master.destroy()
wiki_url = 'http://en.wikipedia.org/wiki/'
master = Tk()
Label(master, text="Wikipedia URL").grid(row=0)
e1 = Entry(master)
e1.grid(row=0, column=1)
Button(master, text='Scrape', command=m_quit).grid(row=3, column=0, sticky=W, pady=4)
mainloop()
print(wiki_url)