Как загрузить результаты поиска изображений google в Python

чтобы загрузить любое количество изображений из Google image search с помощью Selenium:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import os
import json
import urllib2
import sys
import time

# adding path to geckodriver to the OS environment variable
# assuming that it is stored at the same path as this script
os.environ["PATH"] += os.pathsep + os.getcwd()
download_path = "dataset/"

def main():
    searchtext = sys.argv[1] # the search query
    num_requested = int(sys.argv[2]) # number of images to download
    number_of_scrolls = num_requested / 400 + 1 
    # number_of_scrolls * 400 images will be opened in the browser

    if not os.path.exists(download_path + searchtext.replace(" ", "_")):
        os.makedirs(download_path + searchtext.replace(" ", "_"))

    url = "https://www.google.co.in/search?q="+searchtext+"&source=lnms&tbm=isch"
    driver = webdriver.Firefox()
    driver.get(url)

    headers = {}
    headers['User-Agent'] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"
    extensions = {"jpg", "jpeg", "png", "gif"}
    img_count = 0
    downloaded_img_count = 0

    for _ in xrange(number_of_scrolls):
        for __ in xrange(10):
            # multiple scrolls needed to show all 400 images
            driver.execute_script("window.scrollBy(0, 1000000)")
            time.sleep(0.2)
        # to load next 400 images
        time.sleep(0.5)
        try:
            driver.find_element_by_xpath("//input[@value='Show more results']").click()
        except Exception as e:
            print "Less images found:", e
            break

    # imges = driver.find_elements_by_xpath('//div[@class="rg_meta"]') # not working anymore
    imges = driver.find_elements_by_xpath('//div[contains(@class,"rg_meta")]')
    print "Total images:", len(imges), "\n"
    for img in imges:
        img_count += 1
        img_url = json.loads(img.get_attribute('innerHTML'))["ou"]
        img_type = json.loads(img.get_attribute('innerHTML'))["ity"]
        print "Downloading image", img_count, ": ", img_url
        try:
            if img_type not in extensions:
                img_type = "jpg"
            req = urllib2.Request(img_url, headers=headers)
            raw_img = urllib2.urlopen(req).read()
            f = open(download_path+searchtext.replace(" ", "_")+"/"+str(downloaded_img_count)+"."+img_type, "wb")
            f.write(raw_img)
            f.close
            downloaded_img_count += 1
        except Exception as e:
            print "Download failed:", e
        finally:
            print
        if downloaded_img_count >= num_requested:
            break

    print "Total downloaded: ", downloaded_img_count, "/", img_count
    driver.quit()

if __name__ == "__main__":
    main()

полный код здесь.

Как насчет этого?

https://github.com/hardikvasa/google-images-download

Он позволяет загружать сотни изображений и имеет тонну фильтров на выбор, чтобы настроить поиск

Если вы хотите скачать более 100 изображений на ключевое слово, затем вам нужно будет установить "селен" вместе с "chromedriver".

Если вы установили библиотеку pip или запустите setup.py файл, Selenium будет автоматически установлен на вашем компьютере. Вам также понадобится браузер Chrome на вашем компьютере. Для chromedriver:

загрузите правильный chromedriver на основе вашей операционной системы.

на Windows или MAC Если по какой-то причине chromedriver дает вам проблемы, загрузите его в текущем каталоге и запустите команду.

в windows, однако, путь к chromedriver должен быть указан в следующем формат:

C:\complete\path\to\chromedriver.exe

в Linux если у вас возникли проблемы с установкой браузера google chrome, обратитесь к этому CentOS или Amazon Linux Guide или Ubuntu Guide

для всех операционных систем вам нужно будет использовать аргумент "--chromedriver " или "- cd", чтобы указать путь chromedriver, который вы загрузили на свой компьютер.

Я использую этот скрипт для загрузки изображений из Google search, и я использую их для моего trainig мои классификаторы код ниже может загрузить 100 изображений, связанных с запросом

from bs4 import BeautifulSoup
import requests
import re
import urllib2
import os
import cookielib
import json

def get_soup(url,header):
    return BeautifulSoup(urllib2.urlopen(urllib2.Request(url,headers=header)),'html.parser')


query = raw_input("query image")# you can change the query for the image  here
image_type="ActiOn"
query= query.split()
query='+'.join(query)
url="https://www.google.co.in/search?q="+query+"&source=lnms&tbm=isch"
print url
#add the directory for your image here
DIR="Pictures"
header={'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36"
}
soup = get_soup(url,header)


ActualImages=[]# contains the link for Large original images, type of  image
for a in soup.find_all("div",{"class":"rg_meta"}):
    link , Type =json.loads(a.text)["ou"]  ,json.loads(a.text)["ity"]
    ActualImages.append((link,Type))

print  "there are total" , len(ActualImages),"images"

if not os.path.exists(DIR):
            os.mkdir(DIR)
DIR = os.path.join(DIR, query.split()[0])

if not os.path.exists(DIR):
            os.mkdir(DIR)
###print images
for i , (img , Type) in enumerate( ActualImages):
    try:
        req = urllib2.Request(img, headers={'User-Agent' : header})
        raw_img = urllib2.urlopen(req).read()

        cntr = len([i for i in os.listdir(DIR) if image_type in i]) + 1
        print cntr
        if len(Type)==0:
            f = open(os.path.join(DIR , image_type + "_"+ str(cntr)+".jpg"), 'wb')
        else :
            f = open(os.path.join(DIR , image_type + "_"+ str(cntr)+"."+Type), 'wb')


        f.write(raw_img)
        f.close()
    except Exception as e:
        print "could not load : "+img
        print e

вам нужно использовать пользовательский API поиска. Есть удобный explorer здесь. Я использую urllib2. Также необходимо создать ключ API для приложения из консоли разработчика.

чтобы получить лучшее из googleimagedownload, используйте pip3 install для его получения, а затем используйте следующую оболочку, чтобы превратить ее в API. В основном вы можете видеть, что я сказал, как часть кода для загрузки 10 больших изображений, которые помечены меткой для повторного использования (неправильно написаны оригинальными авторами). Если я не передам аргумент say-k= "yellow pepper", он по умолчанию загрузит 10 изображений красного перца. Вы можете изменить аргументы по умолчанию в словаре googleImageDownloader, который у меня есть предоставлено все, что вам нравится, пока они соответствуют google_images_download.py застройщика.

#!/usr/bin/env python3

import sys
import subprocess
import re

def main( arguments ):
  googleImageDownloader = {'s':'large', 'l':'10', 'r':'labled-for-reuse', 'k':'red pepper'}
  for argvitem in arguments[1:]:
    argumentName = re.sub( r'^-(.*)', r'', argvitem )
    argumentName = re.sub( r'^-(.*)', r'', argumentName )
    argumentName = re.sub( r'(.*)=(.*)', r'', argumentName )
    value        = re.sub( r'(.*)=(.*)', r'', argvitem )

    googleImageDownloader[argumentName] = value

  callingString = "googleimagesdownload"
  for key, value in googleImageDownloader.items():
    if " " in value:
      value = "\"" + value + "\""

    callingString+= " -" + key + " " + value

  print( callingString )
  statusAndOutputText = subprocess.getstatusoutput( callingString )
  print( statusAndOutputText[1] )

if "__main__" == __name__:
  main( sys.argv )

поэтому я просто запускаю выше imagedownload.py передавая любой аргумент с -- или -:

$ python ./imagedownload.py -k="yellow pepper"

получить следующий результат:

googleimagesdownload -s large -l 10 -k "yellow pepper" -r labeled-for-reuse

Item no.: 1 --> Item name = yellow pepper
Evaluating...
Starting Download...
Completed Image ====> 1. paprika-vegetables-yellow-red-53008.jpe
Completed Image ====> 2. plant-fruit-orange-food-pepper-produce-vegetable-yellow-peppers-bell-pepper-flowering-plant-yellow-pepper-land-plant-bell-peppers-and-chili-peppers-pimiento-habanero-chili-137913.jpg
Completed Image ====> 3. yellow-bell-pepper.jpg
Completed Image ====> 4. yellow_bell_pepper_group_store.jpg
Completed Image ====> 5. plant-fruit-food-produce-vegetable-yellow-peppers-bell-pepper-persimmon-diospyros-flowering-plant-sweet-pepper-yellow-pepper-land-plant-bell-peppers-and-chili-peppers-pimiento-habanero-chili-958689.jpg
Completed Image ====> 6. 2017-06-28-10-23-21.jpg
Completed Image ====> 7. yellow_bell_pepper_2017_a3.jpg
Completed Image ====> 8. 2017-06-26-12-06-35.jpg
Completed Image ====> 9. yellow-bell-pepper-1312593087h9f.jpg
Completed Image ====> 10. plant-fruit-food-pepper-produce-vegetable-macro-yellow-background-vegetables-peppers-bell-pepper-vitamins-flowering-plant-chili-pepper-annex-yellow-pepper-land-plant-bell-peppers-and-chili-peppers-pimiento-habanero-chili-1358020.jpg

Everything downloaded!
Total Errors: 0

немного улучшив ответ Рави Хирани, самый простой способ - пойти по этому :

from icrawler.builtin import GoogleImageCrawler

google_crawler = GoogleImageCrawler(storage={'root_dir': 'D:\projects\data core\helmet detection\images'})
google_crawler.crawl(keyword='cat', max_num=100)

источник : https://pypi.org/project/icrawler/

Я пробовал много кодов, но ни один из них не работает для меня. Я размещаю свой рабочий код здесь. Надеюсь, это поможет другим.

Я использую Python версии 3.6 и используется icrawler

во-первых, вам нужно скачать icrawler в вашей системе.

затем запустите ниже кода.

from icrawler.examples import GoogleImageCrawler
google_crawler = GoogleImageCrawler()
google_crawler.crawl(keyword='krishna', max_num=100)

заменить keyword krishna с желаемым текстом.

Примечание:- скачал образ должен путь. Сейчас я использовал тот же каталог, где размещен скрипт. Вы можете установить пользовательский каталог с помощью кода ниже.

google_crawler = GoogleImageCrawler('path_to_your_folder')

Я пытаюсь библиотека это может использоваться как инструмент командной строки, так и библиотека python. У него есть много аргументов для поиска изображений с разными критериями.

это примеры, взятые из его документации, чтобы использовать его в качестве библиотеки python:

from google_images_download import google_images_download   #importing the library

response = google_images_download.googleimagesdownload()   #class instantiation

arguments = {"keywords":"Polar bears,baloons,Beaches","limit":20,"print_urls":True}   #creating list of arguments
paths = response.download(arguments)   #passing the arguments to the function
print(paths)   #printing absolute paths of the downloaded images

или как инструмент командной строки, как показано ниже:

$ googleimagesdownload --k "car" -sk 'red,blue,white' -l 10

вы можете установить это с pip install google_images_download