Сопряжение содержимого на внешнем веб-сайте с записями в базе данных mySQL

Я тоже не знаю о каких-либо существующих программных пакетах, которые будут делать все, что вы ищете. Однако Python может подключаться к вашей базе данных, легко выполнять веб-запросы и обрабатывать грязный html. Предполагая, что у вас уже установлен Python, вам понадобятся три пакета:

• MySQLdb для подключения к базе данных.
• запросы для легко делать http веб-запросы.
• BeautifulSoup для надежной разбор html.

вы можете установить эти пакеты с помощью команд pip или установщиков Windows. Соответствующие инструкции находятся на каждом сайте. Весь процесс не займет больше 10 минут.

import MySQLdb as db
import os.path
import requests
from bs4 import BeautifulSoup

# Connect to the database. Fill in these fields as necessary.

con = db.connect(host='hostname', user='username', passwd='password',
                 db='dbname')

# Create and execute our SELECT sql statement.

select = con.cursor()
select.execute('SELECT filename FROM table_name \
                WHERE format = ? AND description = NULL',
               ('Still Image (JPEG)',))

while True:
    # Fetch a row from the result of the SELECT statement.

    row = select.fetchone()
    if row is None: break

    # Use Python's built-in os.path.splitext to split the extension
    # and get the url_name.

    filename = row[0]
    url_name = os.path.splitext(filename)[0]
    url = 'http://www.website.com/content/' + url_name

    # Make the web request. You may want to rate-limit your requests
    # so that the website doesn't get angry. You can slow down the
    # rate by inserting a pause with:
    #               
    # import time   # You can put this at the top with other imports
    # time.sleep(1) # This will wait 1 second.

    response = requests.get(url)
    if response.status_code != 200:

        # Don't worry about skipped urls. Just re-run this script
        # on spurious or network-related errors.

        print 'Error accessing:', url, 'SKIPPING'
        continue

    # Parse the result. BeautifulSoup does a great job handling
    # mal-formed input.

    soup = BeautifulSoup(response.content)
    description = soup.find('div', {'id': 'description'}).contents

    # And finally, update the database with another query.

    update = db.cursor()
    update.execute('UPDATE table_name SET description = ? \
                    WHERE filename = ?',
                   (description, filename))

Я предупреждаю, что я сделал хорошие усилия, чтобы сделать этот код "выглядеть правильно", но я на самом деле не тестировал его. Вам нужно будет заполнить личные данные.