Как я могу сделать пакетную вставку в базу данных Oracle с помощью Python?

У меня есть некоторые ежемесячные данные о погоде, которые я хочу вставить в таблицу базы данных Oracle, но я хочу вставить соответствующие записи в пакет, чтобы быть более эффективным. Может ли кто-нибудь посоветовать, как я буду делать это в Python?

например, предположим, что моя таблица имеет четыре поля: идентификатор станции, дату и два поля значений. Записи идентифицируются по идентификатору станции и полей (составной ключ). Значения, которые я должен буду вставить для каждой станции будет храниться в списке с X количеством полных лет данных, поэтому, например, если есть два года значений, то списки значений будут содержать 24 значения.

Я предполагаю, что ниже я бы сделал это, если бы хотел вставить записи по одному:

connection_string = "scott/tiger@testdb"
connection = cx_Oracle.Connection(connection_string)
cursor = cx_Oracle.Cursor(connection)
station_id = 'STATION_1'
start_year = 2000

temps = [ 1, 3, 5, 7, 9, 1, 3, 5, 7, 9, 1, 3 ]
precips = [ 2, 4, 6, 8, 2, 4, 6, 8, 2, 4, 6, 8 ]
number_of_years = len(temps) / 12
for i in range(number_of_years):
    for j in range(12):
        # make a date for the first day of the month
        date_value = datetime.date(start_year + i, j + 1, 1)
        index = (i * 12) + j
        sql_insert = 'insert into my_table (id, date_column, temp, precip) values (%s, %s, %s, %s)', (station_id, date_value, temps[index], precips[index]))
        cursor.execute(sql_insert)
connection.commit()

есть ли способ сделать то, что я делаю выше, но таким образом, чтобы выполнить пакетную вставку для повышения эффективности? Кстати, мой опыт работы с Java/JDBC / Hibernate, поэтому, если кто-то может дать объяснение / пример, который сравнивается с подходом Java, тогда это было бы особенно полезно.

EDIT: возможно, мне нужно использовать курсор.executemany (), как описано здесь?

заранее спасибо за любые предложения, замечания и т. д.

11
batch-insert cx-oracle oracle python python-2.7

5 ответов

вот что я придумал, что, похоже, работает хорошо (но, пожалуйста, прокомментируйте, если есть способ улучшить это):

# build rows for each date and add to a list of rows we'll use to insert as a batch 
rows = [] 
numberOfYears = endYear - startYear + 1
for i in range(numberOfYears):
    for j in range(12):
        # make a date for the first day of the month
        dateValue = datetime.date(startYear + i, j + 1, 1)
        index = (i * 12) + j
        row = (stationId, dateValue, temps[index], precips[index])
        rows.append(row)

# insert all of the rows as a batch and commit
ip = '192.1.2.3' 
port = 1521
SID = 'my_sid'
dsn = cx_Oracle.makedsn(ip, port, SID)
connection = cx_Oracle.connect('username', 'password', dsn)
cursor = cx_Oracle.Cursor(connection)
cursor.prepare('insert into ' + database_table_name + ' (id, record_date, temp, precip) values (:1, :2, :3, :4)')
cursor.executemany(None, rows)
connection.commit()
cursor.close()
connection.close()
16

использовать Cursor.prepare() и Cursor.executemany().

С документация по cx_Oracle:

Cursor.prepare(сообщении[, tag])

Это можно использовать перед вызовом execute () для определения оператора, который будет выполняться. Когда это будет сделано, фаза подготовки не будет выполнена, когда вызов execute () выполняется с помощью None или того же строкового объекта, что и оператор. [...]

Cursor.executemany(сообщении, параметры)

подготовьте инструкцию для выполнения с базой данных, а затем выполните ее со всеми сопоставлениями параметров или последовательностями, найденными в параметрах последовательности. Оператор управляется так же, как им управляет метод execute ().

таким образом, используя вышеуказанные две функции, ваш код становится:

connection_string = "scott/tiger@testdb"
connection = cx_Oracle.Connection(connection_string)
cursor = cx_Oracle.Cursor(connection)
station_id = 'STATION_1'
start_year = 2000

temps = [ 1, 3, 5, 7, 9, 1, 3, 5, 7, 9, 1, 3 ]
precips = [ 2, 4, 6, 8, 2, 4, 6, 8, 2, 4, 6, 8 ]
number_of_years = len(temps) / 12

# list comprehension of dates for the first day of the month
date_values = [datetime.date(start_year + i, j + 1, 1) for i in range(number_of_years) for j in range(12)]

# second argument to executemany() should be of the form:
# [{'1': value_a1, '2': value_a2}, {'1': value_b1, '2': value_b2}]
dict_sequence = [{'1': date_values[i], '2': temps[i], '3': precips[i]} for i in range(1, len(temps))]

sql_insert = 'insert into my_table (id, date_column, temp, precip) values (%s, :1, :2, :3)', station_id)
cursor.prepare(sql_insert)
cursor.executemany(None, dict_sequence)
connection.commit()

Также см. Oracle Освоение Oracle + Python ряд статей.

8

как говорится в одном из комментариев, рассмотрите возможность использования INSERT ALL. Предположительно, это будет значительно быстрее, чем использование executemany().

например:

INSERT ALL
  INTO mytable (column1, column2, column_n) VALUES (expr1, expr2, expr_n)
  INTO mytable (column1, column2, column_n) VALUES (expr1, expr2, expr_n)
  INTO mytable (column1, column2, column_n) VALUES (expr1, expr2, expr_n)
SELECT * FROM dual;

http://www.techonthenet.com/oracle/questions/insert_rows.php

3

Я бы создал большой оператор SQL insert, используя union:

insert into mytable(col1, col2, col3)
select a, b, c from dual union
select d, e, f from dual union
select g, h, i from dual

вы можете построить строку в python и дать ее oracle как один оператор для выполнения.

2

FYI мой результат теста:

я вставляю в 5000 строк. 3 столбца на строку.

  1. запустите вставку 5000 раз, это стоит 1.24 минут.
  2. запуск с executemany, он стоит 0,125 секунды.
  3. run с вставкой всего кода: он стоит 4,08 минуты.

код python, который настраивает sql как вставить все в t(a, b, c) выберите: 1,: 2,: 3 от двойного соединения все выберите :4,: 5:: 6 от daul...

код python для настройка этого длинного sql, это стоило 0.145329 секунд.

Я тестирую свой код на очень старой машине sun. процессор: 1415 MH.

в третьем случае я проверил сторону базы данных, событие ожидания - "SQL * Net больше данных от клиента". это означает, что сервер ожидает больше данных от клиента.

результат третьего метода невероятен для меня без теста.

поэтому короткое предложение от меня-просто использовать executemany.

1