совместное использование a: memory: database между различными потоками в python с помощью пакета sqlite3

Я хотел бы создать: memory: database в python и получить к нему доступ из разных потоков. По существу что-то вроде:

class T(threading.Thread):
    def run(self):
        self.conn = sqlite3.connect(':memory:')
        # do stuff with the database

for i in xrange(N):
    T().start()

и имеют все соединения, ссылающиеся на одну и ту же базу данных.

Я знаю о прохождении check_same_thread=True для функции connect и совместного использования связь между потоками, но хотелось бы избежать этого, если возможно. Спасибо за любую помощь.

EDIT: исправлена опечатка. Я изначально сказал: "имейте все связи, относящиеся к тому же потоку" подставляя поток для базы данных.

13
python python-multithreading sqlite sqlite3

2 ответов

без взлома самой библиотеки sqlite3 вы не можете повторно использовать :memory: база данных, потому что она гарантированно будет эксклюзивной и частной для каждого соединения. Чтобы взломать доступ к нему, посмотрите ближе на src/pager.c в дистрибутиве sqlite3 (не дистрибутив модуля Python). Возможно, наиболее удобным способом реализовать это было бы make :memory:00, :memory:something, :memory:okay_hai etc. псевдонимы для адреса разные pPager->memDb указатели через некоторое простое отображение C-стороны.

6

SQLite улучшился за последние 4 года, поэтому теперь доступны общие базы данных в памяти. Проверьте следующий код:

import sqlite3

foobar_uri = 'file:foobar_database?mode=memory&cache=shared'
not_really_foobar_uri = 'file:not_really_foobar?mode=memory&cache=shared'

# connect to databases in no particular order
db2 = sqlite3.connect(foobar_uri, uri=True)
db_lol = sqlite3.connect(not_really_foobar_uri, uri=True)
db1 = sqlite3.connect(foobar_uri, uri=True)

# create cursor as db2
cur2 = db2.cursor()

# create table as db2
db2.execute('CREATE TABLE foo (NUMBER bar)')

# insert values as db1
db1.execute('INSERT INTO foo VALUES (42)')
db1.commit()

# and fetch them from db2 through cur2
cur2.execute('SELECT * FROM foo')
print(cur2.fetchone()[0])  # 42

# test that db_lol is not shared with db1 and db2
try:
    db_lol.cursor().execute('SELECT * FROM foo')
except sqlite3.OperationalError as exc:
    print(exc)  # just as expected

доступ к базе данных намеренно запутан, чтобы показать, что два соединения с базой данных в памяти с тем же именем одинаковы с точки зрения SQLite.

ссылки:

  1. SQLite URIs
  2. SQLite общий кэш

к сожалению, соединение по URI доступно только с Python 3.4. Однако, если у вас есть Python 2.6 или более поздняя версия (но не Python 3), builtin sqlite3 модуль все еще способен импортировать соединения APSW, которые можно использовать для достижения того же эффекта. Вот идет drop-in sqlite3 замена модуля:

from sqlite3 import *
from sqlite3 import connect as _connect
from apsw import Connection as _ApswConnection
from apsw import SQLITE_OPEN_READWRITE as _SQLITE_OPEN_READWRITE
from apsw import SQLITE_OPEN_CREATE as _SQLITE_OPEN_CREATE
from apsw import SQLITE_OPEN_URI as _SQLITE_OPEN_URI

# APSW and pysqlite use different instances of sqlite3 library, so initializing
# APSW won't help pysqlite. Because pysqlite does not expose any way to
# explicitly call sqlite3_initialize(), here goes an ugly hack. This only has
# to be done once per process.
_connect(':memory:').close()

def connect(database, timeout=5.0, detect_types=0, isolation_level=None,
            check_same_thread=True, factory=Connection, cached_statements=100,
            uri=False):
    flags = _SQLITE_OPEN_READWRITE | _SQLITE_OPEN_CREATE

    if uri:
        flags |= _SQLITE_OPEN_URI

    db = _ApswConnection(database, flags, None, cached_statements)
    conn = _connect(db, timeout, detect_types, isolation_level, 
                    check_same_thread, factory, cached_statements)

    return conn
27