Как установить значение поля составной переменной с помощью динамического SQL

учитывая это типа:

-- Just for testing purposes:
CREATE TYPE testType as (name text)

Я могу получить значение поля динамически с помощью этой функции:

CREATE OR REPLACE FUNCTION get_field(object anyelement, field text) RETURNS text as
$BODY$
DECLARE
    value text;
BEGIN
    EXECUTE 'SELECT ."' || field || '"'
      USING object
       INTO value;

    return value;
END;
$BODY$
LANGUAGE plpgsql

вызов get_field('(david)'::testType, 'name') работает, как ожидалось, возвращая "david".

но как я могу установить значение поля в составной тип? Я пробовал эти функции:

CREATE OR REPLACE FUNCTION set_field_try1(object anyelement, field text, value text)
RETURNS anyelement
as
$BODY$
DECLARE
    value text;
BEGIN
    EXECUTE '."' || field || '" := '
      USING object, value;

    return object;
END;
$BODY$
LANGUAGE plpgsql

CREATE OR REPLACE FUNCTION set_field_try2(object anyelement, field text, value text)
RETURNS anyelement
as
$BODY$
DECLARE
    value text;
BEGIN
    EXECUTE 'SELECT  INTO ."' || field || '"'
      USING value, object;

    return object;
END;
$BODY$
LANGUAGE plpgsql

CREATE OR REPLACE FUNCTION set_field_try3(object anyelement, field text, value text)
RETURNS anyelement
as
$BODY$
DECLARE
    value text;
BEGIN
    EXECUTE 'BEGIN ."' || field || '" := ; SELECT ; END;'
       INTO object
      USING value, object;

    return object;
END;
$BODY$
LANGUAGE plpgsql

и некоторые вариации. Зову set_field_tryX не работает. Я всегда получаю " ERROR: синтаксическая ошибка at или near...". Как я могу достичь это?

Примечания:

  • параметр anyelement и поле может быть любым полем в составном типе. Я не могу просто использовать объект.имя.
  • меня беспокоит SQL-инъекция. Любой совет в этом был бы оценен, но это не мой вопрос.
9
composite plpgsql postgresql stored-procedures types

6 ответов

быстрее hstore

С Postgres 9.0 С дополнительные модули hstore установлено в вашей базе данных есть очень простое и быстрое решение с #= оператор что ...

заменить поля[s] в record с соответствующими значениями от hstore.

для установки модуль:

CREATE EXTENSION hstore;

примеры:

SELECT my_record #= '"field"=>"value"'::hstore;  -- with string literal
SELECT my_record #= hstore(field, value);        -- with values

значения должны быть приведены к text и обратно, очевидно.

пример функций plpgsql с более подробной информацией:

почти так же быстро, с json

есть похожие, но в настоящее время недокументированные (по состоянию на стр. 9.5) решения с json (стр. 9.3+) или jsonb (стр. 9.4+), встроенный в Postgres, поэтому вам не нужен дополнительный модуль.

Подробнее см. в добавленном ответе @Geir.

без hstore и json

если вы находитесь на старой версии или не можете установить дополнительный модуль hstore или не может предположить, что он установлен, вот улучшенная версия того, что я опубликовал ранее. Еще медленнее, чем hstore оператор, хотя:

CREATE OR REPLACE FUNCTION f_setfield(INOUT _comp_val anyelement
                                          , _field text, _val text)
  RETURNS anyelement AS
$func$
BEGIN

EXECUTE 'SELECT ' || array_to_string(ARRAY(
      SELECT CASE WHEN attname = _field
                THEN ''
                ELSE '().' || quote_ident(attname)
             END AS fld
      FROM   pg_catalog.pg_attribute
      WHERE  attrelid = pg_typeof(_comp_val)::text::regclass
      AND    attnum > 0
      AND    attisdropped = FALSE
      ORDER  BY attnum
      ), ',')
USING  _comp_val, _val
INTO   _comp_val;

END
$func$ LANGUAGE plpgsql STABLE;

звоните:

CREATE TEMP TABLE t( a int, b text);  -- Composite type for testing
SELECT f_setfield(NULL::t, 'a', '1');

Примечания

  • явное приведение значения _val для целевого типа данных не требуется, строковый литерал в динамическом запросе будет принудительно автоматически, устраняя вложенный запрос на pg_type. Но я сделал еще один шаг:--48-->

  • заменить quote_literal(_val) С прямой вставкой значения через USING предложения. Сохраняет один вызов функции и два броска, и безопаснее в любом случае. text автоматически принуждается к целевому типу в современном PostgreSQL. (Не тестовой версии до 9.1.)

  • array_to_string(ARRAY()) быстрее string_agg().

  • переменные не нужны, ни DECLARE. Меньше заданий.

  • нет вложенного запроса в динамическом SQL. ().field быстрее.

  • pg_typeof(_comp_val)::text::regclass
    делает то же самое, что
    (SELECT typrelid FROM pg_catalog.pg_type WHERE oid = pg_typeof()::oid)
    для действительного композита типы, только быстрее.
    Это последняя модификация построена на предположении, что pg_type.typname всегда идентично связанному pg_class.relname для зарегистрированных составных типов, и двойное бросание может заменить подзапрос. Я запустил этот тест в большой базе данных для проверки, и он оказался пустым, как и ожидалось:

    SELECT *
FROM   pg_catalog.pg_type t
JOIN   pg_namespace  n ON n.oid = t.typnamespace
WHERE  t.typrelid > 0  -- exclude non-composite types
AND    t.typrelid IS DISTINCT FROM
      (quote_ident(n.nspname ) || '.' || quote_ident(typname))::regclass

  • использование INOUT параметр устраняет необходимость в явном RETURN. Это просто нотационный ярлык. Павлу это не понравится, он предпочитает явное RETURN заявление ...

все вместе это почти в два раза быстрее как и предыдущая версия.

Оригинал (устаревшее) ответ:

результатом является версия, которая ~ 2.25 раза быстрее. Но я, вероятно, не смог бы этого сделать, не опираясь на вторую версию Павла.

кроме того, эта версия избегает большей части кастинга к тексту и обратно, делая все в рамках одного запроса, поэтому он должен быть гораздо менее подвержен ошибкам.
Протестировано с помощью PostgreSQL 9.0 и 9.1.

CREATE FUNCTION f_setfield(_comp_val anyelement, _field text, _val text)
  RETURNS anyelement AS
$func$
DECLARE
   _list text;
BEGIN
_list := (
   SELECT string_agg(x.fld, ',')
   FROM  (
      SELECT CASE WHEN a.attname = 
              THEN quote_literal() || '::'|| (SELECT quote_ident(typname)
                                                FROM   pg_catalog.pg_type
                                                WHERE  oid = a.atttypid)
              ELSE quote_ident(a.attname)
             END AS fld
      FROM   pg_catalog.pg_attribute a 
      WHERE  a.attrelid = (SELECT typrelid
                           FROM   pg_catalog.pg_type
                           WHERE  oid = pg_typeof()::oid)
      AND    a.attnum > 0
      AND    a.attisdropped = false
      ORDER  BY a.attnum
      ) x
   );

EXECUTE 'SELECT ' || _list || ' FROM  (SELECT .*) x'
USING  
INTO   ;

RETURN ;
END
$func$ LANGUAGE plpgsql STABLE;
12

Я написал вторую версию функции setfield. Он работает на postgres 9.1 Я не тестировал его на более старых версиях. Это не чудо (с точки зрения производительности), но он более надежный и примерно в 8 раз быстрее, чем предыдущий.

CREATE OR REPLACE FUNCTION public.setfield2(anyelement, text, text)
 RETURNS anyelement
 LANGUAGE plpgsql
AS $function$
DECLARE 
  _name text;
  _values text[];
  _value text;
  _attnum int;
BEGIN
  FOR _name, _attnum
     IN SELECT a.attname, a.attnum
          FROM pg_catalog.pg_attribute a 
         WHERE a.attrelid = (SELECT typrelid
                               FROM pg_type
                              WHERE oid = pg_typeof()::oid)
           AND a.attnum > 0 
  LOOP
    IF _name =  THEN
      _value := ;
    ELSE
      EXECUTE 'SELECT (().' || quote_ident(_name) || ')::text' INTO _value USING ;
    END IF;
    _values[_attnum] :=  COALESCE('"' || replace(replace(_value, '"', '""'), '''', '''''') || '"', ''); 
  END LOOP;
  EXECUTE 'SELECT (' || quote_ident(pg_typeof()::text) || ' ''(' || array_to_string(_values,',') || ')'').*' INTO ; 
  RETURN ;
END;
$function$;
6

обновление/осторожно: Эрвин указывает, что это в настоящее время без документов и руководство указывает, что таким образом изменить записи невозможно.

используйте hstore или Павла вместо.

Это простое решение на основе json почти так же быстро, как hstore, и требует только Postgres 9.3 или новее. Это должно быть хорошим вариантом, если вы не можете использовать расширение hstore и разница в производительности должна быть незначительной. Ориентиры: https://stackoverflow.com/a/28673542/1914376

a) мы можем либо сделать это inline с помощью cast/concat. Функция Json требует Postgres 9.3:

SELECT json_populate_record( 
     record
    , ('{"'||'key'||'":"'||'new-value'||'"}')::json
);

b) или inline с помощью функций из Postgres 9.4. 

SELECT json_populate_record (
      record
     ,json_object(ARRAY['key', 'new-value'])
);

Примечание: я выбрал JSON_OBJECT (ARRAY[key, value]), так как он был немного быстрее,чем json_build_object(key, value):

скрыть детали литья вы можете использовать a) в функции, с небольшими накладными расходами.

CREATE FUNCTION x.setfield_json(in_element anyelement, key text, value text)
    RETURNS anyelement AS
$BODY$
    SELECT json_populate_record( in_element, ('{"'||key||'":"'||value||'"}')::json);
$BODY$ LANGUAGE sql;
3

"SELECT INTO" вне plpgsql (в контексте динамического SQL) имеет другой смысл, чем вы ожидаете - он хранит результат запроса к таблице.

модификация любого поля возможна, но не простая

CREATE OR REPLACE FUNCTION public.setfield(a anyelement, text, text)
RETURNS anyelement
LANGUAGE plpgsql
AS $function$
begin
  create temp table aux as select .*;
  execute 'update aux set ' || quote_ident() || ' = ' || quote_literal();
  select into  * from aux;
  drop table aux;
  return ;
end;
$function$

но этот код не очень эффективен - невозможно написать это хорошо в plpgsql. Вы можете найти некоторую библиотеку C, что должно сделать.

2

настройка тестирования и тесты v2

Эрвин призвал воспроизвести свой бенчмарк в этой теме (https://stackoverflow.com/a/7782839/1914376), поэтому я изменил его код с помощью синтетических тестовых данных и добавил как решение hstore, так и решение json из моего ответа (и решение JSON Павла, найденное в другом потоке), теперь бенчмарк запускается как один запрос, что облегчает захват результатов.

DROP SCHEMA IF EXISTS x CASCADE;
CREATE SCHEMA x;


-- Pavel 1:
--------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION x.setfield(anyelement, text, text)
RETURNS anyelement
LANGUAGE plpgsql
AS $function$
begin
  create temp table aux as select .*;
  execute 'update aux set ' || quote_ident() || ' = ' || quote_literal();
  select into  * from aux;
  drop table aux;
  return ;
end;
$function$;


-- Pavel 2 (with patches)
--------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION x.setfield2(anyelement, text, text)
 RETURNS anyelement
 LANGUAGE plpgsql
AS $function$
DECLARE
  _name text;
  _values text[];
  _value text;
  _attnum int;
BEGIN
  FOR _name, _attnum
     IN SELECT a.attname, a.attnum
           FROM pg_catalog.pg_attribute a
          WHERE a.attrelid = (SELECT typrelid
                                 FROM pg_type
                                WHERE oid = pg_typeof()::oid)
  LOOP
    IF _name =  THEN
      _value := ;
    ELSE
      EXECUTE 'SELECT (().' || quote_ident(_name) || ')::text' INTO _value USING ;
    END IF;
    _values[_attnum] :=  COALESCE('"' || replace(replace(_value, '"', '""'), '''', '''''') || '"', '');
  END LOOP;
  EXECUTE 'SELECT (' || pg_typeof()::text || '''(' || array_to_string(_values,',') || ')'').*' INTO ;
  RETURN ;
END;
$function$;


-- Erwin 1
--------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION x.setfield3(anyelement, text, text)
RETURNS anyelement
AS $body$
DECLARE
 _list text;

BEGIN
_list := (
   SELECT string_agg(x.fld, ',')
   FROM   (
      SELECT CASE WHEN a.attname = 
              THEN quote_literal()
              ELSE quote_ident(a.attname)
             END AS fld
      FROM   pg_catalog.pg_attribute a
      WHERE  a.attrelid = (SELECT typrelid
                           FROM   pg_type
                           WHERE  oid = pg_typeof()::oid)
      ORDER BY a.attnum
   ) x
);

EXECUTE '
SELECT ' || _list || '
FROM   (SELECT .*) x'
USING  
INTO   ;

RETURN ;
END;
$body$ LANGUAGE plpgsql;


-- Erwin 2
--------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION x.setfield4(INOUT _comp_val anyelement
                                       , _field text, _val text)
  RETURNS anyelement AS
$func$
BEGIN

EXECUTE 'SELECT ' || array_to_string(ARRAY(
      SELECT CASE WHEN attname = _field
                THEN ''
                ELSE '().' || quote_ident(attname)
             END AS fld
      FROM   pg_catalog.pg_attribute
      WHERE  attrelid = pg_typeof(_comp_val)::text::regclass
      AND    attnum > 0
      AND    attisdropped = FALSE
      ORDER  BY attnum
      ), ',')
USING  _comp_val, _val
INTO   _comp_val;

END
$func$ LANGUAGE plpgsql;


-- Pavel 3: json. (Postgres 9.4)
-- Found here: https://stackoverflow.com/a/28284491/1914376
--------------------------------------------------------------------------------------------------
CREATE OR REPLACE FUNCTION x.setfield5(r anyelement, fn text, val text,OUT result anyelement)
 RETURNS anyelement
 LANGUAGE plpgsql
AS $function$
declare jo json;
begin
  jo := (select json_object(array_agg(key), 
                            array_agg(case key when fn then val
                                               else value end)) 
            from json_each_text(row_to_json(r)));
  result := json_populate_record(r, jo);
end;
$function$;


-- Json. Use built-in json functions (Postgres 9.3)
-- This is available from 9.3 since we create json by casting 
-- instead of using json_object/json_build_object only available from 9.4
--------------------------------------------------------------------------------------------------
CREATE FUNCTION x.setfield_json(in_element anyelement, key text, value text)
    RETURNS anyelement AS
$BODY$
    SELECT json_populate_record( in_element, ('{"'||key||'":"'||value||'"}')::json);
$BODY$ LANGUAGE sql;



--------------------------------------------------------------------------------------------------
-- Test setup
--------------------------------------------------------------------------------------------------

-- composite type for tests.
CREATE TYPE x.t_f as (
 id       int
,company  text
,sort     text
,log_up   timestamp
,log_upby smallint
);

-- Create temp table with synthetic test data
DROP TABLE IF EXISTS tmp_f;
CREATE TEMP table tmp_f AS
   SELECT ROW(i, 'company'||i, NULL, NULL, NULL)::x.t_f AS f
   FROM generate_series(1, 5000) S(i);



-- Run the benchmark
DO $$  DECLARE  start_time timestamptz; test_count integer; test_description TEXT; BEGIN

    test_count := 200;
    test_description := 'setfield, Pavel 1: temptable';
    start_time := clock_timestamp();    
    PERFORM x.setfield (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'setfield2, Pavel 2: reflection';
    start_time := clock_timestamp();
    PERFORM x.setfield2 (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'setfield3, Erwin 1: reflection';
    start_time := clock_timestamp();
    PERFORM x.setfield3 (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'setfield4, Erwin 2: reflection';
    start_time := clock_timestamp();
    PERFORM x.setfield4 (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'setfield5, Pavel 3: json (PG 9.4)';
    start_time := clock_timestamp();
    PERFORM x.setfield5 (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'setfield_json, Geir 1: casting (PG 9.3)';
    start_time := clock_timestamp();
    PERFORM x.setfield_json (f, 'company','new-value-'||md5(random()::text)) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    --json_object(ARRAY(key,value]) is actually faster than json_build_object(key, value)
    test_count := 5000;
    test_description := 'no function/inlined: json_object (PG 9.4)';
    start_time := clock_timestamp();
    PERFORM json_populate_record( f, json_object(ARRAY['company', 'new-value'||md5(random()::text)]  )) FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

    test_count := 5000;
    test_description := 'no function/inlined: hstore (PG 9.0)';
    start_time := clock_timestamp();
    PERFORM f #= hstore('company', 'new-value'||md5(random()::text))  FROM tmp_f LIMIT test_count;
    RAISE NOTICE 'Test took: % ms (for % rows) Name: %', extract(MILLISECONDS FROM (clock_timestamp() - start_time))::INTEGER, test_count, test_description;

END; $$;

результаты теста на 9.4.1, win32, в i5-4300U

NOTICE:  Test took: 1138 ms (for 200 rows) Name: setfield, Pavel 1: temptable
NOTICE:  Test took: 652 ms (for 5000 rows) Name: setfield2, Pavel 2: reflection
NOTICE:  Test took: 364 ms (for 5000 rows) Name: setfield3, Erwin 1: reflection
NOTICE:  Test took: 275 ms (for 5000 rows) Name: setfield4, Erwin 2: reflection
NOTICE:  Test took: 192 ms (for 5000 rows) Name: setfield5, Pavel 3: json (PG 9.4)
NOTICE:  Test took: 23 ms (for 5000 rows) Name: setfield_json, Geir 1: casting (PG 9.3)
NOTICE:  Test took: 25 ms (for 5000 rows) Name: no function/inlined: json_object (PG 9.4)
NOTICE:  Test took: 14 ms (for 5000 rows) Name: no function/inlined: hstore (PG 9.0)
1

Обновление Март 2015 Года:
В значительной степени устарел. Рассмотрим новый бенчмарк от @Geir быстрее вариантов.

настройка тестирования и тесты

Я взял три решения, представленные (к октябрю. 16th, 2011) и провел тест на PostgreSQL 9.0. Полная настройка приведена ниже. Только тестовые данные не включены, поскольку я использовал реальную базу данных (а не синтетические данные). Все это инкапсулировано в свою собственную схему для неинтрузивного использовать.

Я хотел бы призвать всех, кто хочет воспроизводить тест. Может быть, с postgres 9.1? И добавить свои результаты здесь? :)

-- DROP SCHEMA x CASCADE;
CREATE SCHEMA x;

-- Pavel 1
CREATE OR REPLACE FUNCTION x.setfield(anyelement, text, text)
RETURNS anyelement
LANGUAGE plpgsql
AS $function$
begin
  create temp table aux as select .*;
  execute 'update aux set ' || quote_ident() || ' = ' || quote_literal();
  select into  * from aux;
  drop table aux;
  return ;
end;
$function$;

-- Pavel 2 (with patches)
CREATE OR REPLACE FUNCTION x.setfield2(anyelement, text, text)
 RETURNS anyelement
 LANGUAGE plpgsql
AS $function$
DECLARE 
  _name text;
  _values text[];
  _value text;
  _attnum int;
BEGIN
  FOR _name, _attnum
     IN SELECT a.attname, a.attnum
           FROM pg_catalog.pg_attribute a 
          WHERE a.attrelid = (SELECT typrelid
                                 FROM pg_type
                                WHERE oid = pg_typeof()::oid) 
  LOOP
    IF _name =  THEN
      _value := ;
    ELSE
      EXECUTE 'SELECT (().' || quote_ident(_name) || ')::text' INTO _value USING ;
    END IF;
    _values[_attnum] :=  COALESCE('"' || replace(replace(_value, '"', '""'), '''', '''''') || '"', '');
  END LOOP;
  EXECUTE 'SELECT (' || pg_typeof()::text || '''(' || array_to_string(_values,',') || ')'').*' INTO ; 
  RETURN ;
END;
$function$;

-- Erwin 1
CREATE OR REPLACE FUNCTION x.setfield3(anyelement, text, text)
RETURNS anyelement
AS $body$
DECLARE
 _list text;

BEGIN
_list := (
   SELECT string_agg(x.fld, ',')
   FROM   (
      SELECT CASE WHEN a.attname = 
              THEN quote_literal()
              ELSE quote_ident(a.attname)
             END AS fld
      FROM   pg_catalog.pg_attribute a 
      WHERE  a.attrelid = (SELECT typrelid
                           FROM   pg_type
                           WHERE  oid = pg_typeof()::oid) 
      ORDER BY a.attnum
   ) x
);

EXECUTE '
SELECT ' || _list || '
FROM   (SELECT .*) x'
USING  
INTO   ;

RETURN ;
END;
$body$ LANGUAGE plpgsql;

-- composite type for tests.
CREATE TYPE x.t_f as (
 id       int
,company  text
,sort     text
,log_up   timestamp 
,log_upby smallint
);

-- temp table with real life test data
DROP   TABLE IF EXISTS tmp_f;
CREATE TEMP table tmp_f AS 
   SELECT ROW(firma_id,firma,sort,log_up,log_upby)::x.t_f AS f
   FROM   ef.firma
   WHERE  firma !~~ '"%';

-- SELECT count(*) FROM tmp_f;  -- 5183

-- Quick test: results are identical?
SELECT *,
       x.setfield (f, 'company','test')
      ,x.setfield2(f, 'company','test')
      ,x.setfield3(f, 'company','test')
 FROM tmp_f
LIMIT 10;

критерии

Я проверил запросы пару раз, чтобы заполнить кэш. Представленные результаты являются лучшими из пяти общих периодов выполнения с EXPLAIN ANALYZE.

американских газетах круглый с 1000 строк

первый прототип Павла выводит общую память с большим количеством строк.

Павел 1: 2445.112 ms 

SELECT x.setfield (f, 'company','test') FROM tmp_f limit 1000;

Павел 2: 263.753 ms 

SELECT x.setfield2(f, 'company','test') FROM tmp_f limit 1000;

Erwin 1: 120.671 ms 

SELECT x.setfield3(f, 'company','test') FROM tmp_f limit 1000;

еще один тест с 5183 строк.

Павел 2: 1327.429 ms 

SELECT x.setfield2(f, 'company','test') FROM tmp_f;

Erwin1: 588.691 ms 

SELECT x.setfield3(f, 'company','test') FROM tmp_f;
1