Получить схему таблицы в Redshift
Здравствуйте я пытаюсь получить схему существующей таблицы. Я разработчик mysql и пытаюсь работать с amazon redshift. Как экспортировать схему существующей таблицы. В mysql мы можем использовать команду show create table.
SHOW CREATE TABLE tblName;
9 ответов
Если вы хотите получить структуру таблицы с помощью инструкции create, ограничений и триггеров, вы можете использовать утилиту pg_dump
pg_dump -U user_name -s -t table_name -d db_name
Note: -s used for schema only dump
if you want to take the data only dump , you can use -a switch.
это выведет синтаксис create со всеми ограничениями. Надеюсь, это поможет вам.
этот запрос даст вам полное определение схемы, включая тип/ключ распределения атрибутов Redshift, ключ сортировки, первичный ключ и кодировки столбцов в виде инструкции create, а также предоставляет инструкцию alter table, которая устанавливает владельца текущему владельцу. Единственное, что он не может сказать вам, это внешние ключи. Я работаю над последним, но есть текущая проблема привилегий в RS, которая мешает нам запрашивать правильные таблицы. Этот запрос может использовать некоторые настройка, но у меня не было времени или необходимости работать дальше.
select pk.pkey, tm.schemaname||'.'||tm.tablename, 'create table '||tm.schemaname||'.'||tm.tablename
||' ('
||cp.coldef
-- primary key
||decode(pk.pkey,null,'',pk.pkey)
-- diststyle and dist key
||decode(d.distkey,null,') diststyle '||dist_style||' ',d.distkey)
--sort key
|| (select decode(skey,null,'',skey) from (select
' sortkey(' ||substr(array_to_string(
array( select ','||cast(column_name as varchar(100)) as str from
(select column_name from information_schema.columns col where col.table_schema= tm.schemaname and col.table_name=tm.tablename) c2
join
(-- gives sort cols
select attrelid as tableid, attname as colname, attsortkeyord as sort_col_order from pg_attribute pa where
pa.attnum > 0 AND NOT pa.attisdropped AND pa.attsortkeyord > 0
) st on tm.tableid=st.tableid and c2.column_name=st.colname order by sort_col_order
)
,'')
,2,10000) || ')' as skey
))
||';'
-- additional alter table queries here to set owner
|| 'alter table '||tm.schemaname||'.'||tm.tablename||' owner to "'||tm.owner||'";'
from
-- t master table list
(
SELECT substring(n.nspname,1,100) as schemaname, substring(c.relname,1,100) as tablename, c.oid as tableid ,use2.usename as owner, decode(c.reldiststyle,0,'EVEN',1,'KEY',8,'ALL') as dist_style
FROM pg_namespace n, pg_class c, pg_user use2
WHERE n.oid = c.relnamespace
AND nspname NOT IN ('pg_catalog', 'pg_toast', 'information_schema')
AND c.relname <> 'temp_staging_tables_1'
and c.relowner = use2.usesysid
) tm
-- cp creates the col params for the create string
join
(select
substr(str,(charindex('QQQ',str)+3),(charindex('ZZZ',str))-(charindex('QQQ',str)+3)) as tableid
,substr(replace(replace(str,'ZZZ',''),'QQQ'||substr(str,(charindex('QQQ',str)+3),(charindex('ZZZ',str))-(charindex('QQQ',str)+3)),''),2,10000) as coldef
from
( select array_to_string(array(
SELECT 'QQQ'||cast(t.tableid as varchar(10))||'ZZZ'|| ','||column_name||' '|| decode(udt_name,'bpchar','char',udt_name) || decode(character_maximum_length,null,'', '('||cast(character_maximum_length as varchar(9))||')' )
-- default
|| decode(substr(column_default,2,8),'identity','',null,'',' default '||column_default||' ')
-- nullable
|| decode(is_nullable,'YES',' NULL ','NO',' NOT NULL ')
-- identity
|| decode(substr(column_default,2,8),'identity',' identity('||substr(column_default,(charindex('''',column_default)+1), (length(column_default)-charindex('''',reverse(column_default))-charindex('''',column_default) ) ) ||') ', '')
-- encoding
|| decode(enc,'none','',' encode '||enc)
as str
from
-- ci all the col info
(
select cast(t.tableid as int), cast(table_schema as varchar(100)), cast(table_name as varchar(100)), cast(column_name as varchar(100)),
cast(ordinal_position as int), cast(column_default as varchar(100)), cast(is_nullable as varchar(20)) , cast(udt_name as varchar(50)) ,cast(character_maximum_length as int),
sort_col_order , decode(d.colname,null,0,1) dist_key , e.enc
from
(select * from information_schema.columns c where c.table_schema= t.schemaname and c.table_name=t.tablename) c
left join
(-- gives sort cols
select attrelid as tableid, attname as colname, attsortkeyord as sort_col_order from pg_attribute a where
a.attnum > 0 AND NOT a.attisdropped AND a.attsortkeyord > 0
) s on t.tableid=s.tableid and c.column_name=s.colname
left join
(-- gives encoding
select attrelid as tableid, attname as colname, format_encoding(a.attencodingtype::integer) AS enc from pg_attribute a where
a.attnum > 0 AND NOT a.attisdropped
) e on t.tableid=e.tableid and c.column_name=e.colname
left join
-- gives dist col
(select attrelid as tableid, attname as colname from pg_attribute a where
a.attnum > 0 AND NOT a.attisdropped AND a.attisdistkey = 't'
) d on t.tableid=d.tableid and c.column_name=d.colname
order by ordinal_position
) ci
-- for the working array funct
), '') as str
from
(-- need tableid
SELECT substring(n.nspname,1,100) as schemaname, substring(c.relname,1,100) as tablename, c.oid as tableid
FROM pg_namespace n, pg_class c
WHERE n.oid = c.relnamespace
AND nspname NOT IN ('pg_catalog', 'pg_toast', 'information_schema')
) t
)) cp on tm.tableid=cp.tableid
-- primary key query here
left join
(select c.oid as tableid, ', primary key '|| substring(pg_get_indexdef(indexrelid),charindex('(',pg_get_indexdef(indexrelid))-1 ,60) as pkey
from pg_index i , pg_namespace n, pg_class c
where i.indisprimary=true
and i.indrelid =c.oid
and n.oid = c.relnamespace
) pk on tm.tableid=pk.tableid
-- dist key
left join
( select
-- close off the col defs after the primary key
')' ||
' distkey('|| cast(column_name as varchar(100)) ||')' as distkey, t.tableid
from information_schema.columns c
join
(-- need tableid
SELECT substring(n.nspname,1,100) as schemaname, substring(c.relname,1,100) as tablename, c.oid as tableid
FROM pg_namespace n, pg_class c
WHERE n.oid = c.relnamespace
AND nspname NOT IN ('pg_catalog', 'pg_toast', 'information_schema')
) t on c.table_schema= t.schemaname and c.table_name=t.tablename
join
-- gives dist col
(select attrelid as tableid, attname as colname from pg_attribute a where
a.attnum > 0 AND NOT a.attisdropped AND a.attisdistkey = 't'
) d on t.tableid=d.tableid and c.column_name=d.colname
) d on tm.tableid=d.tableid
where tm.schemaname||'.'||tm.tablename='myschema.mytable'
недавно я написал скрипт python для клонирования схем таблиц между кластерами redshift. Если вам нужны только столбцы и типы столбцов таблицы, вы можете сделать это через:
select column_name,
case
when data_type = 'integer' then 'integer'
when data_type = 'bigint' then 'bigint'
when data_type = 'smallint' then 'smallint'
when data_type = 'text' then 'text'
when data_type = 'date' then 'date'
when data_type = 'real' then 'real'
when data_type = 'boolean' then 'boolean'
when data_type = 'double precision' then 'float8'
when data_type = 'timestamp without time zone' then 'timestamp'
when data_type = 'character' then 'char('||character_maximum_length||')'
when data_type = 'character varying' then 'varchar('||character_maximum_length||')'
when data_type = 'numeric' then 'numeric('||numeric_precision||','||numeric_scale||')'
else 'unknown'
end as data_type,
is_nullable,
column_default
from information_schema.columns
where table_schema = 'xxx' and table_name = 'xxx' order by ordinal_position
;
но если вам нужны типы сжатия и distkey / sortkeys, вам нужно запросить другую таблицу:
select * from pg_table_def where tablename = 'xxx' and schemaname='xxx';
Я не нашел там никаких полных решений. И написал скрипт python:
https://github.com/cxmcc/redshift_show_create_table
Он будет работать как pg_dump, плюс работа с основными функциями redshift, SORTKEY / DISTKEY/DISTSTYLES и т. д.
в Postgres вы бы запросили каталог.
С psql используйте сокращения для различных команд, список которых вы получите с помощью \? (для справки). Поэтому любой из них:--6-->
\d yourtable
\d+ yourtable
для использования в приложении вам необходимо изучить соответствующие запросы. Это относительно просто, запустив psql -E (для скрытых запросов echo) вместо plain psql.
Если вам нужен точный оператор create table, см. ответ @Anant.
вам нужно получить его программно или из приглашения psql?
в psql используйте: \d+ tablename
программно вы можете запросить стандартные представления INFORMATION_SCHEMA ANSI, задокументированные здесь:
http://www.postgresql.org/docs/9.1/static/information-schema.html
представление information_schema.Таблицы и INFORMATION_SCHEMA.Представления столбцов должны иметь то, что вам нужно.
как показать таблицу не работает на Redshift:
show table <YOUR_TABLE>;
ERROR: syntax error at or near "<YOUR_TABLE>"
мы можем использовать таблицу pg_table_def, чтобы получить схему:
select "column", type, encoding, distkey, sortkey, "notnull"
from pg_table_def
where tablename = '<YOUR_TABLE>';
примечание: если схема не находится на пути поиска, добавьте ее в путь поиска с помощью:
set search_path to '$user', 'public', '<YOUR_SCHEMA>';
один из простых способов сделать это-использовать утилиту, предоставляемую AWS. Все, что вам нужно сделать, это создать представление в базе данных, а затем запросить это представление, чтобы получить любую таблицу ddl. Преимущество использования этого представления заключается в том, что оно даст вам sortkey и distkey, которые использовались в оригинальной команде create table.
https://github.com/awslabs/amazon-redshift-utils/blob/master/src/AdminViews/v_generate_tbl_ddl.sql
после создания представления, чтобы получить ddl любой таблицы. Вам нужно запросить вот так -
select ddl from table where tablename='table_name' and schemaname='schemaname';
Примечание: схема администратора может быть еще не существует в кластере. Таким образом, вы можете создать это представление в public schema.
команда ниже будет работать:
mysql > show create table test.users_info;
Redshift/postgress >pg_dump -U root-w --no-password -h 62.36.11.547 -p 5439 -s -t test.users_info ;