Как вывести результаты запроса MySQL в формате CSV?

есть ли простой способ запустить запрос MySQL из командной строки Linux и вывести результаты в CSV-файла ?

вот что я сейчас делаю:

mysql -u uid -ppwd -D dbname << EOQ | sed -e 's/        /,/g' | tee list.csv
select id, concat(""",name,""") as name
from students
EOQ

Он будет грязным, когда есть много столбцов, которые должны быть заключены в кавычки, или если есть кавычки в результатах, которые должны быть экранированы.

957
csv mysql quotes

28 ответов

от http://www.tech-recipes.com/rx/1475/save-mysql-query-results-into-a-text-or-csv-file/

SELECT order_id,product_name,qty
FROM orders
WHERE foo = 'bar'
INTO OUTFILE '/var/lib/mysql-files/orders.csv'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

С помощью этой команды имена столбцов не будут экспортироваться.

также обратите внимание, что /var/lib/mysql-files/orders.csv будет сервер это работает MySQL. Пользователь, под которым выполняется процесс MySQL, должен иметь разрешения на запись в выбранный каталог, или команда завершится ошибкой.

Если вы хотите записать вывод на локальный машина с удаленного сервера (особенно размещенная или виртуализированная машина, такая как Heroku или Amazon RDS), это решение не подходит.

1470
$ mysql your_database --password=foo < my_requests.sql > out.csv

который разделен вкладкой. Передайте это так, чтобы получить истинный CSV (спасибо @therefromhere):

... .sql | sed 's/\t/,/g' > out.csv
370

mysql --batch, - B

печать результатов с помощью tab в качестве разделителя столбцов, с каждой строкой на новая линия. С этой опцией mysql не использует файл истории. Пакетный режим в табличный формат и экранирование особые символы. Экранирование может быть отключено с помощью режима raw; см. описание для параметра --raw.

Это даст вам через вкладку Файл. Поскольку запятые (или строки, содержащие запятую) не экранируются изменить разделитель на запятую не так просто.

174

здесь довольно грубый способ сделать это. Нашли его где-то, не могу взять кредит

mysql --user=wibble --password wobble -B -e "select * from vehicle_categories;" | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > vehicle_categories.csv

работает довольно хорошо. Еще раз, хотя регулярное выражение доказывает только запись.

Regex Объяснение:

  • s / / /означает заменить то, что между первым / / с тем, что между вторым//
  • "g "в конце является модификатором, который означает"весь экземпляр, а не только первый"
  • ^ (в этом контексте) означает начало строки
  • $ (в этом контексте) означает конец строки

Итак, собирая все вместе:

s/'/\'/          replace ' with \'
s/\t/\",\"/g     replace all \t (tab) with ","
s/^/\"/          at the beginning of the line place a "
s/$/\"/          at the end of the line place a "
s/\n//g          replace all \n (newline) with nothing
117

Unix/Cygwin только, труба его через 'tr':

mysql <database> -e "<query here>" | tr '\t' ',' > data.csv

N. B.: Это не обрабатывает ни встроенные запятые, ни встроенные вкладки.

75

решение OUTFILE, данное полом Томблином, заставляет файл быть записанным на самом сервере MySQL, поэтому это будет работать, только если у вас есть доступ, а также доступ для входа в систему или другие средства для извлечения файла из этого поля.

Если у вас нет такого доступа, а вывод с разделителями табуляции является разумной заменой CSV (например, если ваша конечная цель-импортировать в Excel), то решение Serbaut (используя mysql --batch и дополнительно --raw) - это путь.

34

Это спасло меня пару раз. Быстро и работает!

--batch

--raw

пример:

sudo mysql -udemo_user -p -h127.0.0.1 --port=3306 \
   --default-character-set=utf8 --database=demo_database \
   --batch --raw < /var/demo_sql_query.sql > /var/demo_csv_export.csv
33

Как насчет: 

mysql your_database -p < my_requests.sql | awk '{print ","}' > out.csv
31

MySQL Workbench может экспортировать наборы записей в CSV, и, похоже, очень хорошо обрабатывает запятые в полях. CSV открывается в OpenOffice fine.

30

все решения здесь на сегодняшний день, кроме MySQL workbench one, неверны и вполне возможно небезопасны (т. е. проблемы безопасности) для по крайней мере некоторого возможного содержимого в MySQL db.

MySQL Workbench (и аналогично PHPMyAdmin) предоставляют формально правильное решение, но предназначены для загрузки вывода в местоположение пользователя. Они не так полезны для таких вещей, как автоматизация экспорта данных.

невозможно создать надежно правильный csv из выход mysql -B -e 'SELECT ...' потому что это не может кодировать возврат каретки и пробел в полях. Флаг' - s ' для mysql делает обратный Слэш, экранирующий, и может привести к правильному решению. Однако использование языка сценариев (с приличными внутренними структурами данных, а не bash) и библиотек, где проблемы кодирования уже были тщательно проработаны, намного безопаснее.

Я думал о написании сценария для этого, но как только я подумал о том, как бы это назвать, мне пришло в голову для поиска существующего одноименного. Хотя я не прошел через это тщательно, решение в https://github.com/robmiller/mysql2csv выглядит многообещающе. В зависимости от вашего приложения подход yaml к указанию команд SQL может или не может понравиться. Я также не в восторге от требования более поздней версии ruby, чем поставляется в качестве стандарта с моим ноутбуком Ubuntu 12.04 или серверами Debian Squeeze. Да, я знаю, что могу использовать RVM, но я бы предпочел не утверждают, что для такой простой цели.

надеюсь, кто-то укажет подходящий инструмент, у которого было немного тестирования. В противном случае я, вероятно, обновлю это, когда найду или напишу.

24

из командной строки, вы можете сделать это:

mysql -h *hostname* -P *port number* --database=*database_name* -u *username* -p -e *your SQL query* | sed 's/\t/","/g;s/^/"/;s/$/"/;s/\n//g' > *output_file_name.csv*

благодарности: экспорт таблицы из Amazon RDS в csv-файл

21
  1. логика :

CREATE TABLE () (SELECT data FROM other_table ) ENGINE=CSV ;

при создании таблицы CSV сервер создает файл формата таблицы в каталог баз данных. Файл начинается с имени таблицы и имеет .расширение frm. Механизм хранения также создает файл данных. Его название начинается с имени таблицы и имеет .Расширением CSV. Файл данных обычный текстовый файл. При хранении данных в таблице, хранилище engine сохраняет его в файл данных в формат значений, разделенных запятыми.

12

многие ответы на этой странице слабы, потому что они не обрабатывают общий случай того, что может произойти в формате CSV. например, запятые и кавычки, встроенные в поля и другие условия, которые всегда возникают в конечном итоге. Нам нужно общее решение, которое работает для всех допустимых входных данных CSV.

вот простое и сильное решение в Python:

#!/usr/bin/env python

import csv
import sys

tab_in = csv.reader(sys.stdin, dialect=csv.excel_tab)
comma_out = csv.writer(sys.stdout, dialect=csv.excel)

for row in tab_in:
    comma_out.writerow(row)

имя файла tab2csv, поместите его на свой путь, дайте ему разрешения на выполнение, а затем используйте его список это:

mysql OTHER_OPTIONS --batch --execute='select * from whatever;' | tab2csv >outfile.csv

функции обработки CSV Python охватывают угловые случаи для формата(ов) ввода CSV.

Это может быть улучшено для обработки очень больших файлов с помощью потокового подхода.

12

чтобы развернуть предыдущие ответы, следующая однострочная экспортирует одну таблицу в виде файла, разделенного вкладками. Он подходит для автоматизации, экспорта базы данных каждый день или около того.

mysql -B -D mydatabase -e 'select * from mytable'

удобно, мы можем использовать тот же метод, чтобы перечислить таблицы MySQL и описать поля в одной таблице:

mysql -B -D mydatabase -e 'show tables'

mysql -B -D mydatabase -e 'desc users'

Field   Type    Null    Key Default Extra
id  int(11) NO  PRI NULL    auto_increment
email   varchar(128)    NO  UNI NULL    
lastName    varchar(100)    YES     NULL    
title   varchar(128)    YES UNI NULL    
userName    varchar(128)    YES UNI NULL    
firstName   varchar(100)    YES     NULL
9

Это просто, и он работает на что угодно без необходимости пакетного режима или выходных файлов:

select concat_ws(',',
    concat('"', replace(field1, '"', '""'), '"'),
    concat('"', replace(field2, '"', '""'), '"'),
    concat('"', replace(field3, '"', '""'), '"'))

from your_table where etc;

объяснение:

  1. заменить " на "" в каждом поле --> заменить(поле 1, '"', '""')
  2. окружите каждый результат кавычками --> concat ('"', result1, '"')
  3. поместите запятую между каждым процитированным результатом --> concat_ws (',', quoted1, quoted2, ...)

вот именно!

9

кроме того, если вы выполняете запрос в командной строке Bash, я считаю, что tr команда может использоваться для замены вкладок по умолчанию произвольными разделителями.

$ echo "SELECT * FROM Table123" | mysql Database456 | tr "\t" ,

9

альтернативно ответу выше, вы можете иметь таблицу MySQL, которая использует движок CSV.

тогда у вас будет файл на жестком диске, который всегда будет в формате CSV, который вы можете просто скопировать без его обработки.

8

вот что я делаю:

echo $QUERY | \
  mysql -B  $MYSQL_OPTS | \
  perl -F"\t" -lane 'print join ",", map {s/"/""/g; /^[\d.]+$/ ? $_ : qq("$_")} @F ' | \
  mail -s 'report' person@address

скрипт perl (снятый из другого места) выполняет хорошую работу по преобразованию полей табуляции в CSV.

5

не совсем как формат CSV, но tee команда из MySQL клиент может использоваться для сохранения вывода в местные:

tee foobar.txt
SELECT foo FROM bar;

вы можете отключить его с помощью notee.

проблема с SELECT … INTO OUTFILE …; заключается в том, что для записи файлов на сервере требуется разрешение.

5

здание на user7610, вот лучший способ сделать это. С mysql outfile было 60 минут владения файлами и проблем с перезаписью.

это не круто, но это сработало за 5 минут.

php csvdump.php localhost root password database tablename > whatever-you-like.csv

<?php

$server = $argv[1];
$user = $argv[2];
$password = $argv[3];
$db = $argv[4];
$table = $argv[5];

mysql_connect($server, $user, $password) or die(mysql_error());
mysql_select_db($db) or die(mysql_error());

// fetch the data
$rows = mysql_query('SELECT * FROM ' . $table);
$rows || die(mysql_error());


// create a file pointer connected to the output stream
$output = fopen('php://output', 'w');

// output the column headings

$fields = [];
for($i = 0; $i < mysql_num_fields($rows); $i++) {
    $field_info = mysql_fetch_field($rows, $i);
    $fields[] = $field_info->name;
}
fputcsv($output, $fields);

// loop over the rows, outputting them
while ($row = mysql_fetch_assoc($rows)) fputcsv($output, $row);

?>
5

этот ответ использует Python и популярную стороннюю библиотеку, PyMySQL. Я добавляю его, потому что Python CSV-файла библиотека достаточно мощная, чтобы правильно обрабатывать много различных вкусов .csv и никакие другие ответы не используют код Python для взаимодействия с базой данных.

import contextlib
import csv
import datetime
import os

# https://github.com/PyMySQL/PyMySQL
import pymysql

SQL_QUERY = """\
SELECT * FROM my_table WHERE my_attribute = 'my_attribute';
"""

# embedding passwords in code gets nasty when you use version control
# the environment isn't much better, but this is an example
# http://stackoverflow.com/questions/12461484/is-it-secure-to-store-passwords-as-environment-variables-rather-than-as-plain-t
SQL_USER = os.environ['SQL_USER']
SQL_PASS = os.environ['SQL_PASS']

connection = pymysql.connect(host='localhost',
                             user=SQL_USER,
                             password=SQL_PASS,
                             db='dbname')

with contextlib.closing(connection):
    with connection.cursor() as cursor:
        cursor.execute(SQL_QUERY)
        # Hope you have enough memory :)
        results = cursor.fetchall()

output_file = 'my_query-{}.csv'.format(datetime.datetime.today().strftime('%Y-%m-%d'))
with open(output_file, 'w', newline='') as csvfile:
    # http://stackoverflow.com/a/17725590/2958070 about lineterminator
    csv_writer = csv.writer(csvfile, lineterminator='\n')
    csv_writer.writerows(results)
5

используя решение, опубликованное Тимом, я создал этот скрипт bash для облегчения процесса (запрашивается пароль root, но вы можете легко изменить скрипт, чтобы запросить любого другого пользователя):

#!/bin/bash

if [ "" == "" ];then
    echo "Usage:  DATABASE TABLE [MYSQL EXTRA COMMANDS]"
    exit
fi

DBNAME=
TABLE=
FNAME=..csv
MCOMM=

echo "MySQL password:"
stty -echo
read PASS
stty echo

mysql -uroot -p$PASS $MCOMM $DBNAME -B -e "SELECT * FROM $TABLE;" | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > $FNAME

он создаст файл с именем:

3

попробуйте этот код:

SELECT 'Column1', 'Column2', 'Column3', 'Column4', 'Column5'
UNION ALL
SELECT column1, column2,
column3 , column4, column5 FROM demo
INTO OUTFILE '/tmp/demo.csv'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

дополнительные сведения: http://dev.mysql.com/doc/refman/5.1/en/select-into.html

3

если у вас установлен PHP на сервере, вы можете использовать mysql2csv экспортировать (фактически действительный) CSV-файл для abitrary mysql-запроса. См.мой ответ в MySQL-выберите * в OUTFILE LOCAL ? для немного большего контекста / информации.

Я попытался сохранить имена опций из mysql поэтому должно быть достаточно, чтобы обеспечить --file и --query варианты:

./mysql2csv --file="/tmp/result.csv" --query='SELECT 1 as foo, 2 as bar;' --user="username" --password="password"

"установки" mysql2csv via

wget https://gist.githubusercontent.com/paslandau/37bf787eab1b84fc7ae679d1823cf401/raw/29a48bb0a43f6750858e1ddec054d3552f3cbc45/mysql2csv -O mysql2csv -q && (sha256sum mysql2csv | cmp <(echo "b109535b29733bd596ecc8608e008732e617e97906f119c66dd7cf6ab2865a65  mysql2csv") || (echo "ERROR comparing hash, Found:" ;sha256sum mysql2csv) ) && chmod +x mysql2csv

(загрузите содержимое gist, проверьте контрольную сумму и сделайте ее исполняемой).

2

Если на машине, которую вы используете, установлен PHP, вы можете написать PHP-скрипт для этого. Это требует установки PHP имеет расширение MySQL установлен.

вы можете вызвать интерпретатор PHP из командной строки следующим образом:

php --php-ini path/to/php.ini your-script.php

Я включаю --php-ini переключатель, потому что вам может потребоваться использовать вашу собственную конфигурацию PHP, которая включает расширение MySQL. На PHP 5.3.0+ это расширение включено по умолчанию, так что больше нет необходимости использовать конфигурация для его включения.

тогда вы можете написать свой скрипт экспорта, как любой нормальный скрипт PHP:

<?php
    #mysql_connect("localhost", "username", "password") or die(mysql_error());
    mysql_select_db("mydb") or die(mysql_error());

    $result = mysql_query("SELECT * FROM table_with_the_data p WHERE p.type = $typeiwant");

    $result || die(mysql_error());

    while($row = mysql_fetch_row($result)) {
      $comma = false;
      foreach ($row as $item) {

        # Make it comma separated
        if ($comma) {
          echo ',';
        } else {
          $comma = true;
        }

        # Quote the quotes
        $quoted = str_replace("\"", "\"\"", $item);

        # Quote the string
        echo "\"$quoted\"";
      }
        echo "\n";
    }
?>

преимущество этого метода в том, что он не имеет проблем с varchar и текстовыми полями, которые имеют текст, содержащий новые строки. Эти поля правильно цитируются, и эти новые строки в них будут интерпретироваться читателем CSV как часть текста, а не разделители записей. Это то, что трудно исправить впоследствии с sed или так.

1

крошечный скрипт bash для выполнения простого запроса к CSV-дампам, вдохновленный https://stackoverflow.com/a/5395421/2841607.

#!/bin/bash

#  = query to execute
#  = outfile
#  = mysql database name
#  = mysql username

if [ -z "" ]; then
    echo "Query not given"
    exit 1
fi

if [ -z "" ]; then
    echo "Outfile not given"
    exit 1
fi

MYSQL_DB=""
MYSQL_USER="root"

if [ ! -z "" ]; then
    MYSQL_DB=
fi

if [ ! -z "" ]; then
    MYSQL_USER=
fi

if [ -z "$MYSQL_DB" ]; then
    echo "Database name not given"
    exit 1
fi

if [ -z "$MYSQL_USER" ]; then
    echo "Database user not given"
    exit 1
fi

mysql -u $MYSQL_USER -p -D $MYSQL_DB -B -s -e "" | sed "s/'/\'/;s/\t/\",\"/g;s/^/\"/;s/$/\"/;s/\n//g" > 
echo "Written to "
1

следующий скрипт bash работает для меня. Он дополнительно также получает схему для запрошенных таблиц.

#!/bin/bash
#
# export mysql data to CSV
#https://stackoverflow.com/questions/356578/how-to-output-mysql-query-results-in-csv-format
#

#ansi colors
#http://www.csc.uvic.ca/~sae/seng265/fall04/tips/s265s047-tips/bash-using-colors.html
blue='3[0;34m'
red='3[0;31m'
green='3[0;32m' # '\e[1;32m' is too bright for white bg.
endColor='3[0m'

#
# a colored message 
#   params:
#     1: l_color - the color of the message
#     2: l_msg - the message to display
#
color_msg() {
  local l_color=""
  local l_msg=""
  echo -e "${l_color}$l_msg${endColor}"
}


#
# error
#
# show the given error message on stderr and exit
#
#   params:
#     1: l_msg - the error message to display
#
error() {
  local l_msg=""
  # use ansi red for error
  color_msg $red "Error:" 1>&2
  color_msg $red "\t$l_msg" 1>&2
  usage
}

#
# display usage 
#
usage() {
  echo "usage:  [-h|--help]" 1>&2
  echo "               -o  | --output      csvdirectory"    1>&2
  echo "               -d  | --database    database"   1>&2
  echo "               -t  | --tables      tables"     1>&2
  echo "               -p  | --password    password"   1>&2
  echo "               -u  | --user        user"       1>&2
  echo "               -hs | --host        host"       1>&2
  echo "               -gs | --get-schema"             1>&2
  echo "" 1>&2
  echo "     output: output csv directory to export mysql data into" 1>&2
  echo "" 1>&2
  echo "         user: mysql user" 1>&2
  echo "     password: mysql password" 1>&2
  echo "" 1>&2
  echo "     database: target database" 1>&2
  echo "       tables: tables to export" 1>&2
  echo "         host: host of target database" 1>&2
  echo "" 1>&2
  echo "  -h|--help: show help" 1>&2
  exit 1
}

#
# show help 
#
help() {
  echo " Help" 1>&2
  echo "===========" 1>&2
  echo " exports a csv file from a mysql database optionally limiting to a list of tables" 1>&2
  echo "   example:  --database=cms --user=scott --password=tiger  --tables=person --output person.csv" 1>&2
  echo "" 1>&2
  usage
}

domysql() {
  mysql --host $host -u$user --password=$password $database
}

getcolumns() {
  local l_table=""
  echo "describe $l_table" | domysql | cut -f1 | grep -v "Field" | grep -v "Warning" | paste -sd "," - 2>/dev/null
}

host="localhost"
mysqlfiles="/var/lib/mysql-files/"

# parse command line options
while true; do
  #echo "option "
  case "" in
    # options without arguments
    -h|--help) usage;;
    -d|--database)     database="" ; shift ;;
    -t|--tables)       tables="" ; shift ;;
    -o|--output)       csvoutput="" ; shift ;;
    -u|--user)         user="" ; shift ;;
    -hs|--host)        host="" ; shift ;;
    -p|--password)     password="" ; shift ;;
    -gs|--get-schema)  option="getschema";; 
    (--) shift; break;;
    (-*) echo ": error - unrecognized option " 1>&2; usage;;
    (*) break;;
  esac
  shift
done

# checks
if [ "$csvoutput" == "" ]
then
  error "ouput csv directory not set"
fi
if [ "$database" == "" ]
then
  error "mysql database not set"
fi
if [ "$user" == "" ]
then
  error "mysql user not set"
fi
if [ "$password" == "" ]
then
  error "mysql password not set"
fi

color_msg $blue "exporting tables of database $database"
if [ "$tables" = "" ]
then
tables=$(echo "show tables" | domysql)
fi

case $option in
  getschema) 
   rm $csvoutput$database.schema
   for table in $tables
   do
     color_msg $blue "getting schema for $table"
     echo -n "$table:" >> $csvoutput$database.schema
     getcolumns $table >> $csvoutput$database.schema
   done  
   ;;
  *)
for table in $tables
do
  color_msg $blue "exporting table $table"
  cols=$(grep "$table:" $csvoutput$database.schema | cut -f2 -d:)
  if [  "$cols" = "" ]
  then
    cols=$(getcolumns $table)
  fi
  ssh $host rm $mysqlfiles/$table.csv
cat <<EOF | mysql --host $host -u$user --password=$password $database 
SELECT $cols FROM $table INTO OUTFILE '$mysqlfiles$table.csv'
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';
EOF
  scp $host:$mysqlfiles/$table.csv $csvoutput$table.csv.raw
  (echo "$cols"; cat $csvoutput$table.csv.raw) > $csvoutput$table.csv
  rm $csvoutput$table.csv.raw
done
  ;;
esac
1

вы можете использовать команду ниже из вашего местоположения SQL:

"mysql-h(имя хоста/IP>) -u(имя пользователя) -p(пароль) databasename outputFILE(.формат txt./XLS) и"

Эл.г хоста -х.х.х.х

uname-имя пользователя

password-пароль

DBName-employeeDB

запроса файл - работника.в SQL

выходной_файл - выходной_файл.в XLS

mysql-hx.X. X. x-uusername-ppassword employeeDB outputFile.в XLS

убедитесь, что вы выполняете команду из каталога, где находится SQL, или укажите полный путь к местоположению sql в приведенной выше команде.

0