как импортировать файл excel (XLSX) в mongoDB [закрыт]

У меня есть набор данных в качестве входных данных для MongoDB в формате XLSX. Как я должен импортировать файл Excel в качестве ввода в MongoDB?

есть ли плагин для импорта файлов xlsx в качестве входных данных в MongoDB?

17
import import-from-excel mongodb

7 ответов

вы не можете импортировать файл XLSX в MongoDB напрямую. Однако то, что вы можете сделать с электронной таблицей Excel, - это сохранить ее как CSV-файл, а затем использовать mongoimport импортировать его в MongoDB. Вы можете найти документацию для mongoimport здесь, но в любом случае команда, которую вам нужно запустить, должна выглядеть примерно так:

mongoimport --db myDb --collection myCollection --type csv --headerline --file /path/to/myfile.csv

в команде выше,--headerline флаг указывает, что первая строка в файле содержит название поля. Есть много другие варианты можно использовать в зависимости от ваших потребностей. Они выделены в документация.

39

Я "fast-csv" для загрузки csv в базу данных mongoDB.

Пример Кода:

var csv = require("fast-csv");

csv.fromPath('./test.csv',{headers: true})
    .on("data", function(data){
       var details = new Details;
       details=data;
       details.save(function (saveErr, savedetail) {
             if (saveErr) {
                   console.log(saveErr)
             }
        });
    })
    .on("end", function(){
        console.log("done");
    })
1

существует пакет утилит расширения pymongo, один из модулей делает именно это, импортирует файл excel в коллекцию mongo или полную книгу excel в базу данных mongo. Вы можете найти документацию и примеры здесь:
и вы можете установить библиотеку с " pip install mongoUtils

  • вам также нужно будет установить xldr библиотеку
  • отказ от ответственности: я являюсь автором этой библиотеки
1

вы можете загрузить данные нескольких листов из одного excel в mongodb сразу, используя этот код.
Ваш первый ряд i.e" 0 " строка будет рассматриваться как заголовок столбца и остальные данные этого столбца.

MongoClient mongoClient = new MongoClient( "localhost" , 27017 );
           DB db = mongoClient.getDB("yourdb_name");
           System.out.println("Connected to Database successfully");
           DBCollection coll = db.getCollection("your_collection name");
           System.out.println("Collection your_collection name selected successfully");

                DBCollection OR = db.getCollection("Input_Container");
                System.out.println("Collection Device_Details selected successfully");
                OR.drop();
                DBObject arg1 = null;
                //coll.update(query, update);
                DBCollection OR_UPLOAD = 
                db.createCollection("Input_Container", arg1);
                String path =" your file path";

                File myFile = new File(path);
                FileInputStream inputStream = new FileInputStream(myFile);
                XSSFWorkbook workbook = new XSSFWorkbook(inputStream);
                int number=workbook.getNumberOfSheets();
                  System.out.println("NumberOfSheets "+number);

                  for(int i=0;i<number;i++)
                  {
                XSSFSheet sheet = workbook.getSheetAt(i);
                int col_value=sheet.getRow(0).getLastCellNum();
                int row_num= sheet.getLastRowNum();
                System.out.println("row_num "+row_num);
                List<String> DBheader = new ArrayList<String>();
                List<String> Data = new ArrayList<String>();

                for(int z=1;z<=row_num;z++){
                     DBheader.clear();
                     Data.clear();
                 for(int j=0;j<col_value;j++)
                {
                    if(sheet.getRow(0).getCell(j).toString()!=null || sheet.getRow(0)!=null)
                    {
                    String cel_value = sheet.getRow(0).getCell(j).toString();
                    DBheader.add(cel_value.trim());
                    }
                    else{
                        break;

                    }
                }
                for(int k=0;k<col_value;k++){
                    String data =" ";   
                    if(sheet.getRow(z).getCell(k)!=null)
                    {
                    data =  sheet.getRow(z).getCell(k).toString();
                    }
                    Data.add(data.trim());

                    }
                BasicDBObject doc = new BasicDBObject();
                System.out.println("Data.size() "+Data.size());

                int l=0;
                for(String headers:DBheader)
                { 
                if(l>Data.size()){break;}
                    doc.append(headers, Data.get(l));
                    l++;
                 }
                OR_UPLOAD.insert(doc);
                }

            }System.out.println("File Upload Done");
                  mongoClient.close();
1

если сервер БД не является локальным, вам нужно будет указать хост, порт, имя пользователя, пароль вместе с именем БД, именем коллекции.

mongoimport --host <hostname>:<port> --username <username> --password <password> --db <db name> --collection <collection name> --type csv --headerline --file /path/to/myfile.csv
0

mongoimport-D admin-c Mongocsv --тип csv --файл Mongocsv.csv --headerline

подключен к: 127.0.0.1 импортировала 5 предметов

монго

использовать admin переключился на администратора БД

db.Mongocsv.find ()

0

вы можете обрабатывать загрузку содержимого файла Excel, написав код Java с помощью библиотеки Apache POI (https://poi.apache.org/). Библиотека разработана для работы с данными приложений MS office, включая Excel.

недавно я создал приложение на основе технологии, которая поможет вам загрузить файлы Excel в базу данных MongoDB.

приложение доступно в разделе http://www.abespalov.com/ и испытанный только для Windows, но должен работать и для Linux. Приложение автоматически создаст необходимую коллекцию и заполнит ее содержимым файла Excel. Вы можете экспортировать несколько файлов параллельно. Вы можете пропустить шаг для преобразования файлов в формат CSV. Приложение обрабатывает форматы xls и xlsx.

общие этапы применения являются следующими:

1) загрузите содержимое файла excel. Вот код, в зависимости от расширения файла : 

fileExtension = FilenameUtils.getExtension(inputSheetFile.getName());

if (fileExtension.equalsIgnoreCase("xlsx")) {
        workbook = createWorkbook(openOPCPackage(inputSheetFile));
} else {
        workbook = createWorkbook(openNPOIFSFileSystemPackage(inputSheetFile));
}

sheet = workbook.getSheetAt(0);

2) установите соединение MongoDB. Я использую библиотеку MongoClientURI;

MongoClientURI mongoClientURI = new MongoClientURI(
                    "mongodb://" + dbUser + ":" + dbPassword + "@" + dbServer 
+ ":" + dbPort + "/" + dbDatabase);
            excel2db.mongoClient = new MongoClient(mongoClientURI);

3) выполните итерацию по листу и вставке строк в коллекцию. Вот фрагмент кода Java:

Row row = (Row) rowIterator.next();

    //get column names from a header
    short minColIdx = row.getFirstCellNum();
    short maxColIdx = row.getLastCellNum();

    ArrayList<String> columnNameList = new ArrayList();
    String columnName;

    logger.info("The table {} is being populated", tableName);

    //populate a list of column names
    for (short colIdx = minColIdx; colIdx < maxColIdx; colIdx = (short) (colIdx + 1)) {
        columnNameList.add(row.getCell(colIdx) == null? "": row.getCell(colIdx).toString());
    }

    while (rowIterator.hasNext()) {

        Document document = new Document();
        Row rowData = (Row) rowIterator.next();

        numOfProcessedRows++;
        for (short colIdx = minColIdx; colIdx < maxColIdx; colIdx = (short) (colIdx + 1)) {
            document.put(columnNameList.get(colIdx), rowData.getCell(colIdx).toString());
        }

        //save the document into a collection, point to the database
        MongoCollection mongoCollection = mongoDB.getCollection(tableName);
        mongoCollection.insertOne(document);

    }
}

здесь вы можете найти весь код Java для приложения, созданного для экспорта excel в Postgres (https://github.com/palych-piter/Excel2DB).

0