Преобразование XML-файла в CSV в java

Это выглядит как хороший случай для использования XSL. Учитывая ваши основные требования, может быть проще получить правильные узлы с XSL по сравнению с пользовательскими синтаксическими анализаторами или сериализаторами. Преимущество заключается в том, что ваш XSL может нацеливаться на "//Item//AverageTime" или любые узлы, которые вам нужны, не беспокоясь о глубине узла.

UPDATE: ниже приведен xslt, который я собрал, чтобы убедиться, что это сработало, как ожидалось.

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="text" />
<xsl:template match="/">
ItemID,StartTime,EndTime,ViewItemURL,AverageTime,AveragePrice
<xsl:for-each select="//Item">
<xsl:value-of select="ItemID"/><xsl:text>,</xsl:text><xsl:value-of select="//StartTime"/><xsl:text>,</xsl:text><xsl:value-of select="//EndTime"/><xsl:text>,</xsl:text><xsl:value-of select="//ViewItemURL"/><xsl:text>,</xsl:text><xsl:value-of select="//AverageTime"/><xsl:text>,</xsl:text><xsl:value-of select="//AveragePrice"/><xsl:text>
</xsl:text>
</xsl:for-each>
</xsl:template>

</xsl:stylesheet>

Я не уверен, что понимаю, насколько общим должно быть решение. Вы действительно хотите проанализировать файл 1 GB дважды для общего решения? И если вы хотите что-то общее, почему вы пропустили <category> элемент в вашем примере? Сколько разных форматов вам нужно обработать? Неужели вы не знаете, в каком формате может быть (даже если какой-то элемент может быть опущен)? Можете уточнить?

по моему опыту, обычно предпочтительнее анализировать определенные файлы определенным образом (это однако не исключает использования универсального API). Мой ответ пойдет в этом направлении (и я обновлю его после уточнения).

Если вы не чувствуете себя комфортно с XML, вы можете рассмотреть возможность использования некоторых существующих (коммерческих) библиотек, например Ricebridge XML Manager и менеджер CSV. См.как конвертировать CSV в XML и XML в CSV с помощью Java полный пример. Подход довольно прост: вы определяете данные поля, использующие выражения XPath (что идеально в вашем случае, так как у вас могут быть "дополнительные" элементы), проанализируйте файл, а затем передайте результат List к компоненту CSV для создания файла CSV. API выглядит просто, код протестирован (исходный код их тесты доступно под лицензией BSD-style), они утверждают, что поддерживают файлы размером с гигабайт.

Вы можете получить одну лицензию разработчика за $ 170, что не очень дорого по сравнению с разработчиком ежедневно ставки.

Они предлагают пробные версии 30 дней, имеют взгляд.

другой вариант - использовать Весенний Замес. Spring batch предлагает все необходимое для работы с XML-файлы as вход или вывод (используя StAX и структуру привязки XML по вашему выбору) и плоские файлы как вход или выход. См.:

• the Весна Пакет Документация
• the образцы (особенно торговля пример)
• первый взгляд на Spring-Batch, часть 2

вы также можете использовать Smooks сделать XML в CSV преобразования. См. также:

• структурированная потоковая передача событий с Smooks

другой вариант - свернуть свой собственный решение, используя парсер StAX или, почему бы и нет, используя VTD-XML и XPath. Взгляните на:

• введение в VTD-XML
• Schemaless Java-XML привязка данных с VTD-XML

лучший способ кодирования на основе описанного вами требования-использовать простую функцию обработки FreeMarker и XML. посмотреть документы.

в этом случае вам понадобится только шаблон, который будет производить CSV.

альтернативой этому является XMLGen, но очень похожий по подходу. Просто посмотрите на эту диаграмму и примеры, и вместо операторов SQL вы выведете CSV.

эти два аналогичных подхода не являются "обычный", но выполняйте работу очень быстро для своей ситуации, и вам не нужно изучать XSL (довольно сложно освоить, я думаю).

здесь некоторый код, который реализует преобразование XML в CSV с помощью StAX. Хотя XML, который вы дали, является только примером, я надеюсь, что это покажет вам, как обрабатывать необязательные элементы.

import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamException;
import javax.xml.stream.XMLStreamReader;
import java.io.*;

public class App 
{
    public static void main( String[] args ) throws XMLStreamException, FileNotFoundException
    {
        new App().convertXMLToCSV(new BufferedInputStream(new FileInputStream(args[0])), new BufferedOutputStream(new FileOutputStream(args[1])));
    }

    static public final String ROOT = "root";
    static public final String ITEM = "Item";
    static public final String ITEM_ID = "ItemID";
    static public final String ITEM_DETAILS = "ListingDetails";
    static public final String START_TIME = "StartTime";
    static public final String END_TIME = "EndTime";
    static public final String ITEM_URL = "ViewItemURL";
    static public final String AVERAGES = "averages";
    static public final String AVERAGE_TIME = "AverageTime";
    static public final String AVERAGE_PRICE = "AveragePrice";
    static public final String SEPARATOR = ",";

    public void convertXMLToCSV(InputStream in, OutputStream out) throws XMLStreamException
    {
        PrintWriter writer = new PrintWriter(out);
        XMLStreamReader xmlStreamReader = XMLInputFactory.newInstance().createXMLStreamReader(in);
        convertXMLToCSV(xmlStreamReader, writer);
    }

    public void convertXMLToCSV(XMLStreamReader xmlStreamReader, PrintWriter writer) throws XMLStreamException {
        writer.println("ItemID,StartTime,EndTime,ViewItemURL,AverageTime,AveragePrice");
        xmlStreamReader.nextTag();
        xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ROOT);

        while (xmlStreamReader.hasNext()) {
            xmlStreamReader.nextTag();
            if (xmlStreamReader.isEndElement())
                break;

            xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ITEM);
            String itemID = nextValue(xmlStreamReader, ITEM_ID);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ITEM_DETAILS);
            String startTime = nextValue(xmlStreamReader, START_TIME);
            xmlStreamReader.nextTag();
            String averageTime = null;
            String averagePrice = null;

            if (xmlStreamReader.getLocalName().equals(AVERAGES))
            {
                averageTime = nextValue(xmlStreamReader, AVERAGE_TIME);
                averagePrice = nextValue(xmlStreamReader, AVERAGE_PRICE);
                xmlStreamReader.nextTag();
                xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, AVERAGES);
                xmlStreamReader.nextTag();
            }
            String endTime = currentValue(xmlStreamReader, END_TIME);
            String url = nextValue(xmlStreamReader,ITEM_URL);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ITEM_DETAILS);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ITEM);

            writer.append(esc(itemID)).append(SEPARATOR)
                    .append(esc(startTime)).append(SEPARATOR)
                    .append(esc(endTime)).append(SEPARATOR)
                    .append(esc(url));
            if (averageTime!=null)
                writer.append(SEPARATOR).append(esc(averageTime)).append(SEPARATOR)
                        .append(esc(averagePrice));
            writer.println();                        
        }

        xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ROOT);
        writer.close();

    }

    private String esc(String string) {
        if (string.indexOf(',')!=-1)
            string = '"'+string+'"';
        return string;
    }

    private String nextValue(XMLStreamReader xmlStreamReader, String name) throws XMLStreamException {
        xmlStreamReader.nextTag();
        return currentValue(xmlStreamReader, name);
    }

    private String currentValue(XMLStreamReader xmlStreamReader, String name) throws XMLStreamException {
        xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, name);
        String value = "";
        for (;;) {
            int next = xmlStreamReader.next();
            if (next==XMLStreamConstants.CDATA||next==XMLStreamConstants.SPACE||next==XMLStreamConstants.CHARACTERS)
                value += xmlStreamReader.getText();
            else if (next==XMLStreamConstants.END_ELEMENT)
                break;
            // ignore comments, PIs, attributes
        }
        xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, name);
        return value.trim();
    }    
}

Я не уверен, что SAX-лучший подход для вас. Однако есть разные способы использовать саксофон здесь.

Если порядок элементов не гарантируется в определенных элементах, таких как ListingDetails, то вам нужно быть активным.

при запуске ListingDetails инициализируйте карту как переменную-член в обработчике. В каждом подэлементе задайте соответствующее значение ключа на этой карте. Когда вы закончите ListingDetails, проверьте карту и явно макетные значения например, нули для недостающих элементов. Предполагая, что у вас есть один ListingDetails на элемент, сохраните его в переменной-члене в обработчике.

теперь, когда элемент элемента закончен, есть функция, которая записывает строку CSVs на основе карты в нужном порядке.

риск с этим, если у вас поврежден XML. Я бы настоятельно рекомендовал установить все эти переменные в значение null при запуске элемента, а затем проверить наличие ошибок и объявить их, когда элемент концы.

обратите внимание, что это был бы простой пример использования XSLT за исключением того, что большинство процессоров XSLT читают во всем XML-файле в память, которая не является опцией, поскольку она большая. Обратите внимание, однако, что корпоративная версия Saxon может выполнять потоковую обработку XSLT (если сценарий XSLT придерживается ограничений).

вы также можете использовать внешний процессор XSLT вне JVM, если это применимо. Это открывает еще несколько вариантов.

потокового в Саксон-е-е: http://www.saxonica.com/documentation/sourcedocs/serial.html

вы можете использовать XStream (http://x-stream.github.io/) или JOX (http://www.wutka.com/jox.html), чтобы распознать xml, а затем преобразовать его в Java Bean. Я думаю, вы можете конвертировать бобы в CSV автоматически, как только вы получите Боб.