Как предотвратить систему.XML.XmlException: недопустимый символ в данной кодировке

у меня есть настольное приложение Windows, написанное на C#, которое проходит через кучу XML-файлов, хранящихся на диске и созданных сторонней программой. Большинство файлов загружаются и успешно обрабатываются кодом LINQ, который следует за этим утверждением:

XDocument xmlDoc = XDocument.Load(inFileName);
List<DocMetaData> docList =
      (from d in xmlDoc.Descendants("DOCUMENT")
       select new DocMetaData
       {
      File = d.Element("FILE").SafeGetAttributeValue("filename")
         ,
      Folder = d.Element("FOLDER").SafeGetAttributeValue("name")
         ,
      ItemID = d.Elements("INDEX")
          .Where(i => (string)i.Attribute("name") == "Item ID(idmId)")
          .Select(i => (string)i.Attribute("value"))
          .FirstOrDefault()
         ,
      Comment = d.Elements("INDEX")
          .Where(i => (string)i.Attribute("name") == "Comment(idmComment)")
          .Select(i => (string)i.Attribute("value"))
          .FirstOrDefault()
         ,
      Title = d.Elements("INDEX")
          .Where(i => (string)i.Attribute("name") == "Title(idmName)")
          .Select(i => (string)i.Attribute("value"))
          .FirstOrDefault()
         ,
      DocClass = d.Elements("INDEX")
          .Where(i => (string)i.Attribute("name") == "Document Class(idmDocType)")
          .Select(i => (string)i.Attribute("value"))
          .FirstOrDefault()
       }
      ).ToList<DocMetaData>();

...где inFileName-полный путь и имя файла, например:

     Y:S2OutB0000004Pet Tabconvert.B0000004.Pet Tab.xml

но некоторые из файлов вызывают такие проблемы:

System.Xml.XmlException: Invalid character in the given encoding. Line 52327, position 126.
at System.Xml.XmlTextReaderImpl.Throw(Exception e)
at System.Xml.XmlTextReaderImpl.Throw(String res, String arg)
at System.Xml.XmlTextReaderImpl.InvalidCharRecovery(Int32& bytesCount, Int32& charsCount)
at System.Xml.XmlTextReaderImpl.GetChars(Int32 maxCharsCount)
at System.Xml.XmlTextReaderImpl.ReadData()
at System.Xml.XmlTextReaderImpl.ParseAttributeValueSlow(Int32 curPos, Char quoteChar, NodeData attr)
at System.Xml.XmlTextReaderImpl.ParseAttributes()
at System.Xml.XmlTextReaderImpl.ParseElement()
at System.Xml.XmlTextReaderImpl.ParseElementContent()
at System.Xml.XmlTextReaderImpl.Read()
at System.Xml.Linq.XContainer.ReadContentFrom(XmlReader r)
at System.Xml.Linq.XContainer.ReadContentFrom(XmlReader r, LoadOptions o)
at System.Xml.Linq.XDocument.Load(XmlReader reader, LoadOptions options)
at System.Xml.Linq.XDocument.Load(String uri, LoadOptions options)
at System.Xml.Linq.XDocument.Load(String uri)
at CBMI.WinFormsUI.GridForm.processFile(StreamWriter oWriter, String inFileName, Int32 XMLfileNumber) in C:ProjectsVS2010CBMI.LatitudePostConverterCBMI.LatitudePostConverterCBMI.WinFormsUIGridForm.cs:line 147
at CBMI.WinFormsUI.GridForm.btnProcess_Click(Object sender, EventArgs e) in C:ProjectsVS2010CBMI.LatitudePostConverterCBMI.LatitudePostConverterCBMI.WinFormsUIGridForm.cs:line 105

XML-файлы выглядят следующим образом (этот пример показывает только 2 Элементы документа, но их много):

<?xml version="1.0" ?>
<DOCUMENTCOLLECTION>
   <DOCUMENT>
       <FILE filename="e:S2OutB0000005GeneralD003712420.0001.pdf" outputpath="e:S2OutB0000005General"/>
       <ANNOTATION filename=""/>
       <INDEX name="Comment(idmComment)" value=""/>
       <INDEX name="Document Class(idmDocType)" value="General"/>
       <INDEX name="Item ID(idmId)" value="003712420"/>
       <INDEX name="Original File Name(idmDocOriginalFile)" value="Matrix Aligning 603.24 Criteria to Petition Pages.pdf"/>
       <INDEX name="Title(idmName)" value="Matrix for 603.24"/>
       <FOLDER name="/Accreditation/PASBVE/2004-06"/>
   </DOCUMENT>
   <DOCUMENT>
       <FILE filename="e:S2OutB0000005GeneralD003712442.0001.pdf" outputpath="e:S2OutB0000005General"/>
       <ANNOTATION filename=""/>
       <INDEX name="Comment(idmComment)" value=""/>
       <INDEX name="Document Class(idmDocType)" value="General"/>
       <INDEX name="Item ID(idmId)" value="003712442"/>
       <INDEX name="Original File Name(idmDocOriginalFile)" value="Contacts at NDU.pdf"/>
       <INDEX name="Title(idmName)" value="Contacts at NDU"/>
       <FOLDER name="/Accreditation/NDU/2006-12/Self-Study"/>
   </DOCUMENT>

операторы LINQ имеют свои собственные сложности, но я думаю, что это работает нормально; это нагрузка, которая терпит неудачу. Я посмотрел на различные конструкторы для загрузки XDocument, и я исследовал некоторые другие вопросы, имеющие это исключение, но я смущен тем, как предотвратить это.

наконец, в строке 52327, позиция 126, в файле, который не удалось загрузить, похоже, что эти данные в строке 52327 не должны были вызвать проблема (и последний символ находится в позиции 103!

<FILE filename="e:S2OutB0000004Pet TabD003710954.0001.pdf" outputpath="e:S2OutB0000004Pet Tab"/>
13
c# linq-to-xml xml

4 ответов

чтобы управлять кодировкой (как только вы узнаете, что это такое), вы можете загружать файлы с помощью Load переопределение метода, который принимает Stream.

затем вы можете создать новый StreamReader против вашего файла указать Encoding в конструкторе.

например, чтобы открыть файл с помощью западноевропейской кодировки, замените следующую строку кода в вопросе:

XDocument xmlDoc = XDocument.Load(inFileName);

этот код:

XDocument xmlDoc = null;

using (StreamReader oReader = new StreamReader(inFileName, Encoding.GetEncoding("ISO-8859-1"))) {
    xmlDoc = XDocument.Load(oReader);
}

список поддерживаемые кодировки можно найти в документация MSDN.

31

Не уверен, что это ваш случай, но это может быть связано с недопустимыми последовательностями байтов для данной кодировки. Пример: http://en.wikipedia.org/wiki/UTF-8#Invalid_byte_sequences.

попробуйте отфильтровать недопустимые последовательности из файла во время загрузки.

2

ссылочный файл содержит символ, допустимый для имени файла, но недопустимый в атрибуте XML. У вас есть несколько вариантов.

  1. вы можете изменить имя файла и перезапустить сторонний скрипт.
  2. вы можете работать с поставщиком, чтобы обеспечить патч, который безопасно кодирует оскорбительные символы.
  3. вы можете предварительно проверить XML-документы и удалить оскорбительные записи до обработки.
1

поскольку XmlDocument загружает все это, как только он сталкивается с некодированным символом, он прерывает весь процесс. Если вы хотите обработать то, что можете, и пропустить/log Duff bits, посмотрите на XmlTextReader. XmlTextReader загружается из Filestream будет загружать узел за раз, поэтому он также будет использовать намного меньше памяти. Вы даже можете стать умным и разделить вещь и распараллелить обработку.

когда у меня было это, это были вещи, как акцентированные символы там: могила, острые, умляуты, и такие.

У меня нет автоматических процессов, поэтому обычно я просто загружаю файл в Visual Studio и редактирую плохих парней, пока не останется никаких закорючек. Однако теория верна.

1