Каков наилучший способ удаления дубликатов из datatable?

Я проверил весь сайт и погуглил по сети, но не смог найти простое решение этой проблемы.

У меня есть datatable, который имеет около 20 столбцов и 10k строк. Мне нужно удалить дубликаты строк в этом datatable на основе 4 ключевых столбцов. Разве .Net не имеет функции, которая делает это? Функция, ближайшая к тому, что я ищу, была datatable.DefaultView.ToTable (true, массив столбцов для отображения), но эта функция делает отдельный on все столбец.

было бы здорово, если бы кто-нибудь помог мне с этим.

EDIT: мне жаль, что это не ясно. Этот datatable создается путем чтения файла CSV, а не из БД. Поэтому использование SQL-запроса не является вариантом.

7
c# datatable duplicates

12 ответов

вы можете использовать Linq для наборов данных. Проверка этой. Что-то вроде этого:--4--> 

// Fill the DataSet.
DataSet ds = new DataSet();
ds.Locale = CultureInfo.InvariantCulture;
FillDataSet(ds);

List<DataRow> rows = new List<DataRow>();

DataTable contact = ds.Tables["Contact"];

// Get 100 rows from the Contact table.
IEnumerable<DataRow> query = (from c in contact.AsEnumerable()
                              select c).Take(100);

DataTable contactsTableWith100Rows = query.CopyToDataTable();

// Add 100 rows to the list.
foreach (DataRow row in contactsTableWith100Rows.Rows)
    rows.Add(row);

// Create duplicate rows by adding the same 100 rows to the list.
foreach (DataRow row in contactsTableWith100Rows.Rows)
    rows.Add(row);

DataTable table =
    System.Data.DataTableExtensions.CopyToDataTable<DataRow>(rows);

// Find the unique contacts in the table.
IEnumerable<DataRow> uniqueContacts =
    table.AsEnumerable().Distinct(DataRowComparer.Default);

Console.WriteLine("Unique contacts:");
foreach (DataRow uniqueContact in uniqueContacts)
{
    Console.WriteLine(uniqueContact.Field<Int32>("ContactID"));
}
8

Как удалить повторяющиеся строки?. (Настройте запрос там, чтобы присоединиться к вашим 4 ключевым столбцам)

EDIT: с вашей новой информацией я считаю, что самым простым способом было бы реализовать IEqualityComparer и использовать Distinct в ваших строках данных. В противном случае, если вы работаете с IEnumerable/IList вместо DataTable/DataRow, это, безусловно, возможно с некоторыми LINQ-to-objects kung-fu.

EDIT: пример IEqualityComparer

public class MyRowComparer : IEqualityComparer<DataRow>
{

    public bool Equals(DataRow x, DataRow y)
    {
        return (x.Field<int>("ID") == y.Field<int>("ID")) &&
            string.Compare(x.Field<string>("Name"), y.Field<string>("Name"), true) == 0 &&
          ... // extend this to include all your 4 keys...
    }

    public int GetHashCode(DataRow obj)
    {
        return obj.Field<int>("ID").GetHashCode() ^ obj.Field<string>("Name").GetHashCode() etc.
    }
}

Вы можете использовать он такой:

var uniqueRows = myTable.AsEnumerable().Distinct(MyRowComparer);
7

Если у вас есть доступ к Linq, я думаю, вы должны иметь возможность использовать встроенные функции группы в коллекции In memory и выбрать дубликаты строк

поиск Google для Linq Group by для примеров

1

следует учитывать эту таблицу.Для завершения удаления необходимо вызвать AcceptChanges (). В противном случае удаленная строка все еще присутствует в DataTable с rowstate, установленным в Deleted. И Стол.Строки.Количество не изменяется после удаления.

1

Я думаю, что это лучший способ удалить дубликаты из объект DataTable С помощью Linq и moreLinq Код:

в LINQ

RemoveDuplicatesRecords(yourDataTable);


private DataTable RemoveDuplicatesRecords(DataTable dt)
{
    var UniqueRows = dt.AsEnumerable().Distinct(DataRowComparer.Default);
    DataTable dt2 = UniqueRows.CopyToDataTable();
    return dt2;
}

Статья В Блоге:удалить повторяющиеся записи строк из DataTable Asp.net c#

MoreLinq

// Distinctby  column name ID 
var valueDistinctByIdColumn = yourTable.AsEnumerable().DistinctBy(row => new { Id = row["Id"] });
DataTable dtDistinctByIdColumn = valueDistinctByIdColumn.CopyToDataTable();

Примечание: moreLinq нужно добавить библиотеку.

на morelinq вы можете использовать функцию под названием DistinctBy, в которой вы можете указать свойство, на котором вы хотите найти различные объекты.

статья в блоге:использование метода moreLinq DistinctBy для удаления дубликатов записей

1

ответ Liggett78 намного лучше-esp. как у меня была ошибка! Поправка следующая...

DELETE TableWithDuplicates
    FROM TableWithDuplicates
        LEFT OUTER JOIN (
            SELECT PK_ID = Min(PK_ID), --Decide your method for deciding which rows to keep
                KeyColumn1,
                KeyColumn2,
                KeyColumn3,
                KeyColumn4
                FROM TableWithDuplicates
                GROUP BY KeyColumn1,
                    KeyColumn2,
                    KeyColumn3,
                    KeyColumn4
            ) AS RowsToKeep
            ON TableWithDuplicates.PK_ID = RowsToKeep.PK_ID
    WHERE RowsToKeep.PK_ID IS NULL
0

нашел это на bytes.com:

вы можете использовать поставщик OLE DB JET 4.0 с классами в Система.Данные.Oledb пространство имен для доступа к текстовому файлу с разделителями-запятыми (с помощью DataSet / DataTable).

или вы можете использовать драйвер Microsoft Text для ODBC с классами в Система.Данные.Пространство имен Odbc для доступа к файлу с помощью драйверов ODBC.

Это позволит вам получить доступ к вашим данным через SQL-запросы, как другие предложенный.

0

" этот datatable создается путем чтения файла CSV, а не из БД."

поэтому поместите уникальное ограничение на четыре столбца в базе данных, и вставки, которые являются дубликатами под вашим дизайном, не войдут. Если он не решит потерпеть неудачу вместо продолжения, когда это произойдет, но это, безусловно, настраивается в сценарии импорта CSV.

0

вместо функций используйте запрос:

DELETE FROM table1 AS tb1 INNER JOIN 
(SELECT id, COUNT(id) AS cntr FROM table1 GROUP BY id) AS tb2
ON tb1.id = tb2.id WHERE tb2.cntr > 1
0

Это очень простой код, который не требует linq или отдельных столбцов для выполнения фильтра. Если все значения столбцов в строке пустые, он будет удален.

    public DataSet duplicateRemoval(DataSet dSet) 
{
    bool flag;
    int ccount = dSet.Tables[0].Columns.Count;
    string[] colst = new string[ccount];
    int p = 0;

    DataSet dsTemp = new DataSet();
    DataTable Tables = new DataTable();
    dsTemp.Tables.Add(Tables);

    for (int i = 0; i < ccount; i++)
    {
        dsTemp.Tables[0].Columns.Add(dSet.Tables[0].Columns[i].ColumnName, System.Type.GetType("System.String"));
    }

    foreach (System.Data.DataRow row in dSet.Tables[0].Rows)
    {
        flag = false;
        p = 0;
        foreach (System.Data.DataColumn col in dSet.Tables[0].Columns)
        {
            colst[p++] = row[col].ToString();
            if (!string.IsNullOrEmpty(row[col].ToString()))
            {  //Display only if any of the data is present in column
                flag = true;
            }
        }
        if (flag == true)
        {
            DataRow myRow = dsTemp.Tables[0].NewRow();
            //Response.Write("<tr style=\"background:#d2d2d2;\">");
            for (int kk = 0; kk < ccount; kk++)
            {
                myRow[kk] = colst[kk];         

                // Response.Write("<td class=\"table-line\" bgcolor=\"#D2D2D2\">" + colst[kk] + "</td>");
            }
            dsTemp.Tables[0].Rows.Add(myRow);
        }
    } return dsTemp;
}

Это можно даже использовать для удаления нулевых данных из листа excel.

0

попробуй такое

давайте рассмотрим dtInput-это ваша таблица данных с повторяющимися записями.

У меня есть новый DataTable dtFinal, в котором я хочу отфильтровать повторяющиеся строки.

таким образом, мой код будет чем-то вроде ниже.

DataTable dtFinal = dtInput.DefaultView.ToTable(true, 
                           new string[ColumnCount] {"Col1Name","Col2Name","Col3Name",...,"ColnName"});
0

Я не был заинтересован в использовании решения Linq выше, поэтому я написал это:

/// <summary>
/// Takes a datatable and a column index, and returns a datatable without duplicates
/// </summary>
/// <param name="dt">The datatable containing duplicate records</param>
/// <param name="ComparisonFieldIndex">The column index containing duplicates</param>
/// <returns>A datatable object without duplicated records</returns>
public DataTable duplicateRemoval(DataTable dt, int ComparisonFieldIndex)
{
    try
    {
        //Build the new datatable that will be returned
        DataTable dtReturn = new DataTable();
        for (int i = 0; i < dt.Columns.Count; i++)
        {
            dtReturn.Columns.Add(dt.Columns[i].ColumnName, System.Type.GetType("System.String"));
        }

        //Loop through each record in the datatable we have been passed
        foreach (DataRow dr in dt.Rows)
        {
            bool Found = false;
            //Loop through each record already present in the datatable being returned
            foreach (DataRow dr2 in dtReturn.Rows)
            {
                bool Identical = true;
                //Compare the column specified to see if it matches an existing record
                if (!(dr2[ComparisonFieldIndex].ToString() == dr[ComparisonFieldIndex].ToString()))
                {
                    Identical = false;
                }
                //If the record found identically matches one we already have, don't add it again
                if (Identical)
                {
                    Found = true;
                    break;
                }
            }
            //If we didn't find a matching record, we'll add this one
            if (!Found)
            {
                DataRow drAdd = dtReturn.NewRow();
                for (int i = 0; i < dtReturn.Columns.Count; i++)
                {
                    drAdd[i] = dr[i];
                }

                dtReturn.Rows.Add(drAdd);
            }
        }
        return dtReturn;
    }
    catch (Exception)
    {
        //Return the original datatable if something failed above
        return dt;
    }
}

кроме того, это работает со всеми столбцами, а не с определенным индексом столбцов:

/// <summary>
/// Takes a datatable and returns a datatable without duplicates
/// </summary>
/// <param name="dt">The datatable containing duplicate records</param>
/// <returns>A datatable object without duplicated records</returns>
public DataTable duplicateRemoval(DataTable dt)
{
    try
    {
        //Build the new datatable that will be returned
        DataTable dtReturn = new DataTable();
        for (int i = 0; i < dt.Columns.Count; i++)
        {
            dtReturn.Columns.Add(dt.Columns[i].ColumnName, System.Type.GetType("System.String"));
        }

        //Loop through each record in the datatable we have been passed
        foreach (DataRow dr in dt.Rows)
        {
            bool Found = false;
            //Loop through each record already present in the datatable being returned
            foreach (DataRow dr2 in dtReturn.Rows)
            {
                bool Identical = true;
                //Compare all columns to see if they match the existing record
                for (int i = 0; i < dt.Columns.Count; i++)
                {
                    if (!(dr2[i].ToString() == dr[i].ToString()))
                    {
                        Identical = false;
                    }
                }
                //If the record found identically matches one we already have, don't add it again
                if (Identical)
                {
                    Found = true;
                    break;
                }
            }
            //If we didn't find a matching record, we'll add this one
            if (!Found)
            {
                DataRow drAdd = dtReturn.NewRow();
                for (int i = 0; i < dtReturn.Columns.Count; i++)
                {
                    drAdd[i] = dr[i];
                }

                dtReturn.Rows.Add(drAdd);
            }
        }
        return dtReturn;
    }
    catch (Exception)
    {
        //Return the original datatable if something failed above
        return dt;
    }
}
0