Поиск повторяющихся строк в SQL Server

Question

Поиск повторяющихся строк в SQL Server

у меня есть база данных SQL Server организаций, и есть много повторяющихся строк. Я хочу запустить инструкцию select, чтобы захватить все это и количество обманутых, но также вернуть идентификаторы, связанные с каждой организацией.

заявление типа:

SELECT     orgName, COUNT(*) AS dupes  
FROM         organizations  
GROUP BY orgName  
HAVING      (COUNT(*) > 1)

возвращает что-то вроде

orgName        | dupes  
ABC Corp       | 7  
Foo Federation | 5  
Widget Company | 2

но я также хотел бы захватить их идентификаторы. Есть ли способ сделать это? Может быть, как

orgName        | dupeCount | id  
ABC Corp       | 1         | 34  
ABC Corp       | 2         | 5  
...  
Widget Company | 1         | 10  
Widget Company | 2         | 2

причина в том, что существует также отдельная таблица пользователей, которые ссылаются на эти организации, и я хотел бы объединить их (поэтому удалите dupes, чтобы пользователи ссылались на ту же организацию вместо dupe orgs). Но я бы хотел, чтобы часть вручную, чтобы я ничего не испортил, но мне все равно нужен оператор, возвращающий идентификаторы всех обманутых orgs, чтобы я мог пройти через список пользователей.

204

duplicates sql sql-server

автор: ROMANIA_engineer

16 ответов

автор: RedFilter · Accepted Answer · 2010-01-21 20:32:02

select o.orgName, oc.dupeCount, o.id
from organizations o
inner join (
    SELECT orgName, COUNT(*) AS dupeCount
    FROM organizations
    GROUP BY orgName
    HAVING COUNT(*) > 1
) oc on o.orgName = oc.orgName

автор: Aykut Akıncı · Accepted Answer · 2014-05-22 11:01:18

вы можете запустить следующий запрос и найти дубликаты с помощью max(id) и удалить эти строки.

SELECT orgName, COUNT(*), Max(ID) AS dupes 
FROM organizations 
GROUP BY orgName 
HAVING (COUNT(*) > 1)

но вам придется выполнить этот запрос несколько раз.

автор: Paul · Accepted Answer · 2010-01-21 21:48:45

вы можете сделать это так:

SELECT
    o.id, o.orgName, d.intCount
FROM (
     SELECT orgName, COUNT(*) as intCount
     FROM organizations
     GROUP BY orgName
     HAVING COUNT(*) > 1
) AS d
    INNER JOIN organizations o ON o.orgName = d.orgName

Если вы хотите вернуть только те записи, которые можно удалить (оставив по одному каждого), вы можете использовать:

SELECT
    id, orgName
FROM (
     SELECT 
         orgName, id,
         ROW_NUMBER() OVER (PARTITION BY orgName ORDER BY id) AS intRow
     FROM organizations
) AS d
WHERE intRow != 1

Edit: SQL Server 2000 не имеет функции ROW_NUMBER (). Вместо этого, вы можете использовать:

SELECT
    o.id, o.orgName, d.intCount
FROM (
     SELECT orgName, COUNT(*) as intCount, MIN(id) AS minId
     FROM organizations
     GROUP BY orgName
     HAVING COUNT(*) > 1
) AS d
    INNER JOIN organizations o ON o.orgName = d.orgName
WHERE d.minId != o.id

автор: ecairol · Accepted Answer · 2017-05-23 11:47:23

решение, отмеченное как правильное, не сработало для меня, но я нашел этот ответ, который работал просто отлично:получить список повторяющихся строк в MySql

SELECT n1.* 
FROM myTable n1
INNER JOIN myTable n2 
ON n2.repeatedCol = n1.repeatedCol
WHERE n1.id <> n2.id

автор: code save · Accepted Answer · 2013-11-07 08:19:18

вы можете попробовать это , это лучше для вас

 WITH CTE AS
    (
    SELECT *,RN=ROW_NUMBER() OVER (PARTITION BY orgName ORDER BY orgName DESC) FROM organizations 
    )
    select * from CTE where RN>1
    go

автор: Mike Clark · Accepted Answer · 2015-03-10 05:58:02

Select * from (Select orgName,id,
ROW_NUMBER() OVER(Partition By OrgName ORDER by id DESC) Rownum
From organizations )tbl Where Rownum>1

таким образом, записи с rowum> 1 будут дубликатами записей в вашей таблице. 'Partition by' сначала группируются по записям, а затем сериализуют их, давая им последовательные nos. Таким образом, rownum> 1 будет дублировать записи, которые могут быть удалены как таковые.

автор: Debendra Dash · Accepted Answer · 2017-03-09 05:22:22

select * from [Employees]

для поиска дубликатов записей 1) Использование CTE

with mycte
as
(
select Name,EmailId,ROW_NUMBER() over(partition by Name,EmailId order by id) as Duplicate from [Employees]
)
select * from mycte

2) С Помощью GroupBy

select Name,EmailId,COUNT(name) as Duplicate from  [Employees] group by Name,EmailId

автор: iCrazybest · Accepted Answer · 2017-05-23 11:54:46

select column_name, count(column_name)
from table_name
group by column_name
having count (column_name) > 1;

Src:https://stackoverflow.com/a/59242/1465252

автор: user5336758 · Accepted Answer · 2015-09-15 07:04:10

select a.orgName,b.duplicate, a.id
from organizations a
inner join (
    SELECT orgName, COUNT(*) AS duplicate
    FROM organizations
    GROUP BY orgName
    HAVING COUNT(*) > 1
) b on o.orgName = oc.orgName
group by a.orgName,a.id

автор: akd · Accepted Answer · 2016-06-17 09:51:06

Если вы хотите удалить дубликаты:

WITH CTE AS(
   SELECT orgName,id,
       RN = ROW_NUMBER()OVER(PARTITION BY orgName ORDER BY Id)
   FROM organizations
)
DELETE FROM CTE WHERE RN > 1

автор: Jordão · Accepted Answer · 2010-01-21 21:06:15

select orgname, count(*) as dupes, id 
from organizations
where orgname in (
    select orgname
    from organizations
    group by orgname
    having (count(*) > 1)
)
group by orgname, id

автор: Ardalan Shahgholi · Accepted Answer · 2013-11-07 07:15:12

у вас есть несколько способов для Select duplicate rows.

для моих решений сначала рассмотрим эту таблицу, например

CREATE TABLE #Employee
(
ID          INT,
FIRST_NAME  NVARCHAR(100),
LAST_NAME   NVARCHAR(300)
)

INSERT INTO #Employee VALUES ( 1, 'Ardalan', 'Shahgholi' );
INSERT INTO #Employee VALUES ( 2, 'name1', 'lname1' );
INSERT INTO #Employee VALUES ( 3, 'name2', 'lname2' );
INSERT INTO #Employee VALUES ( 2, 'name1', 'lname1' );
INSERT INTO #Employee VALUES ( 3, 'name2', 'lname2' );
INSERT INTO #Employee VALUES ( 4, 'name3', 'lname3' );

первый вариант :

SELECT DISTINCT *
FROM   #Employee;

WITH #DeleteEmployee AS (
                     SELECT ROW_NUMBER()
                            OVER(PARTITION BY ID, First_Name, Last_Name ORDER BY ID) AS
                            RNUM
                     FROM   #Employee
                 )

SELECT *
FROM   #DeleteEmployee
WHERE  RNUM > 1

SELECT DISTINCT *
FROM   #Employee

Secound решение: используйте identity поле

SELECT DISTINCT *
FROM   #Employee;

ALTER TABLE #Employee ADD UNIQ_ID INT IDENTITY(1, 1)

SELECT *
FROM   #Employee
WHERE  UNIQ_ID < (
    SELECT MAX(UNIQ_ID)
    FROM   #Employee a2
    WHERE  #Employee.ID = a2.ID
           AND #Employee.FIRST_NAME = a2.FIRST_NAME
           AND #Employee.LAST_NAME = a2.LAST_NAME
)

ALTER TABLE #Employee DROP COLUMN UNIQ_ID

SELECT DISTINCT *
FROM   #Employee

и конец всего решения используйте эту команду

DROP TABLE #Employee

автор: Arthur Kielbasa · Accepted Answer · 2014-10-01 08:13:03

думаю, я знаю, что вам нужно мне нужно было смешать ответы, и я думаю, что получил решение, которое он хотел:

select o.id,o.orgName, oc.dupeCount, oc.id,oc.orgName
from organizations o
inner join (
    SELECT MAX(id) as id, orgName, COUNT(*) AS dupeCount
    FROM organizations
    GROUP BY orgName
    HAVING COUNT(*) > 1
) oc on o.orgName = oc.orgName

имея max id даст вам идентификатор дубликата и один из оригинала, который является то, что он просил:

id org name , dublicate count (missing out in this case) 
id doublicate org name , doub count (missing out again because does not help in this case)

только грустно, что вы получаете его в этой форме

id , name , dubid , name

надеюсь, что это все еще помогает

автор: Usman Yaqoob · Accepted Answer · 2018-02-09 07:32:00

предположим, что у нас есть таблица таблицы "студент" с 2 столбцами:

student_id int

student_name varchar

Records:
+------------+---------------------+
| student_id | student_name        |
+------------+---------------------+
|        101 | usman               |
|        101 | usman               |
|        101 | usman               |
|        102 | usmanyaqoob         |
|        103 | muhammadusmanyaqoob |
|        103 | muhammadusmanyaqoob |
+------------+---------------------+

теперь мы хотим видеть повторяющиеся записи Используйте этот запрос:

select student_name,student_id ,count(*) c from student group by student_id,student_name having c>1;

+---------------------+------------+---+
| student_name        | student_id | c |
+---------------------+------------+---+
| usman               |        101 | 3 |
| muhammadusmanyaqoob |        103 | 2 |
+---------------------+------------+---+

автор: SoftIdea · Accepted Answer · 2018-06-25 09:40:30

У меня есть лучший вариант, чтобы получить дубликаты записей в таблице

SELECT x.studid, y.stdname, y.dupecount
FROM student AS x INNER JOIN
(SELECT a.stdname, COUNT(*) AS dupecount
FROM student AS a INNER JOIN
studmisc AS b ON a.studid = b.studid
WHERE (a.studid LIKE '2018%') AND (b.studstatus = 4)
GROUP BY a.stdname
HAVING (COUNT(*) > 1)) AS y ON x.stdname = y.stdname INNER JOIN
studmisc AS z ON x.studid = z.studid
WHERE (x.studid LIKE '2018%') AND (z.studstatus = 4)
ORDER BY x.stdname

результат вышеуказанного запроса показывает все повторяющиеся имена с уникальными идентификаторами студентов и количеством повторяющихся событий

Нажмите здесь, чтобы увидеть результат SQL

автор: ryan · Accepted Answer · 2014-01-22 06:49:56

попробовать

SELECT orgName, id, count(*) as dupes
FROM organizations
GROUP BY orgName, id
HAVING count(*) > 1;