Поиск повторяющихся строк в SQL Server
у меня есть база данных SQL Server организаций, и есть много повторяющихся строк. Я хочу запустить инструкцию select, чтобы захватить все это и количество обманутых, но также вернуть идентификаторы, связанные с каждой организацией.
заявление типа:
SELECT orgName, COUNT(*) AS dupes
FROM organizations
GROUP BY orgName
HAVING (COUNT(*) > 1)
возвращает что-то вроде
orgName | dupes
ABC Corp | 7
Foo Federation | 5
Widget Company | 2
но я также хотел бы захватить их идентификаторы. Есть ли способ сделать это? Может быть, как
orgName | dupeCount | id
ABC Corp | 1 | 34
ABC Corp | 2 | 5
...
Widget Company | 1 | 10
Widget Company | 2 | 2
причина в том, что существует также отдельная таблица пользователей, которые ссылаются на эти организации, и я хотел бы объединить их (поэтому удалите dupes, чтобы пользователи ссылались на ту же организацию вместо dupe orgs). Но я бы хотел, чтобы часть вручную, чтобы я ничего не испортил, но мне все равно нужен оператор, возвращающий идентификаторы всех обманутых orgs, чтобы я мог пройти через список пользователей.
16 ответов
select o.orgName, oc.dupeCount, o.id
from organizations o
inner join (
SELECT orgName, COUNT(*) AS dupeCount
FROM organizations
GROUP BY orgName
HAVING COUNT(*) > 1
) oc on o.orgName = oc.orgName
вы можете запустить следующий запрос и найти дубликаты с помощью max(id)
и удалить эти строки.
SELECT orgName, COUNT(*), Max(ID) AS dupes
FROM organizations
GROUP BY orgName
HAVING (COUNT(*) > 1)
но вам придется выполнить этот запрос несколько раз.
вы можете сделать это так:
SELECT
o.id, o.orgName, d.intCount
FROM (
SELECT orgName, COUNT(*) as intCount
FROM organizations
GROUP BY orgName
HAVING COUNT(*) > 1
) AS d
INNER JOIN organizations o ON o.orgName = d.orgName
Если вы хотите вернуть только те записи, которые можно удалить (оставив по одному каждого), вы можете использовать:
SELECT
id, orgName
FROM (
SELECT
orgName, id,
ROW_NUMBER() OVER (PARTITION BY orgName ORDER BY id) AS intRow
FROM organizations
) AS d
WHERE intRow != 1
Edit: SQL Server 2000 не имеет функции ROW_NUMBER (). Вместо этого, вы можете использовать:
SELECT
o.id, o.orgName, d.intCount
FROM (
SELECT orgName, COUNT(*) as intCount, MIN(id) AS minId
FROM organizations
GROUP BY orgName
HAVING COUNT(*) > 1
) AS d
INNER JOIN organizations o ON o.orgName = d.orgName
WHERE d.minId != o.id
решение, отмеченное как правильное, не сработало для меня, но я нашел этот ответ, который работал просто отлично:получить список повторяющихся строк в MySql
SELECT n1.*
FROM myTable n1
INNER JOIN myTable n2
ON n2.repeatedCol = n1.repeatedCol
WHERE n1.id <> n2.id
вы можете попробовать это , это лучше для вас
WITH CTE AS
(
SELECT *,RN=ROW_NUMBER() OVER (PARTITION BY orgName ORDER BY orgName DESC) FROM organizations
)
select * from CTE where RN>1
go
Select * from (Select orgName,id,
ROW_NUMBER() OVER(Partition By OrgName ORDER by id DESC) Rownum
From organizations )tbl Where Rownum>1
таким образом, записи с rowum> 1 будут дубликатами записей в вашей таблице. 'Partition by' сначала группируются по записям, а затем сериализуют их, давая им последовательные nos. Таким образом, rownum> 1 будет дублировать записи, которые могут быть удалены как таковые.
select * from [Employees]
для поиска дубликатов записей 1) Использование CTE
with mycte
as
(
select Name,EmailId,ROW_NUMBER() over(partition by Name,EmailId order by id) as Duplicate from [Employees]
)
select * from mycte
2) С Помощью GroupBy
select Name,EmailId,COUNT(name) as Duplicate from [Employees] group by Name,EmailId
select column_name, count(column_name)
from table_name
group by column_name
having count (column_name) > 1;
select a.orgName,b.duplicate, a.id
from organizations a
inner join (
SELECT orgName, COUNT(*) AS duplicate
FROM organizations
GROUP BY orgName
HAVING COUNT(*) > 1
) b on o.orgName = oc.orgName
group by a.orgName,a.id
Если вы хотите удалить дубликаты:
WITH CTE AS(
SELECT orgName,id,
RN = ROW_NUMBER()OVER(PARTITION BY orgName ORDER BY Id)
FROM organizations
)
DELETE FROM CTE WHERE RN > 1
select orgname, count(*) as dupes, id
from organizations
where orgname in (
select orgname
from organizations
group by orgname
having (count(*) > 1)
)
group by orgname, id
у вас есть несколько способов для Select duplicate rows
.
для моих решений сначала рассмотрим эту таблицу, например
CREATE TABLE #Employee
(
ID INT,
FIRST_NAME NVARCHAR(100),
LAST_NAME NVARCHAR(300)
)
INSERT INTO #Employee VALUES ( 1, 'Ardalan', 'Shahgholi' );
INSERT INTO #Employee VALUES ( 2, 'name1', 'lname1' );
INSERT INTO #Employee VALUES ( 3, 'name2', 'lname2' );
INSERT INTO #Employee VALUES ( 2, 'name1', 'lname1' );
INSERT INTO #Employee VALUES ( 3, 'name2', 'lname2' );
INSERT INTO #Employee VALUES ( 4, 'name3', 'lname3' );
первый вариант :
SELECT DISTINCT *
FROM #Employee;
WITH #DeleteEmployee AS (
SELECT ROW_NUMBER()
OVER(PARTITION BY ID, First_Name, Last_Name ORDER BY ID) AS
RNUM
FROM #Employee
)
SELECT *
FROM #DeleteEmployee
WHERE RNUM > 1
SELECT DISTINCT *
FROM #Employee
Secound решение: используйте identity
поле
SELECT DISTINCT *
FROM #Employee;
ALTER TABLE #Employee ADD UNIQ_ID INT IDENTITY(1, 1)
SELECT *
FROM #Employee
WHERE UNIQ_ID < (
SELECT MAX(UNIQ_ID)
FROM #Employee a2
WHERE #Employee.ID = a2.ID
AND #Employee.FIRST_NAME = a2.FIRST_NAME
AND #Employee.LAST_NAME = a2.LAST_NAME
)
ALTER TABLE #Employee DROP COLUMN UNIQ_ID
SELECT DISTINCT *
FROM #Employee
и конец всего решения используйте эту команду
DROP TABLE #Employee
думаю, я знаю, что вам нужно мне нужно было смешать ответы, и я думаю, что получил решение, которое он хотел:
select o.id,o.orgName, oc.dupeCount, oc.id,oc.orgName
from organizations o
inner join (
SELECT MAX(id) as id, orgName, COUNT(*) AS dupeCount
FROM organizations
GROUP BY orgName
HAVING COUNT(*) > 1
) oc on o.orgName = oc.orgName
имея max id даст вам идентификатор дубликата и один из оригинала, который является то, что он просил:
id org name , dublicate count (missing out in this case)
id doublicate org name , doub count (missing out again because does not help in this case)
только грустно, что вы получаете его в этой форме
id , name , dubid , name
надеюсь, что это все еще помогает
предположим, что у нас есть таблица таблицы "студент" с 2 столбцами:
student_id int
-
student_name varchar
Records: +------------+---------------------+ | student_id | student_name | +------------+---------------------+ | 101 | usman | | 101 | usman | | 101 | usman | | 102 | usmanyaqoob | | 103 | muhammadusmanyaqoob | | 103 | muhammadusmanyaqoob | +------------+---------------------+
теперь мы хотим видеть повторяющиеся записи Используйте этот запрос:
select student_name,student_id ,count(*) c from student group by student_id,student_name having c>1;
+---------------------+------------+---+
| student_name | student_id | c |
+---------------------+------------+---+
| usman | 101 | 3 |
| muhammadusmanyaqoob | 103 | 2 |
+---------------------+------------+---+
У меня есть лучший вариант, чтобы получить дубликаты записей в таблице
SELECT x.studid, y.stdname, y.dupecount
FROM student AS x INNER JOIN
(SELECT a.stdname, COUNT(*) AS dupecount
FROM student AS a INNER JOIN
studmisc AS b ON a.studid = b.studid
WHERE (a.studid LIKE '2018%') AND (b.studstatus = 4)
GROUP BY a.stdname
HAVING (COUNT(*) > 1)) AS y ON x.stdname = y.stdname INNER JOIN
studmisc AS z ON x.studid = z.studid
WHERE (x.studid LIKE '2018%') AND (z.studstatus = 4)
ORDER BY x.stdname
результат вышеуказанного запроса показывает все повторяющиеся имена с уникальными идентификаторами студентов и количеством повторяющихся событий
попробовать
SELECT orgName, id, count(*) as dupes
FROM organizations
GROUP BY orgName, id
HAVING count(*) > 1;