Удаление повторяющихся строк из таблицы в Oracle

Question

Удаление повторяющихся строк из таблицы в Oracle

Я тестирую что-то в Oracle и заполняю таблицу некоторыми образцами данных, но в процессе я случайно загрузил дубликаты записей, поэтому теперь я не могу создать первичный ключ, используя некоторые столбцы.

Как удалить все повторяющиеся строки и оставить только одну из них?

115

delete-row duplicate-removal oracle

автор: Sam

21 ответов

автор: Bill the Lizard · Accepted Answer · 2014-06-12 14:13:28

использовать rowid псевдостолбцом.

DELETE FROM your_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM your_table
GROUP BY column1, column2, column3);

здесь column1, column2 и column3 составьте идентифицирующий ключ для каждой записи. Вы можете перечислить все свои колонки.

автор: Dead Programmer · Accepted Answer · 2015-11-05 14:13:02

С Спросить Тома

delete from t
 where rowid IN ( select rid
                    from (select rowid rid, 
                                 row_number() over (partition by 
                         companyid, agentid, class , status, terminationdate
                                   order by rowid) rn
                            from t)
                   where rn <> 1);

(исправлена отсутствующая скобка)

автор: Mark · Accepted Answer · 2009-02-09 17:43:52

от DevX.com:

DELETE FROM our_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM our_table
GROUP BY column1, column2, column3...) ;

где столбец1, столбец2 и т. д. это ключ, который вы хотите использовать.

автор: · Accepted Answer · 2009-11-09 06:18:36

DELETE FROM tablename a
      WHERE a.ROWID > ANY (SELECT b.ROWID
                             FROM tablename b
                            WHERE a.fieldname = b.fieldname
                              AND a.fieldname2 = b.fieldname2)

автор: Mohammed khaled · Accepted Answer · 2013-01-11 17:01:33

создать таблицу t2 как выбрать distinct * from t1;

6

автор: Mohammed khaled

автор: DoOrDie · Accepted Answer · 2015-12-31 11:29:40

Решение 1)

delete from emp
where rowid not in
(select max(rowid) from emp group by empno);

решение 2)

delete from emp where rowid in
               (
                 select rid from
                  (
                    select rowid rid,
                      row_number() over(partition by empno order by empno) rn
                      from emp
                  )
                where rn > 1
               );

решение 3)

delete from emp e1
         where rowid not in
          (select max(rowid) from emp e2
           where e1.empno = e2.empno );

автор: user1799846 · Accepted Answer · 2016-07-22 06:21:03

для выбора дубликатов только формат запроса может быть:

SELECT GroupFunction(column1), GroupFunction(column2),..., 
COUNT(column1), column1, column2...
FROM our_table
GROUP BY column1, column2, column3...
HAVING COUNT(column1) > 1

таким образом, правильный запрос в соответствии с другим предложением:

DELETE FROM tablename a
      WHERE a.ROWID > ANY (SELECT b.ROWID
                             FROM tablename b
                            WHERE a.fieldname = b.fieldname
                              AND a.fieldname2 = b.fieldname2
                              AND ....so on.. to identify the duplicate rows....)

этот запрос сохранит самую старую запись в базе данных для критериев, выбранных в WHERE CLAUSE.

Oracle Certified Associate (2008)

автор: Dnyaneshwar Tandale · Accepted Answer · 2015-12-28 15:25:23

использование rowid -

delete from emp
 where rowid not in
 (select max(rowid) from emp group by empno);

использование self join -

delete from emp e1
 where rowid not in
 (select max(rowid) from emp e2
 where e1.empno = e2.empno );

автор: DoOrDie · Accepted Answer · 2015-12-31 13:13:16

решение 4)

 delete from emp where rowid in
            (
             select rid from
                (
                  select rowid rid,
                  dense_rank() over(partition by empno order by rowid
                ) rn
             from emp
            )
 where rn > 1
);

автор: · Accepted Answer · 2016-02-10 09:34:42

1. решение

delete from emp
    where rowid not in
    (select max(rowid) from emp group by empno);

2. натра

delete from emp where rowid in
               (
                 select rid from
                  (
                    select rowid rid,
                      row_number() over(partition by empno order by empno) rn
                      from emp
                  )
                where rn > 1
               );

3.решение

delete from emp e1
         where rowid not in
          (select max(rowid) from emp e2
           where e1.empno = e2.empno );

4. решение

 delete from emp where rowid in
            (
             select rid from
                (
                  select rowid rid,
                  dense_rank() over(partition by empno order by rowid
                ) rn
             from emp
            )
 where rn > 1
);

автор: DoOrDie · Accepted Answer · 2016-02-10 10:03:19

5. решение

delete from emp where rowid in 
    (
      select  rid from
       (
         select rowid rid,rank() over (partition by emp_id order by rowid)rn from emp     
       )
     where rn > 1
    );

автор: Md Wasi · Accepted Answer · 2017-01-07 06:34:04

DELETE from table_name where rowid not in (select min(rowid) FROM table_name group by column_name);

и вы также можете удалить дубликаты записей другим способом

DELETE from table_name a where rowid > (select min(rowid) FROM table_name b where a.column=b.column);

автор: Nick · Accepted Answer · 2009-02-09 17:44:14

вы должны сделать небольшой блок pl / sql, используя курсор для цикла и удалить строки, которые вы не хотите сохранять. Например:

declare
prev_var my_table.var1%TYPE;

begin

for t in (select var1 from my_table order by var 1) LOOP

-- if previous var equal current var, delete the row, else keep on going.
end loop;

end;

автор: JgSudhakar · Accepted Answer · 2014-01-12 05:32:10

DELETE FROM tableName  WHERE ROWID NOT IN (SELECT   MIN (ROWID) FROM table GROUP BY columnname);

1

автор: JgSudhakar

автор: user3655760 · Accepted Answer · 2014-05-20 09:14:43

delete from dept
where rowid in (
     select rowid
     from dept
     minus
     select max(rowid)
     from dept
     group by DEPTNO, DNAME, LOC
);

автор: user2158672 · Accepted Answer · 2014-05-30 01:36:57

самый быстрый способ для действительно больших таблиц

создать таблицу исключений со структурой ниже: exceptions_table
```
ROW_ID ROWID
OWNER VARCHAR2(30)
TABLE_NAME VARCHAR2(30)
CONSTRAINT VARCHAR2(30)
```
попробуйте создать уникальное ограничение или первичный ключ, который будет нарушен дубликатами. Вы получите сообщение об ошибке, потому что у вас есть дубликаты. Таблица исключений будет содержать rowids для повторяющихся строк.
```
alter table add constraint
unique --or primary key
(dupfield1,dupfield2) exceptions into exceptions_table;
```
Присоединяйтесь к таблице с exceptions_table по rowid и дублированные файлы удалить
```
delete original_dups where rowid in (select ROW_ID from exceptions_table);
```
если количество строк для удаления велико, то создайте новую таблицу (со всеми грантами и индексами) антисоединение с exceptions_table по rowid и переименуйте исходную таблицу в таблицу original_dups и переименуйте new_table_with_no_dups в исходную таблицу
```
create table new_table_with_no_dups AS (
    select field1, field2 ........ 
    from original_dups t1
    where not exists ( select null from exceptions_table T2 where t1.rowid = t2.row_id )
)
```

автор: Krunal Patel · Accepted Answer · 2017-07-03 10:55:31

create table abcd(id number(10),name varchar2(20))

insert into abcd values(1,'abc')

insert into abcd values(2,'pqr')


insert into abcd values(3,'xyz')

insert into abcd values(1,'abc')

insert into abcd values(2,'pqr')

insert into abcd values(3,'xyz')


select * from abcd
id  Name
1   abc
2   pqr
3   xyz
1   abc
2   pqr
3   xyz

Delete Duplicate record but keep Distinct Record in table 

DELETE 
FROM abcd a
WHERE ROWID > (SELECT MIN(ROWID) FROM abcd b
WHERE b.id=a.id
);

run the above query 3 rows delete 

select * from abcd

id  Name 
1   abc
2   pqr
3   xyz

автор: Rakesh Roshan · Accepted Answer · 2017-09-14 10:05:27

Проверьте ниже сценарии -

1.

Create table test(id int,sal int);

2.

    insert into test values(1,100);    
    insert into test values(1,100);    
    insert into test values(2,200);    
    insert into test values(2,200);    
    insert into test values(3,300);    
    insert into test values(3,300);    
    commit;

3.

 select * from test;

вы увидите здесь 6-записи.
4.выполнить запрос ниже -

delete from 
   test
where rowid in
 (select rowid from 
   (select 
     rowid,
     row_number()
    over 
     (partition by id order by sal) dup
    from test)
  where dup > 1)

select * from test;

вы увидите, что дубликаты записей были удалены.
Надеюсь, это решит ваш запрос. Спасибо :)

автор: Darrel Lee · Accepted Answer · 2018-07-11 17:16:00

Я не видел ответов, которые используют общие табличные выражения и оконные функции. С этим мне легче всего работать.

DELETE FROM
 YourTable
WHERE
 ROWID IN
    (WITH Duplicates
          AS (SELECT
               ROWID RID, 
               ROW_NUMBER() 
               OVER(
               PARTITION BY First_Name, Last_Name, Birth_Date)
                  AS RN
               SUM(1)
               OVER(
               PARTITION BY First_Name, Last_Name, Birth_Date
               ORDER BY ROWID ROWS BETWEEN UNBOUNDED PRECEDING 
                                       AND UNBOUNDED FOLLOWING)
                   AS CNT
              FROM
               YourTable
              WHERE
               Load_Date IS NULL)
     SELECT
      RID
     FROM
      duplicates
     WHERE
      RN > 1);

что-то в примечание:

1)мы проверяем только дублирование полей в предложении partition.

2) Если у вас есть причина выбрать один дубликат над другими, вы можете использовать предложение order by, чтобы эта строка имела row_number () = 1

3) Вы можете изменить номер дубликата, сохраненный изменение предложения final where на "Where RN > N" с N >= 1 (я думал, что N = 0 удалит все строки, которые имеют дубликаты, но он просто удалит все строки).

4) добавлено поле Sum partition запрос CTE, который будет помечать каждую строку числовыми строками в группе. Поэтому для выбора строк с дубликатами, включая первый элемент, используйте "где cnt > 1".

автор: Ashish sinha · Accepted Answer · 2013-11-26 09:27:25

create or replace procedure delete_duplicate_enq as
    cursor c1 is
    select *
    from enquiry;
begin
    for z in c1 loop
        delete enquiry
        where enquiry.enquiryno = z.enquiryno
        and rowid > any
        (select rowid
        from enquiry
        where enquiry.enquiryno = z.enquiryno);
    end loop;
 end delete_duplicate_enq;

автор: Enguerrand JORE · Accepted Answer · 2015-03-11 10:48:39

для лучшей производительности, вот что я писал :
(см. план выполнения)

DELETE FROM your_table
WHERE rowid IN 
  (select t1.rowid from your_table  t1
      LEFT OUTER JOIN (
      SELECT MIN(rowid) as rowid, column1,column2, column3
      FROM your_table 
      GROUP BY column1, column2, column3
  )  co1 ON (t1.rowid = co1.rowid)
  WHERE co1.rowid IS NULL
);