Сравнение строк в PHP и удаление одной из них из массива, если они похожи

вы можете попробовать similar_text, возможно, в сочетании с levenshtein, и с помощью экспериментов установить порог того, что оценка вы считаете достаточно похожим. Также посмотрите на обсуждение пользователей дополнительные подсказки. Затем вы можете перебирать массив, сравнивать каждый элемент с другим элементом и удалять элементы, которые вы считаете слишком похожими.

Я надеюсь, что это послужит началом для вас. Проблема довольно сложная, поскольку есть много вещей, которые можно считать имеющими одинаковое содержание, но имеют совершенно другой синтаксис ("наши мечи - полоса лошадей" против "полоса лошадей - наши мечи"). Это зависит от того, достаточно ли это упрощенное решение для того, что вы пытаетесь сделать.

вот мой (несколько сложный?) решение.

он разбивает входные строки на массив слов (getWords). Затем он сравнивает их все друг с другом, группируя их по "равенству" (titlesMatch), который не заботится о порядке слов. Он хранит массивы для достижения группы матчей, так что вы можете просмотреть аналогичные названия.

вот сценарий (если $array вход):

function getWords($str) {
    // Remove non-alpha characters and split by spaces
    $normalized = preg_replace('/[^a-z0-9\s]/', '', strtolower($str));
    $words = preg_split('/\s+/', $normalized, -1, PREG_SPLIT_NO_EMPTY);

    return $words;
}

function titlesMatch($words1, $words2) {
    $intersection = array_intersect($words1, $words2);

    sort($words1);
    sort($words2);
    sort($intersection);

    return $intersection === $words1 || $intersection === $words2;
}

$wordedArray = array_map('getWords', $array);

$uniqueItems = array();

foreach ($wordedArray as $words1Index => $words1) {
    $isUnique = true;

    foreach ($uniqueItems as &$words2Indices) {
        foreach ($words2Indices as $words2Index) {
            if (titlesMatch($words1, $wordedArray[$words2Index])) {
                $words2Indices[] = $words1Index;
                $isUnique = false;

                break;
            }
        }
    }

    if ($isUnique) {
        $uniqueItems[] = array($words1Index);
    }
}

// Show the first matches as an example
foreach ($uniqueItems as $indices) {
    echo $array[$indices[0]] . "\n";
}

выход с вашими входными данными:

Band of Horses - Is There a Ghost
Band Of Horses - No One's Gonna Love You
Band of Horses - The Funeral
Band of Horses - Laredo
Band of Horses - "The Great Salt Lake" Sub Pop Records
Band of Horses perform Marry Song at Tromso Wedding
Band of Horses, On My Way Back Home
Band of Horses - cigarettes wedding bands
Band Of Horses - I Go To The Barn Because I Like The
Our Swords - Band of Horses
Band of Horses - Monsters

(Примечание: это выглядит O (n³) но это действительно O (n²).)

лучшая реализация будет зависеть от ваших данных. Чем больше вы знаете о своих данных, тем лучшие результаты вы можете получить с наименьшим объемом работы. Во всяком случае, вот пример сценария, который я собрал:

<?php
    $list = array(); # source data

    $groups = array();

    foreach ($list as $item)
    {
        $words = array_unique(explode(' ', trim(preg_replace('/[^a-z]+/', ' ', strtolower($item)))));

        $matches = array();

        foreach ($groups as $i => $group)
        {
            foreach ($group as $g)
            {
                if (count($words) < count($g['words']))
                {
                    $a = $words;
                    $b = $g['words'];
                }
                else
                {
                    $a = $g['words'];
                    $b = $words;
                }

                $c = 0;
                foreach ($a as $word1)
                {
                    foreach ($b as $word2)
                    {
                        if (levenshtein($word1, $word2) < 2)
                        {
                            ++$c;
                            break;
                        }
                    }
                }

                if ($c / count($a) > 0.85)
                {
                    $matches[] = $i;
                    continue 2;
                }
            }           
        }

        $me = array('item' => $item, 'words' => $words);

        if (!$matches)
            $groups[] = array($me);
        else
        {
            for ($i = 1; $i < count($matches); ++$i)
            {
                $groups[$matches[0]] = array_merge($groups[$matches[0]], $groups[$matches[$i]]);
                unset($groups[$matches[$i]]);
            }

            $groups[$matches[0]][] = $me;
        }
    }

    foreach ($groups as $group)
    {
        echo $group[0]['item']."\n";
        for ($i = 1; $i < count($group); ++$i)
            echo "\t".$group[$i]['item']."\n";
    }
?>

вывод с вашим списком:

Band of Horses - Is There a Ghost
Band Of Horses - No One's Gonna Love You
    Band Of Horses - "No One's Gonna Love You"
    Band Of Horses - No One's Gonna Love You
    Band Of Horses - No One's Gonna Love You
Band of Horses - The Funeral
    Band of Horses - The Funeral (lyrics in description)
Band of Horses - Laredo
    Band Of Horses - Laredo on Letterman 5.20.10
    'Laredo' by Band of Horses on Q TV
Band of Horses - "The Great Salt Lake" Sub Pop Records
Band of Horses perform Marry Song at Tromso Wedding
    Band Of Horses - "Marry song"
Band of Horses, On My Way Back Home
Band of Horses - cigarettes wedding bands
    Band Of Horses - "Cigarettes Wedding Bands"
Band Of Horses - I Go To The Barn Because I Like The
Our Swords - Band of Horses
Band of Horses - Monsters

основной принцип здесь состоит в том, чтобы сгруппировать элементы списка вместе. Любой поступающий новый элемент сравнивается с существующими группами. Более короткий элемент сверяется с более крупными. Если достаточно слов (85%) достаточно близки (2 символа разные), тогда это считается совпадением и добавляется в список.

Это может быть достаточно хорошо для вас, если вы измените параметры. Другие вещи, которые нужно учитывать: игнорирование маленьких слов вообще, похожих фраз и т. д.