Привет я работаю над попыткой кластеризации сетевых данных из набора данных darpa 1999 года. К сожалению, я не получаю кластеризованных данных, по сравнению с некоторыми из литературы, используя те же методы и методы.

мои данные выходят так:

как вы можете видеть, он не очень Кластеризован. Это связано с большим количеством выбросов (шума) в наборе данных. Я посмотрел на некоторые методы удаления выбросов, но ничего я не пробовал до сих пор действительно очищает данные. Один из методов, которые я пробовал:

%% When an outlier is considered to be more than three standard deviations away from the mean, determine the number of outliers in each column of the count matrix:

    mu = mean(data)
    sigma = std(data)
    [n,p] = size(data);
    % Create a matrix of mean values by replicating the mu vector for n rows
    MeanMat = repmat(mu,n,1);
    % Create a matrix of standard deviation values by replicating the sigma vector for n rows
    SigmaMat = repmat(sigma,n,1);
    % Create a matrix of zeros and ones, where ones indicate the location of outliers
    outliers = abs(data - MeanMat) > 3*SigmaMat;
    % Calculate the number of outliers in each column
    nout = sum(outliers) 
    % To remove an entire row of data containing the outlier
    data(any(outliers,2),:) = [];

при первом запуске он удалил 48 строк из 1000 нормализованных случайных строк, выбранных из полного набора данных.

Это полный скрипт, который я использовал для данных:

    %% load data
        %# read the list of features
        fid = fopen('kddcup.names','rt');
        C = textscan(fid, '%s %s', 'Delimiter',':', 'HeaderLines',1);
        fclose(fid);

        %# determine type of features
        C{2} = regexprep(C{2}, '.$','');              %# remove "." at the end
        attribNom = [ismember(C{2},'symbolic');true]; %# nominal features

        %# build format string used to read/parse the actual data
        frmt = cell(1,numel(C{1}));
        frmt( ismember(C{2},'continuous') ) = {'%f'}; %# numeric features: read as number
        frmt( ismember(C{2},'symbolic') ) = {'%s'};   %# nominal features: read as string
        frmt = [frmt{:}];
        frmt = [frmt '%s'];                           %# add the class attribute

        %# read dataset
        fid = fopen('kddcup.data_10_percent_corrected','rt');
        C = textscan(fid, frmt, 'Delimiter',',');
        fclose(fid);

        %# convert nominal attributes to numeric
        ind = find(attribNom);
        G = cell(numel(ind),1);
        for i=1:numel(ind)
            [C{ind(i)},G{i}] = grp2idx( C{ind(i)} );
        end

        %# all numeric dataset
        fulldata = cell2mat(C);

%% dimensionality reduction 
columns = 6
[U,S,V]=svds(fulldata,columns);

%% randomly select dataset
rows = 1000;
columns = 6;

%# pick random rows
indX = randperm( size(fulldata,1) );
indX = indX(1:rows)';

%# pick random columns
indY = indY(1:columns);

%# filter data
data = U(indX,indY);

% apply normalization method to every cell
maxData = max(max(data));
minData = min(min(data));
data = ((data-minData)./(maxData));

% output matching data
dataSample = fulldata(indX, :)

%% When an outlier is considered to be more than three standard deviations away from the mean, use the following syntax to determine the number of outliers in each column of the count matrix:

mu = mean(data)
sigma = std(data)
[n,p] = size(data);
% Create a matrix of mean values by replicating the mu vector for n rows
MeanMat = repmat(mu,n,1);
% Create a matrix of standard deviation values by replicating the sigma vector for n rows
SigmaMat = repmat(sigma,n,1);
% Create a matrix of zeros and ones, where ones indicate the location of outliers
outliers = abs(data - MeanMat) > 2.5*SigmaMat;
% Calculate the number of outliers in each column
nout = sum(outliers) 
% To remove an entire row of data containing the outlier
data(any(outliers,2),:) = [];

%% generate sample data
K = 6;
numObservarations = size(data, 1);
dimensions = 3;

%% cluster
opts = statset('MaxIter', 100, 'Display', 'iter');
[clustIDX, clusters, interClustSum, Dist] = kmeans(data, K, 'options',opts, ...
'distance','sqEuclidean', 'EmptyAction','singleton', 'replicates',3);

%% plot data+clusters
figure, hold on
scatter3(data(:,1),data(:,2),data(:,3), 5, clustIDX, 'filled')
scatter3(clusters(:,1),clusters(:,2),clusters(:,3), 100, (1:K)', 'filled')
hold off, xlabel('x'), ylabel('y'), zlabel('z')
grid on
view([90 0]);

%% plot clusters quality
figure
[silh,h] = silhouette(data, clustIDX);
avrgScore = mean(silh);

Это два различных кластера от выходных данных:

как вы можете видеть данные выглядят чище и более сгруппированы, чем оригинал. Однако я все еще думаю, что лучший метод может использовать.

например, наблюдая за общей кластеризацией, у меня все еще есть много шума (выбросов) из набора данных. Как видно здесь:

мне нужны строки выбросов, помещенные в отдельный набор данных для последующей классификации (только удаленные из кластеризации)

вот ссылка на набор данных darpa, обратите внимание, что набор данных 10% имел значительное сокращение столбцов, большинство столбцов, которые имеют 0 или 1 работает сквозные были удалены (42 столбца до 6 столбцов):

http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html

редактировать

столбцы, хранящиеся в наборе данных:

src_bytes: continuous.

dst_bytes: continuous.

count: continuous.

srv_count: continuous.  

dst_host_count: continuous.

dst_host_srv_count: continuous.         

ИЗМЕНИТЬ:

основываясь на обсуждениях с Анони-муссом и его ответом, может быть способ уменьшения шума в кластеризации с помощью K-Медоидов http://en.wikipedia.org/wiki/K-medoids. Я ... надеясь, что в коде, который у меня сейчас есть, не так много изменений, но пока я не знаю, как его реализовать, чтобы проверить, значительно ли это уменьшит шум. Поэтому, если кто-то может показать мне рабочий пример, это будет принято в качестве ответа.