Как параметр " вес " (DMatrix) используется в процедуре повышения градиента (xgboost)?

в xgboost можно установить параметр weight на DMatrix. Это, по-видимому, список весов, в котором каждое значение является весом для соответствующего образца. Я не могу найти никакой информации о том, как эти веса фактически используются в процедуре повышения градиента. Связаны ли они с eta ?

например, если бы я установил weight до 0,3 для всех образцов и eta до 1, будет ли это то же самое, что и настройка eta до 0,3 и weight к 1?

12
xgboost

1 ответов

xgboost позволяет, например, взвешивание во время строительства DMatrix, Как вы отметили. Этот вес непосредственно связывает экземпляр и путешествует с ним на протяжении всей тренировки. Таким образом, это включено в расчеты градиентов и гессианов,и непосредственно влияет на точки разделения и traing xgboost модель.

посмотреть здесь и здесь

Вес Экземпляра Файл

XGBoost поддерживает предоставление каждому экземпляру веса для дифференциации важность примеров. Например, если мы предоставляем экземпляр вес файла для поезда".тхт" файл в примере, как показано ниже:

поезд.формат txt.вес

1

0.5

0.5

1

0.5

это означает, что XGBoost будет подчеркивать больше на первом и четвертом экземпляр， то есть положительные экземпляры во время обучения. Этот конфигурация аналогична настройке сведений о группе. Если имя файла экземпляра "xxx", XGBoost проверит, есть ли файл с именем "xxx.вес " в том же каталоге, и если есть, будет используйте веса во время тренировки моделей.

это очень отличается от eta

eta просто говорит xgboost сколько смеси последнее дерево, обученных в ансамбль. Мера того, насколько жадным должен быть ансамбль на каждой итерации.

например, если бы я установил weight до 0,3 для всех образцов и eta для 1 это будет то же самое, что и настройка eta до 0,3 и weight в 1?

  • постоянной weight 1 для всех экземпляров является значением по умолчанию, поэтому изменяется на константу .3 для всех случаев все равно будет одинаковый вес, поэтому это не должно слишком сильно влиять на вещи. Однако, установка eta до 1, от .3, сделает обучение намного более агрессивным.

15