Мягкое введение в логистическую регрессию с оценкой максимального правдоподобия

08.09.2021

Логистическая регрессия - это модель для прогнозного моделирования бинарной классификации.

Параметры модели логистической регрессии можно оценить с помощью вероятностной структуры, называемой оценкой максимального правдоподобия. Согласно этой структуре, должно быть принято распределение вероятностей для целевой переменной (метка класса), а затем определена функция правдоподобия, которая вычисляет вероятность наблюдения результата с учетом входных данных и модели. Затем эту функцию можно оптимизировать, чтобы найти набор параметров, который дает наибольшую вероятность суммы по всему набору обучающих данных.

Подход максимального правдоподобия к подгонке модели логистической регрессии помогает лучше понять форму модели логистической регрессии и предоставляет шаблон, который можно использовать для подбора моделей классификации в более общем плане. Это особенно верно, поскольку можно показать, что отрицательное значение функции логарифмического правдоподобия, используемой в процедуре, эквивалентно функции потерь кросс-энтропии.

В этом посте вы откроете для себя логистическую регрессию с оценкой максимального правдоподобия.

Прочитав этот пост, вы узнаете:

  • Логистическая регрессия - это линейная модель для прогнозного моделирования бинарной классификации.
  • Линейная часть модели предсказывает логарифмические шансы примера, принадлежащего к классу 1, которые преобразуются в вероятность с помощью логистической функции.
  • Параметры модели можно оценить, максимизируя функцию правдоподобия, которая предсказывает среднее значение распределения Бернулли для каждого примера.

Начните свой проектс моей новой книги «Вероятность машинного обучения», включающей пошаговые руководства и файлы исходного кода Python для всех примеров.

Давайте начнем.

Мягкое введение в логистическую регрессию с оценкой максимального правдоподобия.

Фотография Сэмюэля Джона, некоторые права защищены.

Обзор

Этот учебник разделен на четыре части; они есть:

  1. Логистическая регрессия
  2. Логистическая регрессия и логарифмические шансы
  3. Оценка максимального правдоподобия
  4. Логистическая регрессия как максимальное правдоподобие

Логистическая регрессия

Логистическая регрессия - это классический линейный метод двоичной классификации.

Задачи классификационного прогнозного моделирования - это те, которые требуют прогнозирования метки класса (например, « красный », « зеленый », « синий ») для заданного набора входных переменных. Бинарная классификация относится к тем задачам классификации, которые имеют две метки класса, например, истина / ложь или 0/1.

Логистическая регрессия имеет много общего с линейной регрессией, хотя линейная регрессия - это метод для прогнозирования числового значения, а не для решения проблем классификации. Оба метода моделируют целевую переменную с помощью линии (или гиперплоскости, в зависимости от количества измерений входных данных. Линейная регрессия подгоняет линию к данным, которые можно использовать для прогнозирования нового количества, тогда как логистическая регрессия подбирает линию для лучшего разделения два класса.

Входные данные обозначены как X с n примерами, а выходные данные обозначены y с одним выходом для каждого входа. Прогноз модели для заданного входа обозначается как yhat .

  • yhat = модель (X)

Модель определяется с помощью параметров, называемых коэффициентами ( бета ), где есть один коэффициент для каждого входа и дополнительный коэффициент, который обеспечивает пересечение или смещение.

Например, задача со входами X с m переменными x1, x2,…, xm будет иметь коэффициенты beta1, beta2,…, betam и beta0 . Данный входной сигнал прогнозируется как взвешенная сумма входных данных для примера и коэффициентов.

  • yhat = beta0 + beta1 * x1 + beta2 * x2 +… + betam * xm

Модель также может быть описана с помощью линейной алгебры с вектором для коэффициентов ( бета ) и матрицей для входных данных ( X ) и вектором для выходных данных ( y ).

  • y = X * Бета

Пока что это идентично линейной регрессии, и этого недостаточно, поскольку на выходе будет реальное значение, а не метка класса.

Вместо этого модель сжимает выходные данные взвешенной суммы с помощью нелинейной функции, чтобы на выходе было значение от 0 до 1.

Используется логистическая функция (также называемая сигмоидом), которая определяется как:

  • f (x) = 1 / (1 + ехр (-x))

Где x - входное значение функции. В случае логистической регрессии x заменяется взвешенной суммой.

  • yhat = 1 / (1 + exp (- (X * Бета)))

Выходные данные интерпретируются как вероятность из функции биномиального распределения вероятностей для класса, помеченного 1, если два класса в задаче помечены 0 и 1.

Обратите внимание, что результат, представляющий собой число от 0 до 1, можно интерпретировать как вероятность принадлежности к классу с меткой 1.

Примеры в наборе обучающих данных взяты из более широкой совокупности, поэтому известно, что эта выборка неполная. Кроме того, в наблюдениях ожидается ошибка измерения или статистический шум.

Параметры модели ( бета ) должны быть оценены на основе выборки наблюдений, взятых из области.

Есть много способов оценить параметры. Наиболее распространены два фреймворка; они есть:

  • Оптимизация методом наименьших квадратов (метод наименьших квадратов с повторным взвешиванием). .

Оба являются оптимизационными процедурами, которые включают поиск различных параметров модели.

Оценка максимального правдоподобия - это частотная вероятностная структура, которая ищет набор параметров для модели, которая максимизирует функцию правдоподобия. Мы более подробно рассмотрим этот второй подход в следующих разделах.

Хотите узнать о вероятности машинного обучения

Пройдите мой бесплатный 7-дневный ускоренный курс по электронной почте (с образцом кода).

Нажмите, чтобы зарегистрироваться, а также получите бесплатную электронную версию курса в формате PDF.

Логистическая регрессия и логарифмические шансы

Прежде чем мы углубимся в то, как параметры модели оцениваются на основе данных, нам нужно понять, что именно рассчитывает логистическая регрессия.

Это может быть самая запутанная часть логистической регрессии, поэтому мы рассмотрим ее медленно.

Линейная часть модели (взвешенная сумма входных данных) вычисляет логарифмические шансы успешного события, в частности логарифмические шансы того, что образец принадлежит классу 1.

  • log-odds = beta0 + beta1 * x1 + beta2 * x2 +… + betam * xm

Фактически, модель оценивает логарифмические шансы для класса 1 для входных переменных на каждом уровне (все наблюдаемые значения).

Что такое шансы и логарифмы?

Коэффициенты могут быть знакомы из области азартных игр. Шансы часто указываются как выигрыш к проигрышу (выигрыши: проигрыши), например, шанс от одного до десяти или соотношение выигрышей указывается как 1: 10.

Учитывая вероятность успеха ( p ), предсказанную моделью логистической регрессии, мы можем преобразовать ее в шансы успеха как вероятность успеха, деленную на вероятность неудачи:

  • шансы на успех = p / (1 - p)

Вычисляется логарифм шансов, в частности, логарифм с основанием е или натуральный логарифм. Эта величина называется логарифмическими шансами и может называться логит (логистическая единица), единица измерения.

  • log-odds = log (p / (1 - p)

Напомним, что это то, что вычисляет линейная часть логистической регрессии:

  • log-odds = beta0 + beta1 * x1 + beta2 * x2 +… + betam * xm

Логарифмические шансы успеха можно преобразовать обратно в шансы на успех, вычислив экспоненту логарифмических шансов.

  • odds = exp (логарифм-шансы)
  • коэффициент = exp (beta0 + beta1 * x1 + beta2 * x2 +… + betam * xm)

Шансы на успех могут быть преобразованы обратно в вероятность успеха следующим образом:

  • p = шансы / (шансы + 1)

И это похоже на форму нашей модели логистической регрессии, за исключением того, что мы хотим преобразовать логарифмические шансы в шансы как часть расчета.

Мы можем сделать это и упростить расчет следующим образом:

  • p = 1 / (1 + exp (-log-odds))

Это показывает, как мы переходим от логарифмических шансов к шансам, к вероятности класса 1 с помощью модели логистической регрессии, и что эта окончательная функциональная форма соответствует логистической функции, гарантируя, что вероятность находится между 0 и 1.

Мы можем сделать эти вычисления преобразования между вероятностью, шансами и логарифмическими шансами конкретными с помощью некоторых небольших примеров на Python.

Во-первых, давайте определим вероятность успеха на уровне 80%, или 0,8, и преобразуем ее в шансы, а затем снова в вероятность.

Сергей Иващенко

08.09.2021

Подписывайтесь на наши социальные сети!