Метод неопределенных множителей лагранжа доказательство. Метод неопределенных множителей лагранжа

Описание метода

где .

Обоснование

Нижеприведенное обоснование метода множителей Лагранжа не является его строгим доказательством. Оно содержит эвристические рассуждения, помогающие понять геометрический смысл метода.

Двумерный случай

Линии уровня и кривая .

Пусть требуется найти экстремум некоторой функции двух переменных при условии, задаваемом уравнением . Мы будем считать, что все функции непрерывно дифференцируемы, и данное уравнение задает гладкую кривую S на плоскости . Тогда задача сводится к нахождению экстремума функции f на кривой S . Будем также считать, что S не проходит через точки, в которых градиент f обращается в 0 .

Нарисуем на плоскости линии уровня функции f (то есть кривые ). Из геометрических соображений видно, что экстремумом функции f на кривой S могут быть только точки, в которых касательные к S и соответствующей линии уровня совпадают. Действительно, если кривая S пересекает линию уровня f в точке трансверсально (то есть под некоторым ненулевым углом), то двигаясь по кривой S из точки мы можем попасть как на линии уровня, соответствующие большему значению f , так и меньшему. Следовательно, такая точка не может быть точкой экстремума.

Тем самым, необходимым условием экстремума в нашем случае будет совпадение касательных. Чтобы записать его в аналитической форме, заметим, что оно эквивалентно параллельности градиентов функций f и ψ в данной точке, поскольку вектор градиента перпендикулярен касательной к линии уровня. Это условие выражается в следующей форме:

где λ - некоторое число, отличное от нуля, и являющееся множителем Лагранжа.

Рассмотрим теперь функцию Лагранжа , зависящую от и λ :

Необходимым условием ее экстремума является равенство нулю градиента . В соответствии с правилами дифференцирования, оно записывается в виде

Мы получили систему, первые два уравнения которой эквивалентны необходимому условию локального экстремума (1), а третье - уравнению . Из нее можно найти . При этом , поскольку в противном случае градиент функции f обращается в нуль в точке , что противоречит нашим предположениям. Следует заметить, что найденные таким образом точки могут и не являться искомыми точками условного экстремума - рассмотренное условие носит необходимый, но не достаточный характер. Нахождение условного экстремума с помощью вспомогательной функции L и составляет основу метода множителей Лагранжа, примененного здесь для простейшего случая двух переменных. Оказывается, вышеприведенные рассуждения обобщаются на случай произвольного числа переменных и уравнений, задающих условия.

На основе метода множителей Лагранжа можно доказать и некоторые достаточные условия для условного экстремума, требующие анализа вторых производных функции Лагранжа.

Применение

• Метод множителей Лагранжа применяется при решении задач нелинейного программирования, возникающих во многих областях (например, в экономике).
• Основной метод решения задачи об оптимизации качества кодирования аудио и видео данных при заданном среднем битрейте (оптимизация искажений - англ. Rate-Distortion optimization ).

См. также

Ссылки

• Зорич В. А. Математический анализ. Часть 1. - изд. 2-е, испр. и доп. - М.: ФАЗИС, 1997.

Wikimedia Foundation . 2010 .

Смотреть что такое "Множители Лагранжа" в других словарях:

Множители Лагранжа - дополнительные множители, преобразующие целевую функцию экстремальной задачи выпуклого программирования (в частности, линейного программирования) при ее решении одним из классических методов методом разрешающих множителей… … Экономико-математический словарь

множители Лагранжа - Дополнительные множители, преобразующие целевую функцию экстремальной задачи выпуклого программирования (в частности, линейного программирования) при ее решении одним из классических методов методом разрешающих множителей (методом Лагранжа).… … Справочник технического переводчика

Механики. 1) Лагранжа уравнения 1 го рода дифференциальные ур ния движения механич. системы, к рые даны в проекциях на прямоугольные координатные оси и содержат т. н. множители Лагранжа. Получены Ж. Лагранжем в 1788. Для голономной системы,… … Физическая энциклопедия

Механики обыкновенные дифференциальные уравнения 2 го порядка, описывающие движения механич. систем под действием приложенных к ним сил. Л. у. установлены Ж. Лаг ранжем в двух формах: Л. у. 1 го рода, или уравнения в декартовых координатах с… … Математическая энциклопедия

1) в гидромеханике ур ния движения жидкости (газа) в переменных Лагранжа, к рыми являются координаты ч ц среды. Получены франц. учёным Ж. Лагранжем (J. Lagrange; ок. 1780). Из Л. у. определяется закон движения ч ц среды в виде зависимостей… … Физическая энциклопедия

Метод множителей Лагранжа, метод нахождения условного экстремума функции f(x), где, относительно m ограничений, i меняется от единицы до m. Содержание 1 Описание метода … Википедия

Функция, используемая при решении задач на условный экстремум функций многих переменных и функционалов. С помощью Л. ф. записываются необходимые условия оптимальности в задачах на условный экстремум. При этом не требуется выражать одни переменные … Математическая энциклопедия

Метод решения задач на Условный экстремум; Л. м. м. заключается в сведении этих задач к задачам на безусловный экстремум вспомогательной функции т. н. функции Лагранжа. Для задачи об экстремуме функции f (х1, x2,..., xn) при… …

Переменные, с помощью к рых строится Лагранжа функция при исследовании задач на условный экстремум. Использование Л. м. и функции Лагранжа позволяет единообразным способом получать необходимые условия оптимальности в задачах на условный экстремум … Математическая энциклопедия

1) в гидромеханике уравнения движения жид кой среды, записанные в переменных Лагранжа, которыми являются координаты частиц среды. Из Л. у. определяется закон движения частиц среды в виде зависимостей координат от времени, а по ним… … Большая советская энциклопедия

Жозеф Луи Лагранж родился в Турине (Италия) в итало-французской семье. Он учился, а затем преподавал в Артиллерийском училище. В 1759 г. по рекомендации Эйлера 23-летнего Лагранжа избирают в члены Берлинской академии наук. В 1766 г. он уже стал ее президентом. Фридрих II пригласил Лагранжа в Берлин. После смерти Фридриха II в 1786 г. Лагранж переехал в Париж. С 1722 г. он был членом Парижской академии наук, в 1795 г. его назначили членом Бюро долгот, и он принял активное участие в создании метрической системы мер. Круг научных исследований Лагранжа был необычайно широк. Они посвящены механике, геометрии, математическому анализу, алгебре, теории чисел, а также теоретической астрономии. Основным направлением исследований Лагранжа было представление самых различных явлений в механике с единой точки зрения. Он вывел уравнение, описывающее поведение любых систем под действием сил. В области астрономии Лагранж много сделал для решения проблемы устойчивости Солнечной системы; доказал некоторые частные случаи устойчивого движения, в частности для малых тел находящихся в так называемых треугольных точках либрации.

Метод Лагранжа ─ это метод решения задачи условной оптимизации, при котором ограничения, записываемые как неявные функции, объединяются с целевой функцией в форме нового уравнения, называемого лагранжианом .

Рассмотрим частный случай общей задачи нелинейного программирования:

Дана система нелинейных уравнений (1):

(1) gi(x1,x2,…,xn)=bi (i=1..m),

Найти наименьшее (или наибольшее) значение функции (2)

(2) f (х1,х2,…,хn),

если отсутствуют условия неотрицательности переменных и f(х1,х2,…,хn) и gi(x1,x2,…,xn) ─ функции, непрерывные вместе со своими частными производными.

Чтобы найти решение этой задачи, можно применить следующий метод: 1. Вводят набор переменных λ1, λ2,…, λm, называемых множителями Лагранжа, составляют функцию Лагранжа (3)

(3) F(х1,х2,…,хn , λ1,λ2,…,λm) = f(х1,х2,…,хn)+ λi .

2. Находят частные производные от функции Лагранжа по переменным xi и λi и приравнивают их нулю.

3. Решая систему уравнений, находят точки, в которых целевая функция задачи может иметь экстремум.

4.Среди точек, подозрительных не экстремум, находят такие, в которыхдостигается экстремум, и вычисляют значения функции в этих точках.

4. Сравнить полученные значения функции f и выбрать наилучшее.

По плану производства продукции предприятию необходимо изготовить 180 изделий. Эти изделия могут быть изготовлены двумя технологическими способами. При производстве х1 изделия I способом затраты равны 4*х1+х1^2 руб., а при изготовлении х2 изделий II способом они составляют 8*х2+х2^2 руб. Определить, сколько изделий каждым из способов следует изготовить, так чтобы общие затраты на производство продукции были минимальными.

Решение: Математическая постановка задачи состоит в определении наименьшего значения функции двух переменных:

f = 4*x1+x1^2 +8*x2 +x2^2, при условии x1 +x2 = 180.

Составим функцию Лагранжа:

F(x1,x2,λ) = 4*x1+x1^2+8*x2+x2^2+λ*(180-x1-x2).

Вычислим ее частные производные по х1,х2, λ и приравняем их к 0:

Перенесем в правые части первых двух уравнений λ и приравняем их левые части, получим 4 + 2*x1 = 8 + 2*x2, или x1 − x2 = 2.

Решая последнее уравнение совместно с уравнением x1 + x2 = 180, находим x1 = 91, x2 = 89, то есть получили решение, удовлетворяющее условиям:

Найдем значение целевой функции f при этих значениях переменных:

F(x1, x2) = 17278

Эта точка является подозрительной на экстремум. Используя вторые частные производные, можно показать, что в точке (91,89) функция f имеет минимум.

Рассмотрим задачу условной оптимизации, содержащую только ограничения в виде равенств

min

при наличии ограничений

,
.

Эта задача в принципе может быть решена как задача безусловной оптимизации, полученная путем исключения из целевой функции m независимых переменных с помощью заданных равенств. Наличие ограничений в виде равенств фактически позволяет уменьшить размерность исходной задачи. Новая задача может быть решена с помощью подходящего метода безусловной оптимизации.

Пример . Требуется минимизировать функцию

при ограничении

Исключив переменную с помощью уравнения, получим оптимизационную задачу с двумя переменными без ограничений:

минимизировать ,

которую можно решить одним из методов безусловной оптимизации.

Однако метод исключения переменных применим лишь в тех случаях, когда уравнения, представляющие ограничения, можно разрешить относительно некоторого набора переменных. При наличии большого числа ограничений в виде равенств процесс исключения переменных становится весьма трудоемкой процедурой. Кроме того, возможны ситуации, когда уравнение не удается разрешить относительно переменной. В этом случае целесообразно использовать метод множителей Лагранжа.

С помощью метода множителей Лагранжа по существу устанавливаются необходимые условия, позволяющие идентифицировать точки оптимума в задачах оптимизации с ограничениями в виде равенств.

Рассмотрим задачу

min

при наличии ограничений

,
.

Из курса математического анализа хорошо известно, что точка условного минимума функции совпадает с седловой точкой функции Лагранжа:

,

при этом седловая точка должна обеспечивать минимум по переменным и максимум по параметрам. Эти параметры называются множителями Лагранжа. Приравнивая частные производные функциипои пок нулю, получим необходимые условия стационарной точки:

,
,

,
.

Решение системы
уравнений определяет стационарную точку функции Лагранжа. Достаточные условия существования минимума исходной задачи содержат, кроме выше упомянутых, положительную определенность матрицы Гессе целевой функции.

4.2. Условия куна - таккера

Рассмотрим задачу нелинейного программирования с ограничениями в виде неравенств

min

при ограничениях

,
.

Сведем ограничения в виде неравенств к ограничениям-равенствам добавлением к каждому из них ослабляющих переменных ,
:

.

Сформируем функцию Лагранжа:

Тогда необходимые условия минимума принимают вид

,
;

,
;

,
.

Можно умножить последнее уравнение на и заменить ослабляющие переменные, выразив их из второго уравнения. Второе уравнение можно преобразовать, отбросив ослабляющие переменные и переходя к ограничениям-неравенствам. Следует добавить еще одно условие
, которое должно выполняться в точке условного минимума.

Окончательно получаем необходимые условия существования минимума задачи нелинейного программирования с ограничениями неравенствами, которые называются условиями Куна- Таккера:

,
; (1)

,
; (2)

,
; (3)

,
. (4)

Ограничение в виде неравенства
называется активным в точке, если оно превращается в равенство
, и называется неактивным, если
. Если существует возможность обнаружить до непосредственного решения задачи ограничения, которые неактивны в точке оптимума, то эти ограничения можно исключить из модели и тем самым уменьшить ее размеры.

Уравнение (3) означает, что либо
, либо
. Если
, то
и ограничение является активным и представляет собой ограничение равенство. С другой стороны, если ограничение является строгим неравенством
, то множитель Лагранжа будет иметь вид
т.е. ограничение
является неактивным и им можно пренебречь. Конечно, предварительно не известно какими ограничениями можно пренебречь.

Метод Множителей Лагранжа является классическим методом решения задач математического программирования (в частности выпуклого). К сожалению, при практическом применении метода могут встретиться значительные вычислительные трудности, сужающие область его использования. Мы рассматриваем здесь метод Лагранжа главным образом потому, что он является аппаратом, активно используемым для обоснования различных современных численных методов, широко применяемых на практике. Что же касается функции Лагранжа и множителей Лагранжа, то они играют самостоятельную и исключительно важную роль в теории и приложениях не только математического программирования.

Рассмотрим классическую задачу оптимизации

max (min) z=f(x) (7.20)

Эта задача выделяется из задачи (7.18), (7.19) тем, что среди ограничений (7.21) нет неравенств, нет условий неотрицательности переменных, их дискретности, и функции f(x) и непрерывны и имеют частные производные по крайней мере второго порядка.

Классический подход к решению задачи (7.20), (7.21) дает систему уравнений (необходимые условия), которым должна удовлетворять точка х*,доставляющая функции f(x)локальный экстремум на множестве точек, удовлетворяющих ограничениям (7.21) (для задачи выпуклого программирования найденная точка х*в соответствии с теоремой 7.6 будет одновременно и точкой глобального экстремума).

Предположим, что в точке х* функция (7.20) имеет локальный условный экстремум и ранг матрицы равен . Тогда необходимые условия запишутся в виде:

(7.22)

есть функция Лагранжа; - множители Лагранжа.

Существуют также и достаточные условия, при выполнении которых решение системы уравнений (7.22) определяет точку экстремума функции f(x). Этот вопрос решается на основании исследования знака второго дифференциала функции Лагранжа. Однако достаточные условия представляют главным образом теоретический интерес.

Можно указать следующий порядок решения задачи (7.20), (7.21) методом множителей Лагранжа:

1) составить функцию Лагранжа (7.23);

2) найти частные производные функции Лагранжа по всем переменным и приравнять их нулю. Тем самым будет получена система (7.22), состоящая из уравнений. Решить полученную систему (если это окажется возможным!) и найти таким образом все стационарные точки функции Лагранжа;

3) из стационарных точек, взятых без координат , выбрать точки, в которых функция f(x) имеет условные локальные экстремумы при наличии ограничений (7.21). Этот выбор осуществляется, например, с применением достаточных условий локального экстремума. Часто исследование упрощается, если использовать конкретные условия задачи.

Пример 7.3 . Найти оптимальное распределение ограниченного ресурса в a ед. между n потребителями, если прибыль, получаемая при выделении j-му потребителю x j единиц ресурса, вычисляется по формуле .

Решение. Математическая модель задачи имеет следующий вид:

Составляем функцию Лагранжа:

.

Находим частные производные функции Лагранжа и приравниваем их нулю:

Решая эту систему уравнений, получаем:

Таким образом, если j-му потребителю будет выделено ед. ресурса, то суммарная прибыль достигнет максимальной величины и составит ден. ед.

Мы рассмотрелиметод Лагранжа применительно к классической задаче оптимизации. Можно обобщить этот метод на случай, когда переменные неотрицательны и некоторые ограничения заданы в форме неравенств. Однако это обобщение имеет преимущественно теоретическое значение и не приводит к конкретным вычислительным алгоритмам.

В заключение дадим множителям Лагранжа экономическую интерпретацию. Для этого обратимся к простейшей классической задаче оптимизации

max (min) z =f (x 1 , х 2); (7.24)

𝜑(x 1 , х 2)=b. (7.25)

Предположим, что условный экстремум достигается в точке . Соответствующее экстремальное значение функции f (x )

Допустим, что в ограничениях (7.25) величина b может меняться, тогда координаты точки экстремума, а следовательно, и экстремальное значение f* функции f (x ) станут величинами, зависящими от b , т. е. ,, а поэтому производная функции (7.24)

Теорема 1. Пусть точка является точкой условного экстремума функции при выполнении уравнений связи (3). Тогда существуют такие числа, что в точке выполняются условия

Следствие. Положим

где - числа, указанные в теореме. Функция (8) называется функцией Лагранжа. Если точка является точкой условного экстремума для функции, то она является стационарной точкой для функции Лагранжа, т.е. в этой точке

Доказательство теоремы. Пусть - точка условного экстремума для функции и пусть в этой точке для определенности выполняется условие (4). Тогда точка является точкой обычного экстремума для функции, поэтому в точке

откуда, пользуясь инвариантностью формы первого дифференциала, для точки имеем

Подставляя (5) в (3) и дифференцируя получившееся тождество в некоторой окрестности точки, а значит, и в самой точке, получим

В формуле (11), также как и в формуле (10), дифференциалы есть дифференциалы независимых переменных, а дифференциалы есть дифференциалы функций.

Каковы бы не были числа, умножая равенство (11) в точке для функции на, и складывая их между собой и с равенством (10), получим

Выбрав так, чтобы в точке выполнялись равенства

Это всегда возможно, так как (13) является системой линейных относительно уравнений с определителем

не равным нулю.

При таком выборе имеем

Здесь уже все дифференциалы есть дифференциалы независимых переменных и, значит, сами являются независимыми переменными, которые могут принимать любые значения. Беря, а все остальные дифференциалы, входящие в формулу (14), равными нулю, получим

Тем самым мы доказали существование таких, что выполняются условия (13) и (15), т.е. условия (7).

Теорема доказана.

Алгоритм нахождения экстремума функции методом множителей Лагранжа

Пусть требуется найти экстремум функции n переменных f(x 1 ,x 2 ,…,x n) при условии, что переменные x 1 ,x 2 ,…,x n связаны соотношениями (ограничениями)

среди которых количество m ограничений-равенств меньше числа n переменных, а количество и r ограничений-неравенств может быть произвольным.

Для нахождения значений {x 1 ,x 2 ,…,x n }=Х, необходимо доставляющих экстремумы функции f(X), можно воспользоваться методом неопределенных множителей Лагранжа:

• 1. Ограничения-неравенства g(X)0 приводятся к виду (Х)0, где (Х) = - g(X).
• 2. Полученные ограничения-неравенства

в свою очередь приводятся к ограничениям-равенствам путем введения +r дополнительных переменных

В результате задача поиска условного экстремума примет канонический вид:

в котором соотношение m++r < n++r указывает на возможность получения множества допустимых решений, а значит, и нахождения среди них тех, которые доставляют экстремум f(X).

3. Составляется функция Лагранжа:

Ф(x 1 ,…,x n , 1 ,…, m++r) = f(x 1 ,x 2 ,…,x n)+ 1 q 1 + 2 q 2 +…+ m++r q m++r,

в которой дополнительные переменные { 1 ,…, m++r }= называются неопределенными множителями Лагранжа.

Для составленной функции Лагранжа можно ставить задачу нахождения безусловного экстремума

результат решения которой будет совпадать с искомым решением исходной задачи нахождения условного экстремума.

4. Для функции Ф(Х,) составляются необходимые условия существования экстремума:

5. Полученную систему уравнений Ф(Х,)=0 решают, и в результате решения находят значения

удовлетворяющие необходимым условиям существования экстремума.

6. Для решения вопроса о том, существует ли в найденных точках максимумы или минимумы следует воспользоваться достаточными условиями существования экстремумов, которые для гладких функций Ф() формулируются следующим образом:

если в некоторой точке матрица вторых производных положительно определена, то в анализируемой точке лежит минимум функции f(Х);