KNOWLEDGE HYPERMARKET

Метод наименьших квадратов
Строка 5: Строка 5:
<br>  
<br>  
-
'''Метод наименьших квадратов ''' ''<br>''  
+
'''Метод наименьших квадратов'''  
-
<br> Получение '''[[Построение регрессионных моделей с помощью табличного профессора|регрессионной]]''' модели происходит в два этапа:
+
<h2>Что такое метод наименьших квадратов?</h2>
-
1) подбор вида функции;
+
Сегодняшний наш урок будет посвящен изучению темы о методах наименьших квадратов. Что же это за метод? Давайте начнем с его определения.
-
2) вычисление параметров функции.  
+
Методом наименьших квадратов называют такой метод, при котором нахождение
 +
оптимальных параметров линейной регрессии, имеет в сумме квадратов регрессионных остатков минимальное количество ошибок.
-
Первая задача не имеет строгого решения. Здесь может помочь опыт и интуиция исследователя, а возможен и «слепой» перебор из конечного числа функций и выбор лучшей из них.  
+
В этом методе ключевым моментом выступает, минимизация евклидова расстояния
 +
<br>
 +
[[Image:11kl_MNK01.jpg|200x200px|МНК]]
 +
<br>
 +
 +
между вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной.
-
Чаще всего выбор производится среди следующих функций:
+
Для линейных экономических моделей метод наименьших квадратов является не только самым распространенным, но и наиболее простым и эффективным методом оценки данных параметров Уt.
-
у = ах + b — линейная&nbsp;&nbsp; функция;
+
Но даже при том, что этот метод принято считать наиболее эффективным, все же при его применении следует быть осторожными, так как построенные по методу наименьших квадратов модели, не всегда соответствуют требованиям к качеству их параметров и поэтому не всегда способны с точностью отображать все закономерности, участвующие в развитии процесса.
-
у = ах<sup>2</sup> + Ьх + с — квадратичная функция;
+
Ну а сейчас давайте более подробно попробуем рассмотреть процесс оценки параметров линейной эконометрической модели, используя метод наименьших квадратов.
-
у = аln(х) + Ь — логарифмическая функция;
+
В общем виде эта модель может иметь уравнение такого вида, как:
-
у = ае<sup>bx</sup> — экспоненциальная функция;
+
<br>
 +
[[Image:11kl_MNK02.jpg|200x200px|МНК]]
 +
<br>
 +
 +
При оценке таких параметров, как a0 , a1 ,..., an, его исходными данными будет вектор, у которого значения зависимой переменной y = (y1 , y2 , ... , yT )', а также матрица значений независимых переменных:
-
у = ах<sup>b</sup> ~ степенная функция.  
+
<br>
 +
[[Image:11kl_MNK03.jpg|400x200px|МНК]]
 +
<br>
 +
 +
если рассматривать первый столбец, то он состоит из единиц, которые соответствуют коэффициенту этой модели.
-
Квадратичная функция называется в математике полиномом второй степени. Иногда используются полиномы и более высоких степеней, например, полином третьей степени имеет вид: у = ах<sup>3</sup> + bx<sup>2</sup> + сх + d.  
+
Метод наименьших квадратов свое название приобрел, благодаря принципу, которому
 +
должны удовлетворять оценки параметров, полученные на его основе. Притом, что касается оценки его параметров, то сумма квадратов ошибки данной модели должна быть минимальной.
-
Во всех этих формулах х — аргумент, у — значение функции, а, b, с, d — параметры функций. Ln(x) — натуральный логарифм, е - константа, основание натурального логарифма.
+
Теперь давайте более наглядно метод наименьших квадратов рассмотрим на примере:
-
Если вы выбрали (сознательно или наугад) одну из предлагаемых функций, то следующим шагом нужно подобрать параметры (а, b, с и пр.) так, чтобы функция располагалась как можно ближе к экспериментальным точкам. Что значит «располагалась как можно ближе»? Ответить на этот вопрос — значит предложить метод вычисления параметров.  
+
В таблице наведен перечень предприятий, которые выпускают один и тот же товар. Давайте рассмотрим функции издержек:
-
Такой метод был предложен в XVIII веке немецким математиком К. Гауссом. Он называется методом наименьших квадратов (МНК). Суть его заключается в следующем: искомая функция должна быть построена так, чтобы сумма квадратов отклонений у- координат всех экспериментальных точек от у-координат '''[[Конспект урока на тему: Графики и диаграммы|графика]]''' функции была бы минимальной.
+
<br>
 +
[[Image:11kl_MNK04.jpg|500x200px|МНК]]
 +
<br>
 +
 
 +
В этом случае мы с вами видим, что система нормальных уравнений предоставлена в таком виде:
-
Мы не будем здесь производить подробное математическое описание метода наименьших квадратов. Достаточно того, что вы теперь знаете о существовании такого метода. Он очень широко используется в статистической обработке данных и встроен во многие математические пакеты [http://xvatit.com/it/fishki-ot-itshki/ '''программ.'''] Важно понимать следующее: методом наименьших квадратов по данному набору экспериментальных точек можно построить любую (в том числе и из рассмотренных выше) функцию. А вот будет ли она нас удовлетворять, это уже другой вопрос — вопрос критерия соответствия. На рис. 2.14 изображены три функции, построенные методом наименьших квадратов по данным, представленным в предыдущей теме.''<br><br>[[Image:Инф96.jpg|550px|Использование метода наименьших квадратов]]<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Рис. 2.14. Использование метода наименьших квадратов<br><br>''Данные рисунки получены с помощью MS Excel. График регрессионной модели называется трендом. Английское слово trend можно перевести как общее направление, или тенденция.<br>
+
<br>
 +
[[Image:11kl_MNK05.jpg|200x200px|МНК]]
 +
<br>
 +
 +
Из этого следует, что:
-
Уже с первого взгляда хочется отбраковать вариант линейного тренда. График линейной функции — это прямая. Полученная по МНК прямая отражает факт роста заболеваемости от концентрации угарного газа, но по этому графику трудно что-либо сказать о характере этого роста. А вот квадратичный и экспоненциальный тренды ведут себя очень правдоподобно. Теперь пора обратить внимание на надписи, присутствующие на графиках. Во-первых, это записанные в явном виде искомые функции — регрессионные модели:<br>
+
а = - 5,79; b = 36,84.
-
линейная функция: у =46,361х - 99,881;<br>
+
Получаем уравнение регрессии:
-
экспоненциальная функция: у = 3,4302 е<sup>0.7555x</sup>;<br>  
+
<br>
 +
[[Image:11kl_MNK06.jpg|200x200px|МНК]]
 +
<br>
 +
 +
В итоге мы видим, что общая сумма квадратов будет равна:
-
квадратичная функция: у = 21,845х<sup>2</sup> - 106,97x +150,21.
+
<br>
 +
[[Image:11kl_MNK07.jpg|200x200px|МНК]]
 +
<br>
-
На графиках присутствует еще одна величина, полученная в результате построения трендов. Она обозначена как R<sup>2</sup>. В статистике эта величина называется коэффициентом детерминированности. Именно она определяет, насколько удачной является полученная регрессионная модель. Коэффициент детерминированности всегда заключен в диапазоне от 0 до 1. Если он равен 1, то функция точно проходит через табличные значения, если О, то выбранный вид регрессионной модели предельно неудачен. Чем R<sup>2</sup> ближе к 1, тем удачнее регрессионная модель.
+
Из этого следует, что факторная сумма квадратов приобретает такой вид:
-
Из трех выбранных моделей значение R<sup>2</sup> наименьшее у линейной. Значит, она самая неудачная (нам и так это было понятно). Значения же R<sup>2</sup> у двух других моделей достаточно близки (разница меньше одной 0,01). Если определить погрешность решения данной задачи как 0,01, по критерию R<sup>2</sup> эти модели нельзя разделить. Они одинаково удачны. Здесь могут вступить в силу качественные соображения.
+
<br>
 +
[[Image:11kl_MNK08.jpg|200x200px|МНК]]
 +
<br>
-
Например, если считать, что наиболее существенно влияние концентрации угарного газа проявляется при больших величинах, то глядя на графики, предпочтение следует отдать квадратичной модели. Она лучше отражает резкий рост заболеваемости при больших концентрациях примеси.
+
Ну и остаточная сумма квадратов выходит:
-
Интересный факт: опыт показывает, что если человеку предложить на данной точечной '''[[Мастер диаграмм в табличном процессоре MS Excel|диаграмме]]''' провести на глаз прямую так, чтобы точки были равномерно разбросаны вокруг нее, то он проведет линию, достаточно близкую к той, что дает МНК.  
+
<br>
 +
[[Image:11kl_MNK09.jpg|200x200px|МНК]]
 +
<br>
 +
 +
Приходим к такому выводу, что уравнение регрессии значимо и F факт больше F табл.
-
<br>'''Коротко о главном'''<br><br>Метод наименьших квадратов используется для вычисления параметров регрессионной модели. Этот метод содержится в математическом арсенале электронных таблиц (в том числе и в MS Excel).
+
<h2>Дисперсионный анализ результатов регрессии</h2>
-
 
+
-
Выбор типа регрессионной модели пользователь производит сам, а МНК позволяет построить функцию такого типа, наиболее близкую к экспериментальным данным.
+
-
 
+
-
Характеристикой построенной модели является параметр R<sup>2</sup> — коэффициент детерминированности. Чем его значение ближе к 1, тем модель лучше.
+
-
 
+
-
Может оказаться, что несколько моделей имеют близкий параметр R<sup>2</sup>. В этом случае пользователь выбирает из них наиболее подходящую, исходя из эмпирических соображении.
+
-
 
+
-
''<br>'''''Вопросы и задания'''''<br><br>1.&nbsp; а) Для чего используется метод наименьших квадратов?''
+
-
 
+
-
''б) Что такое тренд?''
+
-
 
+
-
''в) Как располагается линия тренда, построенная по МНК, относительно экспериментальных точек?''
+
-
 
+
-
''г)&nbsp; Может ли тренд, построенный по МНК, пройти выше всех экспериментальных точек?''
+
-
 
+
-
''2. а) В чем смысл параметра R<sup>2</sup>? Какие значения он принимает?''
+
-
 
+
-
''б) Какое значение примет параметр R<sup>2</sup> если тренд точно проходит через экспериментальные точки?''
+
-
 
+
-
''3.&nbsp; По данным из следующей таблицы постройте с помощью MP Excel линейную, квадратичную, экспоненциальную и логарифмическую регрессионные модели. Определите параметры, выберите лучшую модель.<br><br>&nbsp;&nbsp; [[Image:Инф97.jpg|550px|Таблица]]''
+
-
 
+
-
'''''<br><br><br>'''Семакин И.Г., Хеннер Е.К., Информатика и ИКТ, 11''
+
-
 
+
-
''Отослано читателями из интернет-сайтов''<br><br>  
+
 +
<br>
 +
[[Image:11kl_MNK10.jpg|500x200px|МНК]]
<br>  
<br>  
-
'''<u>Содержание урока</u>'''
+
<h2>Использование методов наименьших квадратов</h2>
-
'''[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] конспект урока                      '''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] опорный каркас 
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] презентация урока
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] акселеративные методы
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] интерактивные технологии
+
-
+
-
'''<u>Практика</u>'''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] задачи и упражнения
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] самопроверка
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] практикумы, тренинги, кейсы, квесты
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] домашние задания
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] дискуссионные вопросы
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] риторические вопросы от учеников
+
-
+
-
'''<u>Иллюстрации</u>'''
+
-
'''[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] аудио-, видеоклипы и мультимедиа '''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] фотографии, картинки
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] графики, таблицы, схемы
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] юмор, анекдоты, приколы, комиксы
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] притчи, поговорки, кроссворды, цитаты
+
-
+
-
'''<u>Дополнения</u>'''
+
-
'''[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] рефераты'''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] статьи
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] фишки для любознательных
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] шпаргалки
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] учебники основные и дополнительные
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] словарь терминов                         
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] прочие
+
-
+
-
<u>Совершенствование учебников и уроков
+
-
</u>'''[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] исправление ошибок в учебнике'''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] обновление фрагмента в учебнике
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] элементы новаторства на уроке
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] замена устаревших знаний новыми
+
-
+
-
'''<u>Только для учителей</u>'''
+
-
'''[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] идеальные уроки '''
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] календарный план на год 
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] методические рекомендации 
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] программы
+
-
[[Image:1236084776 kr.jpg|10x10px|1236084776 kr.jpg]] обсуждения
+
-
+
-
+
-
'''<u>Интегрированные уроки</u>'''<u>
+
-
</u>
+
-
 
+
-
<br>  
+
-
Если у вас есть исправления или предложения к данному уроку, [http://xvatit.com/index.php?do=feedback напишите нам].  
+
Возникает вполне закономерный вопрос, зачем нам нужен и где может быть использован метод наименьших квадратов? Ну, естественно, что в первую очередь МНК нашел свое применение в математике. А именно:
-
Если вы хотите увидеть другие корректировки и пожелания к урокам, смотрите здесь - [http://xvatit.com/forum/ Образовательный форум].
+
• Во-первых, он необходим в как, так и в теории вероятности, так и в математической статистике;<br>
 +
• Во-вторых, наибольшее распространение МНК получил при решении задач на фильтрацию, где необходимо отмежевать полезный сигнал от шума, который на него накладывается.<br>
 +
• В-третьих, МНК, применяют в математическом анализе для приближённого представления заданной функции более простыми функциями.<br>
 +
• В-четвертых, его применяют тогда, когда нужно решить систему уравнений, в которых количество неизвестных меньше, чем количество уравнений.<br>

Версия 08:35, 6 июля 2015

Гипермаркет знаний>>Информатика>>Информатика 11 класс>>Информатика: Метод наименьших квадратов


Метод наименьших квадратов

Что такое метод наименьших квадратов?

Сегодняшний наш урок будет посвящен изучению темы о методах наименьших квадратов. Что же это за метод? Давайте начнем с его определения.

Методом наименьших квадратов называют такой метод, при котором нахождение оптимальных параметров линейной регрессии, имеет в сумме квадратов регрессионных остатков минимальное количество ошибок.

В этом методе ключевым моментом выступает, минимизация евклидова расстояния
МНК

между вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной.

Для линейных экономических моделей метод наименьших квадратов является не только самым распространенным, но и наиболее простым и эффективным методом оценки данных параметров Уt.

Но даже при том, что этот метод принято считать наиболее эффективным, все же при его применении следует быть осторожными, так как построенные по методу наименьших квадратов модели, не всегда соответствуют требованиям к качеству их параметров и поэтому не всегда способны с точностью отображать все закономерности, участвующие в развитии процесса.

Ну а сейчас давайте более подробно попробуем рассмотреть процесс оценки параметров линейной эконометрической модели, используя метод наименьших квадратов.

В общем виде эта модель может иметь уравнение такого вида, как:


МНК

При оценке таких параметров, как a0 , a1 ,..., an, его исходными данными будет вектор, у которого значения зависимой переменной y = (y1 , y2 , ... , yT )', а также матрица значений независимых переменных:


МНК

если рассматривать первый столбец, то он состоит из единиц, которые соответствуют коэффициенту этой модели.

Метод наименьших квадратов свое название приобрел, благодаря принципу, которому должны удовлетворять оценки параметров, полученные на его основе. Притом, что касается оценки его параметров, то сумма квадратов ошибки данной модели должна быть минимальной.

Теперь давайте более наглядно метод наименьших квадратов рассмотрим на примере:

В таблице наведен перечень предприятий, которые выпускают один и тот же товар. Давайте рассмотрим функции издержек:


МНК

В этом случае мы с вами видим, что система нормальных уравнений предоставлена в таком виде:


МНК

Из этого следует, что:

а = - 5,79; b = 36,84.

Получаем уравнение регрессии:


МНК

В итоге мы видим, что общая сумма квадратов будет равна:


МНК

Из этого следует, что факторная сумма квадратов приобретает такой вид:


МНК

Ну и остаточная сумма квадратов выходит:


МНК

Приходим к такому выводу, что уравнение регрессии значимо и F факт больше F табл.

Дисперсионный анализ результатов регрессии


МНК

Использование методов наименьших квадратов

Возникает вполне закономерный вопрос, зачем нам нужен и где может быть использован метод наименьших квадратов? Ну, естественно, что в первую очередь МНК нашел свое применение в математике. А именно:

• Во-первых, он необходим в как, так и в теории вероятности, так и в математической статистике;
• Во-вторых, наибольшее распространение МНК получил при решении задач на фильтрацию, где необходимо отмежевать полезный сигнал от шума, который на него накладывается.
• В-третьих, МНК, применяют в математическом анализе для приближённого представления заданной функции более простыми функциями.
• В-четвертых, его применяют тогда, когда нужно решить систему уравнений, в которых количество неизвестных меньше, чем количество уравнений.

Источник — «http://edufuture.biz/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BD%D0%B0%D0%B8%D0%BC%D0%B5%D0%BD%D1%8C%D1%88%D0%B8%D1%85_%D0%BA%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%BE%D0%B2»

Авторські права | Privacy Policy |FAQ | Партнери | Контакти | Кейс-уроки

©  Автор системы образования 7W и Гипермаркета Знаний - Владимир Спиваковский

При использовании материалов ресурса
ссылка на edufuture.biz обязательна (для интернет ресурсов - гиперссылка).
edufuture.biz 2008-© Все права защищены.
Сайт edufuture.biz является порталом, в котором не предусмотрены темы политики, наркомании, алкоголизма, курения и других "взрослых" тем.

Разработка - Гипермаркет знаний 2008-

Ждем Ваши замечания и предложения на email:
По вопросам рекламы и спонсорства пишите на email: