Построение информативного подмножества признаков. В более общем случае многомерной линейной регрессии данные имеют вид (yi, Xi), i = 1, 2, …, n, где Xi = (xi1, xi2, …, xiN) RN -- вектор предикторов (факторов, объясняющих переменных), а модель такова:
(9)
(здесь K -- некоторое подмножество множества {1, 2, …, n}; i -- те же, что и в модели (8); aj -- неизвестные коэффициенты при предикторах с номерами из K). Множество К называют информативным подмножеством признаков, поскольку согласно формуле (9) остальные признаки можно отбросить без потери информации. Проблема состоит в том, что при анализе реальных данных неизвестно, какие признаки входят в К, а какие нет. Ясна важность оценивания информативного подмножества признаков.
Модель (8) сводится к модели (9), если
xi1 = 1, xi2 = xi,
В модели (8) есть естественный порядок ввода предикторов в рассмотрение -- в соответствии с возрастанием степени многочлена, а в модели (9) естественного порядка нет, поэтому здесь приходится рассматривать произвольное подмножество множества предикторов. Есть только частичный порядок -- чем мощность подмножества меньше, тем лучше. Модель (9) особенно актуальна в технических исследованиях (см. многочисленные примеры в журнале «Заводская лаборатория. Диагностика материалов»). Она применяется в задачах управления качеством продукции и других технико-экономических исследованиях, в медицине, экономике, маркетинге и социологии, когда из большого числа факторов, предположительно влияющих на изучаемую переменную, надо отобрать по возможности наименьшее число значимых факторов и с их помощью сконструировать прогнозирующую формулу (9).
Задача оценивания модели (9) разбивается на две последовательные задачи: оценивание множества K -- подмножества множества всех предикторов, а затем -- неизвестных параметров aj. Методы решения второй задачи хорошо известны и подробно изучены (обычно используют метод наименьших квадратов). Гораздо хуже обстоит дело с оцениванием объекта нечисловой природы K. Существующие методы -- в основном эвристические, они зачастую не являются даже состоятельными. Даже само понятие состоятельности в данном случае требует специального определения.
Определение. Пусть K0 -- истинное подмножество предикторов, т.е. подмножество, для которого справедлива модель (9), а подмножество предикторов Kn -- его оценка. Оценка Kn называется состоятельной, если
,
где -- символ симметрической разности множеств; Card(K) означает число элементов множества K, а предел понимается в смысле сходимости по вероятности.
Задача оценивания в моделях регрессии, таким образом, разбивается на две -- оценивание структуры модели и оценивание параметров при заданной структуре. В модели (8) структура описывается неотрицательным целым числом m, в модели (9) -- множеством K. Структура -- объект нечисловой природы. Задача ее оценивания сложна, в то время как задача оценивания численных параметров при заданной структуре хорошо изучена, разработаны эффективные (в смысле прикладной математической статистики) методы. Такова же ситуация и в других методах многомерного статистического анализа -- в факторном анализе (включая метод главных компонент) и в многомерном шкалировании, в иных оптимизационных постановках проблем прикладного многомерного статистического анализа.
Множество K и параметры aj линейной зависимости можно оценивать путем решения задачи оптимизации
(10)
в которой минимум берется по K, aj, j K. Математическая природа множества, по которому проводится минимизация, весьма сложна. Это и объясняет тот факт, что к настоящему времени разработано много эвристических методов оценивания информативного множества параметров К, свойства которых плохо изучены. На основе общих результатов нечисловой статистики об асимптотическом поведении решений экстремальных статистических задач удалось показать, что оценки, полученные путем решения задачи (7), являются состоятельными [7].
К рассматриваемой тематике относится также эффект "вздувания коэффициентов корреляции", рассмотренный выше в п.5.
12. Регрессионный анализ интервальных данных
Иногда рассматривают модели, в которых как входная, так и выходная переменные имеют погрешности, определяемые значениями этих переменных. В простейшем случае вместо "истинных" данных (ti, xi), i = 1, 2, ..., n, наблюдают данные с погрешностями (qi, yi), i = 1, 2, ..., n. где qi, = ti + , yi = xi + . Здесь и - погрешности измерений (наблюдений, регистрации, опытов, анализов). Требуется восстановить зависимость между "истинными" переменными t и x.
Есть несколько подходов к решению. этой задачи. Если заданы ограничения на значения погрешностей, наложенных на случайные величины, то плодотворен подход разработанной нами статистики интервальных данных [25]. Восстановлению линейной зависимости в соответствии с подходом статистики интервальных данных посвящена статья [26]. Подробному изложению статистики интервальных данных посвящены развернутые главы в монографиях [1, 10, 27, 28].
Уходит в прошлое подход т.н. конфлюэнтного анализа, согласно которому погрешности измерений и имеют нормальные распределения. Поскольку, как уже отмечалось, распределения практически всех реальных величин не являются нормальными, конфлюэнтный анализ не является адекватным реальным ситуациям и потому не имеет практических перспектив. Точно также распределения Стьюдента и Фишера не адекватны реальности и могут иметь лишь теоретическое значение. Вместе с тем отметим, что, например, неизвестен непараметрический аналог критерия Фишера, предназначенного для проверки адекватности регрессионной модели (скажем, для проверки адекватности линейной модели, когда альтернативой является квадратическая).
13. Заключительные замечания
Как уже отмечалось [12], основная проблема современной науки - всеобщее невежество научных работников. Мы постарались показать, что нельзя бездумно применять распространенные программные продукты (ср. [13]). Необходимо владеть основами прикладной статистики. Иначе вместо обоснованных результатов статистического анализа данных можно получить ошибочные заключения.
Отметим, что многие важные результаты (в частности, принадлежащие А.Н. Колмогорову и С.Н. Бернштейну) были получены много десятилетий назад. Следовательно, грубо ошибочна встречающаяся иногда ориентация исследователей и редакций научных журналов только на публикации последних 5 лет.
Анализ многообразия моделей регрессионного анализа приводит к выводу, что не существует единой "стандартной модели". В каждом конкретном случае необходимо описывать используемую модель и обосновывать ее.
Исследования в рассматриваемой области прикладной статистики ведутся активно, но много задач всё еще требует решения. Некоторые такие задачи отмечены выше. Например, разработанные в ХХ в. модели и методы, основанные на предположении нормальности, требуют осмысления и доработки (как теоретической, так и алгоритмической) с позиций непараметрической статистики. Критический разбор устоявшихся взглядов необходим для квалифицированного развития и применения математических методов исследования, в частности, для перехода на современную парадигму математической статистики [17].
Литература
1. Орлов А.И. Прикладная статистика. -- М.: Экзамен, 2006. -- 671 с.
2. Орлов А.И. Устойчивость в социально-экономических моделях. -- М.: Наука, 1979. -- 296 с.
3. Налимов В.В. Теория эксперимента. -- М.: Наука, 1971. -- 208 с.
4. Ермаков С.М., Бродский В.З., Жиглявский А.А. и др. Математическая теория планирования эксперимента. -- М.: Физматлит, 1983. -- 392 с.
5. Бернштейн С.Н. Об одном элементарном свойстве коэффициента корреляции / Зап. Харьк. матем. тов. 1932. Т. 5. С. 65-66.
6. Колмогоров А.Н. К вопросу о пригодности найденных статистическим путем формул прогноза / Журн. геофиз. 1933. Т.3. С. 78-82.
7. Орлов А.И. Методы поиска наиболее информативных множеств признаков в регрессионном анализе / Заводская лаборатория. Диагностика материалов. 1995. Т.61. № 1. С. 56-58.
8. Орлов А.И. Проблема множественных проверок статистических гипотез / Заводская лаборатория. Диагностика материалов. 1996. Т.62. № 5. С. 51-54.
9. Сердобольский В.И., Орлов А.И. Статистический анализ при большом числе параметров / Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа. Тезисы докладов III Всесоюзной школы-семинара. -- М.: ЦЭМИ АН СССР, 1987. -- С. 151-160.
10. Орлов А.И. Организационно-экономическое моделирование: : учебник : в 3 ч. Ч.1: Нечисловая статистика. -- М.: Изд-во МГТУ им. Н. Э. Баумана, 2009. -- 542 с.
11. Орлов А.И. Статистический контроль по двум альтернативным признакам и метод проверки их независимости по совокупности малых выборок / Заводская лаборатория. Диагностика материалов. 2000. Т.66. № 1. С. 58-62.
12. Лойко В. И., Луценко Е. В., Орлов А. И. Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. - Краснодар: КубГАУ, 2017. - 532 с.
13. Орлов А.И. Статистические пакеты - инструменты исследователя / Заводская лаборатория. Диагностика материалов. 2008. Т.74. № 5. С. 76-78.
14. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли / Заводская лаборатория. Диагностика материалов. 1987. Т.53. №3. С.90-91.
15. Тырсин А.Н., Максимов К.Е. Оценивание линейных регрессионных уравнений с помощью метода наименьших модулей // Заводская лаборатория. Диагностика материалов. 2012. Том 78. № 7. С. 65-71.
16. Орлов А.И. Распределения реальных статистических данных не являются нормальными // Научный журнал КубГАУ. 2016. № 117. С. 71-90.
17. Орлов А.И. Основные черты новой парадигмы математической статистики / Научный журнал КубГАУ. 2013. № 90. С. 45-71.
18. Орлов А.И. Современное состояние непараметрической статистики / Научный журнал КубГАУ. 2015. № 106. С. 239 - 269.
19. Королюк В.С., Портенко Н.И., Скороход А.В., Турбин А.Ф. Справочник по теории вероятностей и математической статистике. -- М.: Наука, 1985. -- 640 с.
20. Орлов А.И. Асимптотика оценок плотности распределения вероятностей / Научный журнал КубГАУ. 2017. № 131. С. 845 - 873.
21. Орлов А.И. Восстановление зависимости методом наименьших квадратов на основе непараметрической модели с периодической составляющей / Научный журнал КубГАУ. 2013. № 91. С. 133-162.
22. Себер Дж. Линейный регрессионный анализ. -- М., 1980. -- 456 с.
23. Орлов А.И. Асимптотика некоторых оценок размерности модели в регрессии / Прикладная статистика. Ученые записки по статистике. Т. 45. -- М.: Наука, 1983. -- С. 260-265.
24. Орлов А.И. Об оценивании регрессионного полинома / Заводская лаборатория. Диагностика материалов. 1994. Т.60. №5. С. 43-47.
25. Орлов А.И. Статистика интервальных данных (обобщающая статья) / Заводская лаборатория. Диагностика материалов. 2015. Т.81. №3. С. 61 - 69.
26. Гуськова Е.А., Орлов А.И. Интервальная линейная парная регрессия (обобщающая статья) / Заводская лаборатория. Диагностика материалов. 2005. Т.71. №3. С.57-63.
27. Орлов А.И. Теория принятия решений. -- М.: Экзамен, 2006. -- 576 с.
28. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. - Краснодар, КубГАУ. 2014. - 600 с.
29. Orlov A.I. Prikladnaya statistika. -- M.: Ekzamen, 2006. -- 671 s.
30. Orlov A.I. Ustojchivost' v social'no-ekonomicheskih modelyah. -- M.: Nauka, 1979. -- 296 s.
31. Nalimov V.V. Teoriya eksperimenta. -- M.: Nauka, 1971. -- 208 s.
32. Ermakov S.M., Brodskij V.Z., ZHiglyavskij A.A. i dr. Matematicheskaya teoriya planirovaniya eksperimenta. -- M.: Fizmatlit, 1983. -- 392 s.
33. Bernshtejn S.N. Ob odnom elementarnom svojstve koefficienta korrelyacii / Zap. Har'k. matem. tov. 1932. T. 5. S. 65-66.
34. Kolmogorov A.N. K voprosu o prigodnosti najdennyh statisticheskim putem formul prognoza / ZHurn. geofiz. 1933. T.3. S. 78-82.
35. Orlov A.I. Metody poiska naibolee informativnyh mnozhestv priznakov v regressionnom analize / Zavodskaya laboratoriya. Diagnostika materialov. 1995. T.61. № 1. S. 56-58.
36. Orlov A.I. Problema mnozhestvennyh proverok statisticheskih gipotez / Zavodskaya laboratoriya. Diagnostika materialov. 1996. T.62. № 5. S. 51-54.
37. Serdobol'skij V.I., Orlov A.I. Statisticheskij analiz pri bol'shom chisle parametrov / Programmno-algoritmicheskoe obespechenie prikladnogo mnogomernogo statisticheskogo analiza. Tezisy dokladov III Vsesoyuznoj shkoly-seminara. -- M.: CEMI AN SSSR, 1987. -- S. 151-160.
38. Orlov A.I. Organizacionno-ekonomicheskoe modelirovanie: : uchebnik : v 3 ch. CH.1: Nechislovaya statistika. -- M.: Izd-vo MGTU im. N. E. Baumana, 2009. -- 542 s.
39. Orlov A.I. Statisticheskij kontrol' po dvum al'ternativnym priznakam i metod proverki ih nezavisimosti po sovokupnosti malyh vyborok / Zavodskaya laboratoriya. Diagnostika materialov. 2000. T.66. № 1. S. 58-62.
40. Lojko V. I., Lucenko E. V., Orlov A. I. Sovremennye podhody v naukometrii: monografiya / Pod nauch. red. prof. S. G. Fal'ko. - Krasnodar: KubGAU, 2017. - 532 s.
41. Orlov A.I. Statisticheskie pakety - instrumenty issledovatelya / Zavodskaya laboratoriya. Diagnostika materialov. 2008. T.74. № 5. S. 76-78.
42. Orlov A.I. Pervyj Vsemirnyj kongress Obshchestva matematicheskoj statistiki i teorii veroyatnostej im. Bernulli / Zavodskaya laboratoriya. Diagnostika materialov. 1987. T.53. №3. S.90-91.
43. Tyrsin A.N., Maksimov K.E. Ocenivanie linejnyh regressionnyh uravnenij s pomoshch'yu metoda naimen'shih modulej // Zavodskaya laboratoriya. Diagnostika materialov. 2012. Tom 78. № 7. S. 65-71.
44. Orlov A.I. Raspredeleniya real'nyh statisticheskih dannyh ne yavlyayutsya normal'nymi // Nauchnyj zhurnal KubGAU. 2016. № 117. S. 71-90.
45. Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki / Nauchnyj zhurnal KubGAU. 2013. № 90. S. 45-71.
46. Orlov A.I. Sovremennoe sostoyanie neparametricheskoj statistiki / Nauchnyj zhurnal KubGAU. 2015. № 106. S. 239 - 269.
47. Korolyuk V.S., Portenko N.I., Skorohod A.V., Turbin A.F. Spravochnik po teorii veroyatnostej i matematicheskoj statistike. -- M.: Nauka, 1985. -- 640 s.
48. Orlov A.I. Asimptotika ocenok plotnosti raspredeleniya veroyatnostej / Nauchnyj zhurnal KubGAU. 2017. № 131. S. 845 - 873.
49. Orlov A.I. Vosstanovlenie zavisimosti metodom naimen'shih kvadratov na osnove neparametricheskoj modeli s periodicheskoj sostavlyayushchej / Nauchnyj zhurnal KubGAU. 2013. № 91. S. 133-162.
50. Seber Dzh. Linejnyj regressionnyj analiz. -- M.: Mir, 1980. -- 456 s.
51. Orlov A.I. Asimptotika nekotoryh ocenok razmernosti modeli v regressii / Prikladnaya statistika. Uchenye zapiski po statistike. T. 45. -- M.: Nauka, 1983. -- S. 260-265.
52. Orlov A.I. Ob ocenivanii regressionnogo polinoma / Zavodskaya laboratoriya. Diagnostika materialov. 1994. T.60. №5. S. 43-47.
53. Orlov A.I. Statistika interval'nyh dannyh (obobshchayushchaya stat'ya) / Zavodskaya laboratoriya. Diagnostika materialov. 2015. T.81. №3. S. 61 - 69.
54. Gus'kova E.A., Orlov A.I. Interval'naya linejnaya parnaya regressiya (obobshchayushchaya stat'ya) / Zavodskaya laboratoriya. Diagnostika materialov. 2005. T.71. №3. S.57-63.
55. Orlov A.I. Teoriya prinyatiya reshenij. -- M.: Ekzamen, 2006. -- 576 s.
56. Orlov A.I., Lucenko E.V. Sistemnaya nechetkaya interval'naya matematika. - Krasnodar, KubGAU. 2014. - 600 s.