Как работают программы для статистики и анализа данных
Сама по себе статистика не обозначает практически ничего ценного, пока не будет приложена к реальной вычислительной задаче в качестве одного из средств оценки значения. Не волнуйтесь: на практике это редко требует применения столь витиеватых общих выражений и выглядит проще. В целом, статистика и анализ данных – процесс, при котором в некой выбранной системе происходит накопление значимых параметров, которые можно представить как однородные элементы. К примеру, имеется яблоневые сад, в котором каждый год созревают яблоки, их осенью собирают и заносят данные в журнал учета. Сад является областью применения статистики, яблоки – предметом статистики (без разделения на сорта, размеры, вкусовые качества), а журнал – система входного учета. Когда последнее яблоко сорвано, подсчитывается сумма яблок в журнале и строится относительных график того, как изменилась урожайность относительно прошлого года. Это и будет статистикой, а все решения относительно сравнения с прошлым годом и планированием на будущий год – анализом данных. В данном случае – анализом хозяйственной деятельности. Ценность данной статистики для владельца сада в том, что она может накладывать на систему неизменяемых данных различные фильтры предположений (модели), вследствие чего будет иметь представление о том, что будет ожидать его в будущем. В данном случае речь идет о прогнозируемых моделях, которые широко применяются в психологии, играх с ожидаемым результатам, аналитикой на уровне поведения объектов в физических средах.
Существует чисто учетная статистика, не имеющая задачей выхода в будущее, а учитывающая только реальные факты: исторические, литературные, количественные и т.д. Но такой анализ все равно подразумевает исследование проблемной области ради составления полезных выводов, иначе статистика будет оторванной от жизни. А такое случается очень часто даже в наше время. К примеру, можно точно сказать, что среднегодовой доход определенной прослойки населения увеличился за прошлый год, согласно статистике, на 4,5% относительно прошлого года. Это ничего не значит, так как неясно, к какому количеству дохода привязан этот процент. Другой известный нонсенс: «Олигарх каждый день тратит на питание 1% от своего дневного заработка, а нищий – 100%. Кто питается лучше?». По статистике выходит, что бомж, и таким жонглированием процентов часто занимают там, где достаточно привести не выводы по анализу, а параметры данных, по которым шел анализ. В принципе, тема это очень интересная и жизненная, но ясно, что для анализа лучше применять не бумажные носители, а компьютерные программы для статистики и анализа данных. Каждый такой пакет имеет:
Блок внесения данных в базу данных, где данные формализованы по одному из признаков для дальнейшего анализа (штуки, литры, кубометры, килограммы, цвета, национальности, рубли и т.д.). Иногда применяется раздельный ввод, иногда сразу многофакторный (Ф.И.О., год рождения, образование, место рождения).
Анализ данных. В систему входят различные наборы математических функций сортировки данных, поиска средних значений, максимумов и минимумов, точек бифуркации, регрессивный анализ, шумовые фильтры и т.д. Нередко в пакете используется встроенный язык программирования, использующий эти функции в заданном порядке с применением промежуточного хранения данных, циклов и т.д. для составления именованных пользовательских фильтров и моделей. Язык позволяет наращивать функциональность пакетов.
Программы отчета в виде текстовых или графических выводов. Наиболее просты для восприятия графические изображения модели – диаграммы, гистограммы и т.д.
Средства экспорта и импорта в другие аналогичные пакеты, поддержка некоторые стандартных языков обработки данных.
Входные данные для анализа хранятся в неизменном виде для возможности перерасчета моделей по иным признакам, но могут уточняться и добавляться – это т.н. живая, или динамическая статистика процессов.
Среди большого количества программ можно сегодня можно найти платные и бесплатные, однофакторые и многофакторые программы для статистики и анализа данных. Наиболее популярны пакеты Excel и Calc, входящие в систему офисов MSO/OOo. В них имеются возможности ввода данных с разделением по колонкам, встроенные языки и макросы VBA, поддержка серьезных математико-статических функций, эффектная система построения отчетов. Недостаток этих систем состоит в том, что каждый анализ статистики требует создания новой версии модуля анализа при изменении требований к данным. Кроме того, сами пакеты предназначены для офисного применения и довольно тяжелы в изучении тонкостей программирования. Но те, кто владеет ими в полной мере, не променяют их ни на что из-за универсальности и свободы реализации алгоритмов анализа.
Хотелось бы упомянуть интересную информацию о том, что существует программа для статистики и анализа данных в среде R, о которой в нашей стране имеется мало информации. Раскроем наш источник – он того достоин – www.sciencefiles.ru/section/46, в надежде, что пробудит любопытство к этой среде и одноименному языку программирования. Как и положено, среда требует ввода начальных данных, которые передаются в текстовых файлах с разделителями CSV. Система загружает параметры в свои переменные, после чего с ними можно осуществлять статистические функции, разделенные по группам. Особенность программы (есть реализации под всеми ОС) в том, что она хранит и обрабатывает данные только в памяти для ускорения процесса, поэтому среда требует большого объема оперативной памяти – не менее 1 Гб. Судя по информации, R является бесплатной системой, основанной на коммерческой среде S, появившейся более сорока лет назад. Из нее выходят ветки продуктов SAS, S-Plus и другие. Говоря о системах статистики такого исторического уровня, надо учитывать, что все их развитие было сосредоточено вокруг развития языка и внедрения функций численного анализа и статистики, а внешние формы программы могли оставаться неудобными для пользователя. В частности, не стоит удивляться тому, если какая-то из программ будет требовать ручного ввода параметров в терминальном (консольном) режиме.
Из программ для универсального применения можно упомянуть сразу несколько программ для статистики и анализа данных с более известными именами. Перечислять их особенности нет особой нужды, так как они строятся все по тем же принципам ввода. Отличия состоят в наборе групп функций, в синтаксисе встроенных языков программирования и спектра видов выводимых отчетов. Это пакеты Stata, Statictica (SPSS/PASW), MatLab, JMP, AlalyzeIt, MiniTab, Octave, GetStat, STADIA, LabView, SciLab, Maxima и сотни других.
Чтобы иметь представление насчет программы для статистики и анализа данных с нуля, загляните на страницу upad.ru/viewtopic.php?f=20&t=1159, где приводится пошаговое описание программы WinStats в одном из ее применений. В реальности программа имеет намного больше функций, но пример очень показателен. |
