Для вычисления коэффициента Кендалла значения факторного признака предварительно ранжируют, то есть ранги по Х записывают строго в порядке возрастания количественных значений.
1) Для каждого ранга по Y находят общее количество следующих за ним рангов, больших по значению, чем данный ранг. Общее количество таких случаев учитывают со знаком “+” и обозначают P.
2) Для каждого ранга по Y определяют количество следующих за ним рангов, меньших по значению, чем данный ранг. Общее количество таких случаев учитывают со знаком “-” и обозначают Q.
3) Рассчитывают S=P+Q=9+(-1)=8
4) Коэффициент Кенделла вычисляют по формуле:
Коэффициент Кенделла может принимать значения от -1 до +1 и чем ближе к , тем сильнее связь между признаками.
В некоторых случаях для определения направления связи между двумя признаками вычисляют коэффициент Фехнера . Этот коэффициент основан на сравнении поведения отклонений индивидуальных значений факторного и результативного признаков от своей средней величины. Коэффициент Фехнера вычисляют по формуле:
; где сумма С - общее число совпадений знаков отклонений, сумма Н - общее число несовпадений знаков отклонений.
1) Вычисляют среднюю величину факторного признака: 
2) Определяют знаки отклонений индивидуальных значений факторного признака от средней величины.
3) Рассчитывают среднюю величину результативного признака: 
.
4) Находят знаки отклонений индивидуальных значений результативного признака от средней величины:
Вывод : связь прямая, о тесноте связи коэффициент не говорит.
Для определения степени тесноты связи между тремя ранжированными признаками вычисляют коэффициент конкордации. Он рассчитывается по формуле:
, где m - число ранжированных признаков; n - число ранжированных единиц наблюдения.
| Отрасли промышленности | X1 | X2 | X3 | R1 | R2 | R3 | ||
| Электроэнергетика | 7,49 | |||||||
| Топливная | 12,70 | |||||||
| Черная М. | 5,92 | |||||||
| Цветная М. | 9,48 | |||||||
| Машиностроение | 4,18 | |||||||
| Итог: |
X1 - число работников (тыс. чел.); X2 - объем промышленных продаж (млрд. руб.); X3 - среднемесячная зарплата.
1) Значения всех признаков ранжируем и ранги устанавливаем строго в порядке возрастания количественных значений.
2) По каждой строке определяют сумму рангов. По этому столбцу вычисляется итоговая строка.
3) Вычисляют 
.
4) По каждой строке находят квадраты отклонений сумм рангов и величин Т. По этому же столбцу рассчитаем итоговую строку, которую обозначим через S. 
Коэффициент конкордации может принимать значения от 0 до 1 и чем ближе к 1, тем сильнее связь между признаками.
Коэффициент корреляции Кендалла используется в случае, когда переменные представлены двумя порядковыми шкалами при условии, что связанные ранги отсутствуют. Вычисление коэффициента Кендалла связано с подсчетом числа совпадений и инверсий. Рассмотрим эту процедуру на примере предыдущей задачи.
Алгоритм решения задачи следующий:
Переоформляем данные табл. 8.5 таким образом, чтобы один из рядов (в данном случае ряд x i) оказался ранжированным. Другими словами, мы переставляем пары x и y в нужном порядке и вносим данные в столбцы 1 и 2 табл. 8.6.
Таблица 8.6
|
x i |
y i | ||
2. Определяем «степень ранжированности» 2-го ряда (y i). Эта процедура проводится в следующей последовательности:
а) берем первое значение неранжированного ряда «3». Подсчитываем количество рангов ниже данного числа, которые больше сравниваемого значения. Таких значений 9 (числа 6, 7, 4, 9, 5, 11, 8, 12 и 10). Заносим число 9 в столбец «совпадения». Затем подсчитываем количество значений, которые меньше трех. Таких значений 2 (ранги 1 и 2); вносим число 2 в графу «инверсии».
б) отбрасываем число 3 (мы с ним уже поработали) и повторяем процедуру для следующего значения «6»: число совпадений равно 6 (ранги 7, 9, 11, 8, 12 и 10), число инверсий – 4 (ранги 1, 2, 4 и 5). Вносим число 6 в графу «совпадения», а число 4 – в графу «инверсии».
в) аналогичным образом процедура повторяется до конца ряда; при этом следует помнить, что каждое «отработанное» значение исключается из дальнейшего рассмотрения (подсчитываются только ранги, которые лежат ниже данного числа).
Примечание
Для того чтобы не совершать ошибок в подсчетах, следует иметь в виду, что с каждым «шагом» сумма совпадений и инверсий уменьшается на единицу; это понятно, если учесть, что каждый раз одно значение исключается из рассмотрения.
3. Подсчитывается сумма совпадений (Р) и сумма инверсий (Q) ; данные вносятся в одну и трех взаимозаменяемых формул коэффициента Кендалла (8.10). Проводятся соответствующие вычисления.
t (8.10)
В нашем случае:
В табл. XIV Приложений находятся критические значения коэффициента для данной выборки: τ кр. = 0,45; 0,59. Эмпирически полученное значение сравнивается с табличным.
Вывод
τ = 0,55 > τ кр. = 0,45. Корреляция статистически значима для 1-го уровня.
Примечание :
При необходимости (например, при отсутствии таблицы критических значений) статистическая значимость t Кендалла может быть определена по формуле следующего вида:
(8.11)
где S* = P – Q + 1, если P < Q , и S* = P – Q – 1, если P > Q.
Значения z для соответствующего уровня значимости соответствуют мере Пирсона и находятся по соответствующим таблицам (в приложение не включены. Для стандартных уровней значимости z кр = 1,96 (для β 1 = 0,95) и 2,58 (для β 2 = 0,99). Коэффициент корреляции Кендалла является статистически значимым, если z > z кр
В нашем случае S* = P – Q – 1 = 35 и z = 2,40, т. е. первоначальный вывод подтверждается: корреляция между признаками статистически достоверна для 1-го уровня значимости.
Краткая теория
Коэффициент корреляции Кендалла используется в случае, когда переменные представлены двумя порядковыми шкалами при условии, что связанные ранги отсутствуют. Вычисление коэффициента Кендалла связано с подсчетом числа совпадений и инверсий.
Этот коэффициент изменяется в пределах и рассчитывается по формуле:
Для расчета все единицы ранжируются по признаку ; по ряду другого признака подсчитывается для каждого ранга число последующих рангов, превышающий данный (их обозначим через ), и число последующих рангов ниже данного (их обозначим через ).
Можно показать, что
и коэффициент ранговой корреляции Кендалла можно записать как
Для того, чтобы при уровне значимости , проверить нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции Кендалла при конкурирующей гипотезе , надо вычислить критическую точку:
где – объем выборки; – критическая точка двусторонней критической области, которую находят по таблице функции Лапласа по равенству
Если – нет оснований отвергнуть нулевую гипотезу. Ранговая корреляционная связь между признаками незначимая.
Если – нулевую гипотезу отвергают. Между признаками существует значимая ранговая корреляционная связь.
Пример решения задачи
Условие задачи
При приеме на работу семи кандидатам на вакантные должности было предложено два теста. Результаты тестирования (в баллах) приведены в таблице:
| Тест | Кандидат | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 1 | 31 | 82 | 25 | 26 | 53 | 30 | 29 | 2 | 21 | 55 | 8 | 27 | 32 | 42 | 26 |
Вычислить ранговый коэффициент корреляции Кендалла между результатами тестирования по двум тестам и на уровне оценить его значимость.
Решение задачи
Вычислим коэффициент Кендалла
Ранги факторного признака располагаются строго в порядке возрастания и параллельно записываются соответствующие им ранги результативного признака . Для каждого ранга из числа следующих за ним рангов подсчитывается количество больших него по величине рангов (заносится в столбец ) и число рангов, меньших по значению (заносится в столбец ).
| 1 | 1 | 6 | 0 | 2 | 4 | 3 | 2 | 3 | 3 | 3 | 1 | 4 | 6 | 1 | 2 | 5 | 2 | 2 | 0 | 6 | 5 | 1 | 0 | 7 | 7 | 0 | 0 | Сумма | 16 | 5 |
При ранжировании эксперт должен расположить оцениваемые элементы в порядке возрастания (убывания) их предпочтительности и приписать каждому из них ранги в виде натуральных чисел. При прямом ранжировании наиболее предпочтительный элемент имеет ранг 1 (иногда 0), а наименее предпочтительный - ранг m.
Если эксперт не может осуществить строгое ранжирование из-за того, что, по его мнению, некоторые элементы одинаковы по предпочтительности, то допускается присваивать таким элементам одинаковые ранги. Чтобы обеспечить равенство суммы рангов сумме мест ранжируемых элементов, применяют так называемые стандартизированные ранги. Стандартизированный ранг есть среднее арифметическое номеров элементов в ранжированном ряду, являющихся одинаковыми по предпочтительности.
Пример 2.6. Эксперт упорядочил шесть элементов по предпочтению следующим образом:
Тогда стандартизированные ранги этих элементов будут
Таким образом, сумма рангов, приписанных элементам, будет равна сумме чисел натурального ряда.
Точность выражения предпочтения путем ранжирования элементов существенно зависит от мощности множества предъявлений. Процедура ранжирования дает наиболее надежные результаты (по степени близости выявленного предпочтения и «истинного»), когда число оцениваемых элементов не более 10. Предельная мощность множества предъявления не должна превосходить 20.
Обработка и анализ ранжировок проводятся с целью построения группового отношения предпочтения на основе индивидуальных предпочтений. При этом могут ставиться следующие задачи: а) определение тесноты связи между ранжировками двух экспертов на элементах множества предъявлений; б) определение взаимосвязи между двумя элементами по индивидуальным мнениям членов группы относительно различных характеристик этих элементов; в) оценка согласованности мнений экспертов в группе, содержащей более двух экспертов.
В первых двух случаях в качестве меры тесноты связи используется коэффициент ранговой корреляции. В зависимости от того, допускается ли только строгое или нестрогое ранжирование, используется коэффициент ранговой корреляции либо Кендалла, либо Спирмена.
Коэффициент ранговой корреляции Кендалла для задачи (a)
где m − число элементов; r 1 i – ранг,приписанный первым экспертом i −му элементу; r 2 i – то же, вторым экспертом.
Для задачи (б) компоненты (2.5) имеют следующий смысл: т - число характеристик двух оцениваемых элементов; r 1 i (r 2 i) - ранг i-й характеристики в ранжировке первого (второго) элемента, выставленный группой экспертов.
При строгом ранжировании используется коэффициент ранговой корреляции р Спирмена:
компоненты которого имеют тот же смысл, что и в (2.5).
Коэффициенты корреляции (2.5), (2.6) изменяются от -1 до +1. Если коэффициент корреляции равен +1, то это означает, что ранжировки одинаковы; если он равен -1, то − противоположны (ранжировки обратны друг другу). Равенство коэффициента корреляции нулю означает, что ранжировки линейно независимы (некоррелированы).
Поскольку при таком подходе (эксперт − «измеритель» со случайной погрешностью) индивидуальные ранжировки рассматриваются как случайные, то возникает задача статистической проверки гипотезы о значимости полученного коэффициента корреляции. В этом случае используют критерий Неймана-Пирсона: задаются уровнем значимости критерия α и, зная законы распределения коэффициента корреляции, определяют пороговое значение c α , с которым сравнивают полученное значение коэффициента корреляции. Критическая область − правосторонняя (в практике обычно сначала расчитывают значение критерия и определяют по нему уровень значимости, который сравнивают с пороговым уровнем α ).
Коэффициент ранговой корреляции τ Кендалла имеет при т > 10 распределение, близкое к нормальному с параметрами:
где M [τ] – математическое ожидание; D [τ] – дисперсия.
В этом случае используются таблицы функции стандартного нормального распределения:
а граница τ α критической области определяется как корень уравнения
Если вычисленное значение коэффициента τ ≥ τ α , то считается, что ранжировки, действительно хорошо согласуются. Обычно значение α выбирают в пределах 0,01-0,05. Для т ≤ 10 распределение т приведено в табл. 2.1.
Проверка значимости согласованности двух ранжировок с использованием коэффициента ρСпирмена осуществляется в том же порядке с использованием таблиц распределения Стьюдента при т > 10.
В этом случае величина
имеет распределение, хорошо аппроксимируемое распределением Стьюдента с m – 2 степенями свободы. При m > 30 распределение величины ρ хорошо согласуется с нормальным, имеющим M [ρ] = 0 и D [ρ] = .
Для т ≤ 10 проверку значимости ρ осуществляют с помощью табл. 2.2.
Если ранжировки нестрогие, то коэффициент Спирмена
где ρ – вычисляют по (2.6);
где k 1 , k 2 − число различных групп нестрогих рангов в первой и второй ранжировках соответственно; l i − число одинаковых рангов в i -й группе. При практическом использовании коэффициентов ранговой корреляции ρ Спирмена и τ Кендалла следует иметь в виду, что коэффициент ρ обеспечивает более точный результат в смысле минимума дисперсии.
Таблица 2.1. Распределение коэффициента ранговой корреляции Кендалла
Одним из факторов, ограничивающих применения критериев, основанных на предположении нормальности, является объем выборки. До тех пор пока выборка достаточно большая (например, 100 или больше наблюдений), можно считать, что выборочное распределение нормально, даже если вы не уверены, что распределение переменной в популяции является нормальным. Тем не менее, если выборка мала, эти критерии следует использовать только при наличии уверенности, что переменная действительно имеет нормальное распределение. Однако нет способа проверить это предположение на малой выборке.
Использование критериев, основанных на предположении нормальности, кроме того, ограничено шкалой измерений (см. главу Элементарные понятия анализа данных). Такие статистические методы, как t-критерий, регрессия и т. д. предполагают, что исходные данные непрерывны. Однако имеются ситуации, когда данные, скорее, просто ранжированы (измерены в порядковой шкале), чем измерены точно.
Типичный пример дают рейтинги сайтов в Интернет: первую позицию занимает сайт с максимальным числом посетителей, вторую позицию занимает сайт с максимальным числом посетителей среди оставшихся сайтов (среди сайтов, из которых удален первый сайт) и т. д. Зная рейтинги, мы можем сказать, что число посетителей одного сайта больше числа посетителей другого, но насколько больше, сказать уже нельзя. Представьте, вы имеете 5 сайтов: А, В, С, D, Е, которые располагаются на 5 первых мест. Пусть в текущем месяце мы имели следующую расстановку: А, В, С, D, E, а в предыдущем месяце: D, E, А, В, С. Спрашивается, произошли существенные изменения в рейтингах сайтов или нет? В данной ситуации, очевидно, мы не можем использовать t-критерий, чтобы сравнить эти две группы данных, и переходим в область специфических вероятностных вычислений (а любой статистический критерий содержит в себе вероятностную калькуляцию!). Мы рассуждаем примерно следующим образом: насколько велика вероятность того, что отличие в двух расстановках сайтов вызвано чисто случайными причинами или это отличие слишком велико и не может быть объяснено за счет чистой случайности. В этих рассуждениях мы используем лишь ранги или перестановки сайтов и никак не используем конкретный вид распределения числа посетителей на них.
Для анализа малых выборок и для данных, измеренных в бедных шкалах, применяют непараметрические методы.
Краткий обзор непараметрических процедур
По существу, для каждого параметрического критерия имеется, по крайней мере, одна непараметрическая альтернатива.
В общем, эти процедуры попадают в одну из следующих категорий:
- критерии различия для независимых выборок;
- критерии различия для зависимых выборок;
- оценка степени зависимости между переменными.
Вообще, подход к статистическим критериям в анализе данных должен быть прагматическим и не отягощен лишними теоретическими рассуждениями. Имея в своем распоряжении компьютер с системой STATISTICA, вы легко примените к своим данным несколько критериев. Зная о некоторых подводных камнях методов, вы путем экспериментирования выберете верное решение. Развитие сюжета довольно естественно: если нужно сравнить значения двух переменных, то вы используете t-критерий. Однако следует помнить, что он основан на предположении нормальности и равенстве дисперсий в каждой группе. Освобождение от этих предположений приводит к непараметрическим тестам, которые особенно полезны для малых выборок.
Развитие t-критерия приводит к дисперсионному анализу, который используется, когда число сравниваемых групп больше двух. Соответствующее развитие непараметрических процедур приводит к непараметрическому дисперсионному анализу, правда, существенно более бедному, чем классический дисперсионный анализ.
Для оценки зависимости, или, выражаясь несколько высокопарно, степени тесноты связи, вычисляют коэффициент корреляции Пирсона. Строго говоря, его применение имеет ограничения, связанные, например, с типом шкалы, в которой измерены данные, и нелинейностью зависимости, поэтому в качестве альтернативы используются также непараметрические, или так называемые ранговые, коэффициенты корреляции, применяемые, например, для ранжированных данных. Если данные измерены в номинальной шкале, то их естественно представлять в таблицах сопряженности, в которых используется критерий хи-квадрат Пирсона с различными вариациями и поправками на точность.
Итак, по существу имеется всего несколько типов критериев и процедур, которые нужно знать и уметь использовать в зависимости от специфики данных. Вам нужно определить, какой критерий следует применять в конкретной ситуации.
Непараметрические методы наиболее приемлемы, когда объем выборок мал. Если данных много (например, n >100), часто не имеет смысла использовать непараметрическую статистику.
Если размер выборки очень мал (например, n = 10 или меньше), то уровни значимости для тех непараметрических критериев, которые используют нормальное приближение, можно рассматривать только как грубые оценки.
Различия между независимыми группами . Если имеются две выборки (например, мужчины и женщины), которые нужно сравнить относительно некоторого среднего значения, например, среднего давления или количества лейкоцитов в крови, то можно использовать t-тест для независимых выборок.
Непараметрическими альтернативами этому тесту являются критерий серий Валъда-Волъфовица, Манна-Уитни }/n, где x i - i-е значение, n - число наблюдений. Если переменная содержит отрицательные значения или нуль (0), геометрическое среднее вычислить нельзя.
Гармоническое среднее
Гармоническое среднее иногда используют для усреднения частот. Гармоническое среднее вычисляется по формуле: ГС = n/S(1/х i) где ГС - гармоническое среднее, n - число наблюдений, х i - значение наблюдения с номером i. Если переменная содержит нуль (0), гармоническое среднее вычислить нельзя.
Дисперсия и стандартное отклонение
Выборочная дисперсия и стандартное отклонение - наиболее часто используемые меры изменчивости (вариации) данных. Дисперсия вычисляется как сумма квадратов отклонений значений переменной от выборочного среднего, деленная на п-1 (но не на п). Стандартное отклонение вычисляется как корень квадратный из оценки дисперсии.
Размах
Размах переменной является показателем изменчивости, вычисляется как максимум минус минимум.
Квартильный размах
Квартальный размах, по определению, равен: верхняя квартиль минус нижняя квартиль (75% процентиль минус 25% процентиль). Так как 75% процентиль (верхняя квартиль) - это значение, слева от которого находятся 75% наблюдений, а 25% процентиль (нижняя квартиль) - это значение, слева от которого находится 25% наблюдении, то квартильный размах представляет собой интервал вокруг медианы, который содержит 50% наблюдений (значений переменной).
Асимметрия
Асимметрия - это характеристика формы распределения. Распределение скошено влево, если значение асимметрии отрицательно. Распределение скошено вправо, если асимметрия положительна. Асимметрия стандартного нормального распределения равна 0. Асимметрия связана с третьим моментом и определяется как: асимметрия = n × М 3 /[(n-1) × (n-2) × s 3 ], где М 3 равно: (х i -xсреднее x) 3 , s 3 - стандартное отклонение, возведенное в третью степень, n - число наблюдений.
Эксцесс
Эксцесс - это характеристика формы распределения, а именно мера остроты его пика (относительно нормального распределения, эксцесс которого равен 0). Как правило, распределения с более острым пиком, чем у нормального, имеют положительный эксцесс; распределения, пик которых менее острый, чем пик нормального распределения, имеют отрицательный эксцесс. Эксцесс связан с четвертым моментом и определяется формулой:
эксцесс = /[(n-1) × (n-2) × (n-3) × s 4 ], где M j равно: (х-хсреднее x , s 4 - стандартное отклонение в четвертой степени, n - число наблюдений.