Sa to przyjmujemy, że współczynnik W jest istotny na
tym poziomie a.
B. W przypadku, gdy N>1 dokonujemy aproksymacji rozkładu W do rozkładu
chi-kwadrat ze stopniami swobody df=N- 1 wg wzoru:
I
f
=
W
m
.
(
1
5
.
7
3
)
Spr
aw
dza
my
zat
em
isto
tno
ść
W
pop
rze
z
isto
tno
ść
chi
-
kw
adr
at.
Po
nieważ
w
naszy
m
przykł
adzie
N= 10
więc
musim
y
zastos
ować
sposób
te-
stowan
ia
opisan
y w
punkci
e B.
Mamy
zatem
po
podsta
wieniu
do
wzoru
(15.73
)
naszyc
h
danych
:
j
2
=
3
x
(
1
0
-
1
)
x
0
,
8
2
8
=
2
2
,
3
5
6
;
d
f
=
1
0
-
1
=
9
.
Ta
blice
krytyc
znych
wartoś
ci x2
(tablic
e te
zawier
a
każdy
podręc
znik
statyst
yki)
pokaz
ują, że
x2 —
22,356
przy
df= 9
jest
istotne
na
pozio
mie a
= 0,01.
Gd
ybyśm
y
chcieli
wybra
ć
„najlep
szy"
obiekt
powin
niśmy
kierow
ać się
wiel-
kością
Rj jako
kryteri
um.
„Najle
pszym
"
obiekt
em jest
ten,
który
uzyska
ł
najmni
ejszą
wartoś
ć Rj.
W
naszy
m
przykł
adzie
jest to
osoba
nr 1.
„Najg
orsza"
jest
osoba
nr 10.
11. Podsumowanie
Proble
matyka
rzeteln
ości i
błędu
standar
doweg
o,
nawet
ogranic
zona
do
prezent
acji
tylko
jedneg
o
modelu
, tj.
modelu
klasycz
nego,
przedst
awione
go w
podsta
wowej
monog
rafii
Gulliks
ena
Theory
ofment
al tests
(1950),
znaczn
ie
wykrac
za poza
ramy
jedneg
o
rozdzia
łu
podręc
znika
metodo
logii
badań
psycho
logiczn
ych. Z
tego
też
powod
u
można
w nim
było
zapreze
ntować
jedynie
zarys
tej
proble
matyki.
Podsta-
wowy
m
kryteri
um
selekcj
i
materia
łu oraz
sposob
u jego
ujęcia
było
dla
mnie
przed-
stawie
nie
podsta
w,
umożli
wiając
ych, z
jednej
strony
zrozum
ienie
istoty
teorii
rze-
telnośc
i
testów
psycho
logiczn
ych, a
z
drugiej
samod
zielne
skonstr
uowani
e testu,
który
odpowi
adałby
standar
dom
psycho
metryc
znym
(przede
wszyst
kim
tym,
które
wyłożo
ne są
w
podsta
wowy
m
opraco
waniu
APA,
1985a)
.
O
mawiaj
ąc
różne
podejś
cia do
badani
a
rzeteln
ości
starałe
m się
zaakce
ntować
zarówn
o
„plusy"
, jak i
„minus
y"
każdeg
o z
nich.
Wieloś
ć
podejść
do
badani
a
rzetel-
ności
nie
oznacz
a, że
Czytel
nik
może
swobo
dnie
wybrać
sobie
jedno z
nich i
całe
badani
e
rzeteln
ości
„swoje
go"
testu
ogranic
zyć
tylko
do tego
jedneg
o
podejśc
ia, np.
badani
a
wewnę
trznej
zgodno
ści
testu.
Takie
postęp
owanie
należy
uznać
za
niepełn
e. Otóż,
w
zależno
ści od
charakt
eru
testu,
jego
przezna
czenia,
psychol
og
powini
en
zbadać
różne
aspekty
rzeteln
ości
testu,
związa
ne z
różnym
i
źródła
mi
warian
cji
błędu
(podob
nie jest
zresztą
w
przypa
dku
badani
a
trafnoś
ci
testu, o
czym
piszę
w
rozdz.
17.).
Ta
k samo
powin
no się
analizo
wać
różne
estyma
tory
błędu
standar
doweg
o, a nie
ograni
czać
się
jedynie
do
określa
nia
błędu
pomiar
u
wynik
u
prawdz
iwego
(ESM)
przy
505
konstruowaniu przedziału ufności dla wyniku prawdziwego. Takim alternatywny
rozwiązaniem jest posłużenie się błędem estymacji wyniku prawdziwego (SEE).
Czytelnik, który dotarł, za autorem, aż do tego miejsca, zapewne się zapyta,
jaka minimalna rzetelność testu uprawnia jego użytkownika do posłużenia się nim w
celach badawczych czy diagnostycznych? Otóż odpowiedź na to pytanie jest jed-
nocześnie prosta i złożona. Można bowiem odpowiedzieć krótko — jak najwyższa!
Taka odpowiedź nie może jednak zadowolić Czytelnika, który konstruując test na
ogół nie spodziewa się, że jego rzetelność będzie wynosiła, powiedzmy, r„ = 0,95.
Spróbujmy tedy udzielić tej drugiej, bardziej złożonej odpowiedzi. Ogólnie
uważa się, że do oceny indywidualnej zupełnie wystarczy, gdy r„ = 0,80, a zdaniem
Davisa (por. Choynowski, 197 lb, s. 114) nawet 0,75. Im subtelniej szych chcemy
dokonać rozróżnień między osobami badanymi za pomocą danego testu, tym wię-
kszą rzetelnością powinien charakteryzować się test i tym mniejszy powinien być
błąd standardowy, a w konsekwencji zbudowany przez psychologa przedział ufno-
ści będzie stosunkowo „krótki".
Problematyka poruszona w tym rozdziale jest przedstawiona także w następu-
jących opracowaniach:
Guilford J.P. Teoria testów psychologicznych; Guilford J.P. Rzetelność i traf-
ność pomiarów; Machowski A. Rzetelność testów psychologicznych. Dwa ujęcia
modelowe; Magnusson D. Wprowadzenie do teorii testów (rozdz. 5.: Rzetelność, s.
92-118; rozdz. 6.: Standardowy błąd pomiaru, s. 119-134); Niemierko B. Testy
osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe (rozdz. V: Rze-
telność testu, s. 220-280); Nowakowska M. Psychologia ilościowa z elementami
naukometrii (rozdz. 1.: Zarys współczesnej teorii testów, s. 16-83).
Alternatywne, do metody Kendalla, podejście do badania zgodności sędziów
kompetentnych z wykorzystaniem analizy wariancji omówione jest w: Brzeziński
J., Maruszewski T. Metoda sędziów kompetentnych i jej zastosowanie w badaniach
pedagogicznych; Guilford J.P. Rzetelność i trafność pomiarów (s. 81-85).
.
.
1. Wprowadzenie
Moc dyskryminacyjna danej pozycji danego testu (ang. itetń) mówi nam o tym, w
jakim stopniu różnicuje ona daną populację pod względem cechy (zmiennej), której
dotyczy. W ujęciu operacyjnym moc dyskryminacyjna wyraża się współczynnikiem
korelacji między pozycją i wynikiem ogólnym testu, traktowanym jako suma od-
powiedzi zgodnych z kluczem (np. suma odpowiedzi poprawnych na 29 pytań testu
„Wiadomości" Skali Inteligencji WAIS-R Wechslera — por. Brzeziński, I993c).
Zagadnienie oszacowania mocy dyskryminacyjnej poszczególnych pozycji testu
można więc sprowadzić do kwestii doboru odpowiedniego współczynnika korelacji
między pozycją i wynikiem testu.
Najczęściej jako miary mocy dyskryminacyjnej używa się jednego z trzech
współczynników korelacji:
(a) współczynnika korelacji punktowo-dwuseryjnej (rpbi),
(b) współczynnika korelacji dwuseryjnej (rbi),
(c) współczynnika korelacji punktowo-czteropolowej (. Zaletą tego
współczynnika jest to, że może on być stosowany nawet wtedy, gdy rozkłady
wyników znacznie odbiegają od kształtu rozkładu normalnego. Na podstawie śred-
niej korelacji punktowo-dwuseryjnej obliczonej między poszczególnymi pozycjami
testu i wynikiem ogólnym można dokonać estymacji rzetelności kwestionariusza
wg wzoru Spearmana-Browna tak, jak to zaleca Guilford (tamże, s. 459). Jest on
opisany w rozdz. 15., pkt. 9.1.
Jednakże współczynnik korelacji punktowo-dwuseryjnej ma znacznie więcej wad
niż zalet. Po pierwsze, jego wartość zależy od trudności pozycji testu. Tak więc zmiana
trudności pozycji testu na kontinuum: 0,0-1,0 począwszy od 0,50 w obu kierunkach,
powoduje spadek największej możliwej wartości współczynnika (Hubbard i Clemans,
1972, s. 61). Po drugie, w warunkach, w których można stosować współczynnik rw
— współczynnik rpbi da znacznie niższe od rbi oszacowanie współczynnika r-Pearsona,
nawet w sytuacji, gdy zmienna nie ma rozkładu normalnego.
Opisanych wad nie ma trzeci z wymienionych wyżej współczynników kore-
lacji — rbi.
2.3. Współczynnik korelacji dwuseryjnej — korzystanie z tablic
Flanagana (metoda dolnych i górnych 27% próby)
Współczynnik korelacji dwuseryjnej stosuje się w takich samych sytuacjach, co
omówiony poprzednio współczynnik, tzn., gdy jedna ze zmiennych została sprowa-
dzona do dwóch klas, przy czym zmienna ta ma w rzeczywistości rozkład normalny
(wymaganie rozkładu normalnego odnosi się do kształtu rozkładu w populacji, a
nie w próbie). Przed przystąpieniem do obliczania wartości rbi dla /-tej pozycji
musimy podzielić badaną próbę na dwie grupy: tych którzy odpowiedzieli na i-tą
pozycję zgodnie z kluczem i tych, którzy odpowiedzieli na i-tą pozycję niezgodnie
z kluczem. Następnie obliczamy średnie ogólne wyniki w teście w obu grupach i
odchylenie standardowe rozkładu wyników testu w całej próbie. Uzyskane dane
podstawiamy do wzoru (Guilford, 1954, s. 427):
Mp-Mq
(16.4)
gdzie: Mp, Mq, s, p, q — oznaczenia jak we wzorze (16.3); y — rzędna roz-
kładu normalnego odpowiadająca punktowi p (np. Guilford, 1964, Tablica G.,
s. 548-549).
Współczynnik rbi przyjmuje wartości z przedziału <-l, +1>, gdy rozkład wy-
ników nie odbiega od normalnego.
W sytuacji analizy dwóch grup skrajnych (liczących po 27% liczebności całej
próby) można posłużyć się specjalnie do tego celu opracowanymi przez Flanagana
(w: Thorndike, 1961, s. 345-351) tablicami. Zostały one zamieszczone w Dodatku
B, tablica 9. Korzystanie z nich jest bardzo proste — do „boczku" i „główki"
tablicy wstawiamy proporcje odpowiedzi zgodnych z kluczem, odpowiednio w dolnej
i górnej grupie próby standaryzacyjnej.
Wspólną zaletą omówionych wyżej dwóch współczynników korelacji: rpbi i rbi
jest to, że można ich wartości przeliczać na wartości z-Fishera wg wzoru:
z = 0,5/n
l+r
1 -r
(16.5)
lub korzystając ze specjalnej tabeli, którą Czytelnik znajdzie w Dodatku B, tab. 7.
Przekształcenie z-Fishera upoważnia do wykonywania działań pozwalających osza-
cować różnice między współczynnikami korelacji. Ma to znaczenie, gdy konstru-
ujemy kwestionariusz wielowymiarowy i interesuje nas stopień korelacji pozycji z
każdym czynnikiem (skalą) kwestionariusza oddzielnie, przy czym daną pozycję
włączamy do tego wymiaru (skali), z którym ona najwyżej koreluje. Poza tym współ-
czynnik korelacji pozycji ze skalą, do której ta pozycja została włączona powinien
znacznie różnić się od współczynnika korelacji tej pozycji z pozostałymi skalami kwes-
tionariusza. Powyższych ocen dokonujemy korzystając z wartości z, gdyż na „czys-
tych" współczynnikach korelacji nie można wykonywać działań arytmetycznych.
Przekształceniem z posłużył się Choynowski (1968) przy wstępnym roz-
dzielaniu pozycji oryginalnej wersji M/Y-Eysencka do trzech skal wersji adap-
tacyjnej (skali neurotyczności, skali ekstrawersji i skali kłamstwa) oraz przy
obliczaniu różnic w wartościach z pozycji dla jednej skali z wartościami z dla
dwóch pozostałych skal. Obliczone wartości winie pozwoliły Choynowskiemu
na dobór do poszczególnych skal tylko tych pozycji, dla których różnice w
wartościach z były największe. Kryterium włączenia pozycji do danej skali kwe-
stionariusza było uzależnione od rozpiętości uzyskanych różnic w wartościach z.
Do danej skali włączono tylko pozycje o najwyższych wartościach z uporząd-
kowanego szeregu wartości z.
Omówiona procedura zapewnia utrzymanie pewnej niezależności poszczegól-
nych wymiarów kwestionariusza.
I
2.4. Sprowadzanie pozycji wielokategorialnej do postaci
dwukategorialnej (metoda Ed wardsa- Kilpatricka)
Dotychczasowe rozważania dotyczyły obliczania mocy dyskryminacyjnej tych po-
zycji testu, które miały postać dwukategorialną („0-1"), tzn. takich, na które od-
powiedzi zgodne z kluczem były oceniane jako 1 pkt., a odpowiedzi niezgod-
ne z kluczem jako 0 pkt. Problem komplikuje się, gdy chcemy obliczyć moc dys-
kryminacyjną pozycji wielokategorialnych, jak np. w skalach postaw typu Likerta.
511
Zapoznajmy się teraz z regułą, wg której można sprowadzić pozycję wielo-
kategorialną do postaci dwukategorialnej — zero-jedynkowej, która umożliwi za-
stosowanie powyższych technik obliczania mocy dyskryminacyjnej. Jest to reguła
podana przez Edwardsa i Kilpatricka (Edwards, 1957, s. 213). Tabela 16.1. przed-
stawia hipotetyczne rozkłady odpowiedzi na i-tą pozycję testu w dolnej i górnej
grupie 27% całej próby.
Tabela 16.1. Pozycja 20. ze Skali Kontroli Antycypacyjnej KKE — rozkłady odpowiedzi w
dolnej i górnej grupie 27% (n = 200)
Kategorie
odpowiedzi
Punkty
Dolna grupa 27%
Górna grupa 27%
nigdy
rzadko
3
2
8 ]31
23
często
zawsze
1 0
31
15
18
5
suma
54
54
Aby sprowadzić pozycję do postaci zero-jedynkowej musimy przeprowadzić
linię podziału między kategoriami. Nasuwa się pytanie: między którymi kategoria-
mi przeprowadzić tę linię? Można ją przeprowadzić między punktami 3 i 2, albo
między 2 i 1 lub też między 1 i 0. Nasza decyzja co do przeprowadzenia tej linii
nie może być arbitralna; musi ona opierać się na jakiejś zasadzie, regule. Jest nią
właśnie reguła Edwardsa-Kilpatricka, która mówi: linia podziału musi być przepro-
wadzona w takim miejscu, aby całkowita suma wyników nad linią w dolnej grupie
i pod linią w grupie górnej była najniższa z możliwych sum.
W naszym przykładzie będą to trzy sumy:
— między punktami 3 i 2: (0) + (23 + 18 + 5) = 46,
— między punktami 2 i 1: (0 + 8) + (18 + 5) = 31,
— między punktami 1 i 0: (0 + 8 + 31) + (5) = 44.
Suma=31 pokazuje nam, iż linię podziału należy przeprowadzić między pun-
ktami 2 ii, jak przedstawia tabela 16.1. Kategoriom nad linią podziału przypisu-
jemy 1 pkt, a kategoriom pod linią — 0 pkt.
Dodajemy teraz do siebie liczebności nad linią podziału w dolnej i górnej
grupie i otrzymujemy:
— w dolnej grupie: 0 + 8 = 8,
— w górnej grupie: 8 + 23 = 31.
Obliczamy proporcję powyższych sum w dolnej i górnej grupie. Proporcje te
wynoszą odpowiednio: 8/54 = 0,14 i 31/54 = 0,57. Wartości 0,14 i 0,57 wstawiamy
do „boczku" i „główki" jednej z czterech tablic Flanagana i otrzymujemy poszu-
kiwaną wartość współczynnika korelacji dwuseryjnej, która wynosi w naszym przy-
kładzie 0,475. W przypadku obliczania współczynnika ę z powyższych danych,
wartości 0,14 i 0,57 musimy wstawić do „boczku" i „główki" jednej z tablic Jur-
gensena.
512
Sporządzając dla każdej pozycji z eksperymentalnej wersji testu tabelkę po-
dobną do tabeli 16.1, sprowadzamy każdorazowo pozycję testu do postaci zero-je-
dynkowej, możemy więc obliczyć dla wszystkich pozycji wskaźniki mocy dys-
kryminacyjnej.
Istnieje pewne powiązanie między mocą dyskryminacyjną pozycji testu i jego
rzetelnością. Widać to wyraźnie na przykładzie wzoru Spearmana-Browna (por.
rozdz. 15., pkt. 9.1), wg którego dokonuje się estymacji rzetelności testu ze średniej
korelacji pozycji z ogólnym wynikiem testu. Im wyższe są wskaźniki mocy dys-
kryminacyjnej, tym wyższa jest rzetelność testu (w sensie jego jednolitości).
3. Podsumowanie
Czytelnika zainteresowanego pogłębieniem wiadomości na temat mocy dyskrymi-
nacyjnej pozycji testowych odsyłam do następujących publikacji dostępnych w ję-
zyku polskim: Brzeziński J. (red.) Problemy teorii, rzetelności, konstrukcji i analizy
wyników testów psychologicznych, tom II (rozdz. 3.: Tworzenie testu, s. 104-175);
Magnusson D.E. Wprowadzenie do teorii testów (rozdz. 14.: Analiza zadań,
s. 292-331).
Rozdział 17. TrafllOŚĆ
1. Wprowadzenie
Jednym z podstawowych problemów nurtujących psychologiczną praktykę badaw-
czą i diagnostyczną jest pytanie o to, co tak naprawdę mierzą testy psychologiczne,
za pomocą których psychologowie pozyskują dane empiryczne. O ile psychologo-
wie — i ci prowadzący badania naukowe, i ci prowadzący badania o charakterze
użytkowym (diagnostyczne i selekcyjne) — starają się zwracać uwagę na takie
parametry testu jak rzetelność (por. rozdz. 15.) czy błąd standardowy pomiaru (por.
rozdz. 16.), to ich zainteresowanie kolejnym ważnym parametrem jakim jest traf-
ność jest (tak to wygląda z mego punktu obserwacyjnego) nazbyt słabe (wbrew
zaleceniom zawartym w standardach obowiązujących i konstruktora, i użytkownika
testu — por. APA., 1985a, 1985b).
W Standardach... (1985a, s. 33) czytamy: „Pytanie o trafność to pytanie o to,
co można poprawnie wywnioskować na podstawie wyniku testowego. Pojęcie traf-
ności dotyczy poprawności wniosków wyprowadzanych na podstawie wyników te-
stowych lub innych form badania. Wszelkie potencjalne pytania o trafność dadzą
się sprowadzić do dwóch: a) jakie wnioski można wyciągnąć na temat tego, co jest
mierzone przez test; oraz b) jakie wnioski można sformułować o innych (pozate-
stowych) zachowaniach?
Pytanie pierwsze dotyczy istoty pomiaru jako takiego. Test — będący tu in-
strumentem pomiarowym można bowiem traktować jako definicję operacyjną okre-
ślonej dziedziny zdolności, bądź też cechy stanowiącej przedmiot zainteresowania
autora testu lub jego użytkownika.
W tym wypadku podstawowym zagadnieniem jest ustalenie, jak wiernie wyniki
testu odzwierciedlają tę dziedzinę; stąd owo pytanie jest pytaniem o trafność pomiaru.
Pytanie drugie dotyczy użyteczności pomiaru jako wskaźnika jakiejś innej
zmiennej, jako elementu umożliwiającego przewidywanie zachowań. Teraz naczel-
ną kwestią jest ustalenie, w jakim stopniu wyniki testowe są powiązane z innymi
zachowaniami, a zatem mamy tu do czynienia z pytaniem o siłę związku między
zmiennymi."
514
Psycholog, z większym lub mniejszym zaufaniem, interpretuje — odwołując się
do jakiejś teorii psychologicznej — uzyskany wynik testowy. Chciałbym
wyraźnie podkreślić, iż wynik testowy istnieje tylko w kontekście określonej teorii
psychologicznej (pisałem o tym, jak się wydaje bardzo wyraźnie, w rozdz. 3., pkt.
3.). Co prawda, niektórzy psychologowie sądzą, że możliwe jest skonstruowanie
wartościowego testu psychologicznego bez odwołania się do teorii psychologicznej,
ale takie podejście jest niezgodne z „duchem" procedury operacjonalizacji zmien-
nych teoretycznych (por. rozdz. 7.). Przykładowo, Jakubowski (1983, s. 226) wska-
zuje na skalę F MMPI1 jako taką, która nie jest powiązana z żadną teorią, gdyż
składa się z twierdzeń „na które 90% próbki normalizacyjnej odpowiadało tak
samo; treść twierdzeń nie była brana pod uwagę". Uważam jednak, że u podstaw
skali F leżą określone założenia teoretyczne (ukryte) dotyczące stylu udzielania
odpowiedzi na pytania kwestionariuszowe. Można je „wydobyć" z opisu skali i za-
sad interpretacji jej wyników przedstawionych w podręczniku Matkowskiego
(1992, s. 26-28). Można też, na przykład, odwołać się do modelu udzielania od-
powiedzi na pytania kwestionariuszowe opracowanego przez Nowakowską (1975,
s. 154), a empirycznie zilustrowanego danymi z badania kwestionariuszem 16 PF
Cattella. Także Cronbach i Meehl (1955) zauważyli, iż możliwe jest powiązanie
wyników poszczególnych skal MMPI z jakąś teorią psychologiczną: „...chociaż
MMPI powstał na podstawie empirycznego różnicowania między grupami pacjen-
tów i tak zwanymi normalnymi (trafność diagnostyczna), późniejsze badania pró-
bowały stworzyć podstawę dla opisu osobowości związanej z każdym układem
cech. Takie interpretacje pozwalają klinicyście na przewidywanie funkcjonowania
ze względu na kryteria, które dotychczas nie były stosowane w empirycznych ba-
daniach nad trafnością".
Jeżeli owa interpretacja ma być sensowna (sensowna na gruncie określonej,
wbudowanej w świadomość metodologiczną psychologa, teorii psychologicznej —
por. rozdz. 3., pkt. 3.), to psycholog musi wpierw odpowiedzieć na podstawowe
pytanie: co tak naprawdę mierzy ten test psychologiczny, a dokładniej:
(a) jego wynik ogólny,
(b) wyniki cząstkowe, powstałe po pogrupowaniu tych pozycji, które uznane
zostały za podobne pod jakimś względem (np. o wysokich ładunkach czynniko
wych na tym samym czynniku),
(c) odpowiedzi na poszczególne, pojedyncze pozycje (zadania testu inteligencji
czy pytania kwestionariusza osobowości)?
Przykładem dobrej, pod tym względem, roboty psychometrycznej są analizy
poszczególnych pozycji testów wchodzących w skład Skali Inteligencji W-B We-
chslera przeprowadzone przez Rapaporta (1945).
Pytanie o trafność testu jest pytaniem dla psychologa-empiryka podstawowym.
Bez udzielenia na nie jasnej, jednoznacznej odpowiedzi nie sposób poważnie (w
I
„Skalę F tworzą 64 twierdzenia, na które jedynie niewielki procent ludzi (10% i mniej) odpo-
wiada zgodnie z kluczem. Zadaniem tej skali miało być wykrywanie nietypowych i dewiacyjnych
sposobów odpowiadania na pytania testu" (Matkowski, 1992, s. 26).
515
zgodzie z obowiązującymi psychologa standardami psychometrycznymi) interpre-
tować rezultatów badania testowego.
2. Cztery aspekty trafności
W psychometrii wyodrębnia się cztery podstawowe, można powiedzieć: „kanoni-
czne", aspekty (rodzaje) trafności (APA, 1985a, 1985b; Loevinger 1957; Jakubo-
wski, 1982; Curreton, 1951; Cronbach, 1971; Campbell, 1960; Messick, 1980,
1989, 1995; Magnusson, 1991; Niemierko, 1975). O trzech z nich (trafności: diag-
nostycznej, prognostycznej i treściowej) będzie mowa w pkt. 2., a o czwartym,
trafności teoretycznej (wg.: Cronbach, Meehl 1955) — jako w mojej opinii naj-
ważniejszym — i dwóch głównych metodach analizy tego aspektu trafności trakto-
wać będą trzy punkty 3., 4. i 5.
Trudno powiedzieć, dlaczego utrwaliło się wśród psychologów przekonanie,
że oprócz tzw. Holy Trinity (por. Guion, 1980), tj.:
(1) trafności kryterialnej — diagnostycznej i prognostycznej (ang. criterion
oriented validity — concurrent validity i predictive validity),
(2) trafności treściowej (ang. content validity),
(3) trafności teoretycznej (ang. construct validity),
wyróżnia się jeszcze czwarty rodzaj „trafności", a właściwie pseudotrafności:
(4) trafność fasadową (ang. face validity).
„Trafność fasadową" (celowo używam cudzysłowu, aby podkreślić, iż mamy
w tym przypadku do czynienia z pseudotrafnością) określił przed wielu laty Guil-
ford (1954, s. 400; też: Guilford, 1988, s. 88): „termin trafność fasadowa ma wiele
znaczeń i stosowany jest nader swobodnie. Najczęściej wiąże się go z faktem, że
test wydaje się trafny i to szczególnie tym osobom, które nie posiadają profesjo-
nalnego wykształcenia w dziedzinie badań testowych. To, że test wydaje się trafny,
nie jest jeszcze oczywiście żadną gwarancją rzeczywistej trafności tego testu (...) i
nawet doświadczony psycholog powinien być bardzo ostrożny wobec tego typu
informacji. Niektórzy mówiąc o zasadach akceptacji niektórych testów twierdzą
żartobliwie, że są one stosowane na zasadzie wiary w trafność (faith validity)".
Inny wybitny psychometra, Mosier (1947; cyt. za: Guilford, 1988a, s. 88) poddając
krytycznej analizie pojęcie „trafności fasadowej" zwrócił uwagę na tzw. trafność
na mocy założenia (ang. validity by assumptioń), co Guilford skomentował nastę-
pująco: „istnieją takie miary (np. wyniki testu osiągnięć), których trafność przyj-
mowana jest na mocy umowy. Innymi słowy zakładamy, że wyniki testowe rze-
czywiście mierzą to, co chcemy aby mierzyły. (...) trafność niektórych testów (in-
nych niż testy osiągnięć) również przyjmowana jest na mocy umowy. (...) Prawdzi-
wym przeżyciem poznawczym jest praca nad testem, który tak dobrze wydaje się
mierzyć daną cechę, że z całą pewnością nie może chybiać, a po zastosowaniu
analizy korelacyjnej okazuje się mierzyć zupełnie inne czynniki". Błąd tkwi w
516
ekonaniu, że: „dwie rzeczy, mające tę samą nazwę (...) są skutkiem tego tym
nym" (Bechtoldt, 1968, s. 37). I jeszcze jeden cytat. Tym razem zaczerpnięty ze
ndardów... (APA, 1985a, s. 34): „Tak zwana trafność fasadowa będąca tylko
zorem trafności, nie jest właściwą podstawą wniosków wyprowadzanych z wy-
ków testowych".
Ten rodzaj pseudotrafności upowszechnił się w Polsce, jak sądzę, za sprawą
oynowskiego, który opublikował, skądinąd ważny i wartościowy artykuł Bech-
toldta, specjalisty (nawiasem mówiąc krytyka trafności teoretycznej — por. Bech-
toldt, 1959) od zagadnień trafności testów psychologicznych, pt.: Teoretyczne pod-
stawy metod testowych: trafność i prognoza (Bechtoldt, 1968). To w tym artykule
czytamy m. in.: „termin trafność fasadowa dotyczy sposobu, w jaki badani reagują
na wygląd testu i na metodę testowania — niektóre testy są dla badanych bardziej
strawne niż inne. Bardziej ogólnym terminem oddającym to, o co tu chodzi, jest
kontakt stworzony między badanym a badającym przez instrukcję i postępowanie
przy testowaniu" (s. 41). Uważam, że nie należało tu odwoływać się do terminu
„trafność".
Dla psychologów społecznych, posługujących się narzędziami „docierającymi"
do opinii i postaw osób badanych, czy dla psychologów szkolnych, badających
strukturę i poziom zdolności i umiejętności uczniów, niezmiernie ważne jest też
zapewnienie wysokiej trafności treściowej. Jej znajomość jest szczególnie ważna
gdy psycholog „...jest zainteresowany oceną zachowania badanego we wszystkich
sytuacjach, które test (z założenia) ma reprezentować" i gdy chce wykazać, że
„...zachowania demonstrowane w badaniu testowym są reprezentatywną próbą za-
chowań ujawniających się w interesującej badacza sferze" (APA, 1985a, s. 36).
W ostatnich latach znacznie rozwinęła się teoria trafności (por. np. Messick,
1995; Wainer, Braun, 1988) i dziś już nie wystarczy ogłosić, iż test psychologiczny,
a właściwie kandydat do miana testu, koreluje z jakimś kryterium zewnętrznym
(np. innym, podobnym testem psychologicznym), aby uznać sprawę określenia traf-
ności testu za pozytywnie załatwioną.
2.1. Trafność kryterialna
Na ogół pojęcie trafności kojarzy się psychologom z procedurą ustalania korelacji
między wynikami nowego testu i jakimś zewnętrznym kryterium. I znowu, najczę-
ściej owym kryterium jest inny test psychologiczny o uznanej już trafności. Rza-
dziej jest to kryterium nie-testowe, np. diagnoza psychiatryczna (por. np. Zawadzki,
1970, s. 217-218; APA, 1985a, standard E4.4.2, E4.4.3, s. 44), kryteria wypraco-
wane przez sędziów kompetentnych (np. APA, 1985a, standard E4, s. 43), miary
fizjologiczne, np. wskaźniki wyłonione ze struktury zapisu EEG, EKG czy GSR
(np. Strelau, 1992, rozdz. 9.: Wskaźniki psychofizjolgiczne i psychofizyczne w ba-
daniach nad diagnozą temperamentu/osobowości i nad pomiarem trafności teore-
tycznej kwestionariuszy, s. 160-176; Sosnowski, Zimmer, 1993).
517
1
Należy być bardzo ostrożnym w przyjmowaniu (akceptacji) danych dotyczą-
cych trafności jakiegoś nowego testu, jeżeli w jego „metryczce psychometrycznej"
istnieje informacja, że trafność kryterialną tego testu ustalono przez skorelowanie
jego wyników z wynikami innego testu. Być może, gdybyśmy zadali sobie trud
zajrzenia do „metryczki psychometrycznej" testu-kryterium, okazałoby się, że jego
trafność ustalono identycznie itd. Ustalanie trafności kryterialnej metodą test by test
świadczy raczej o ubóstwie warsztatowym diagnostyki psychometyrycznej, niż o
jej wyrafinowaniu i chęci pozostawania w bliskości z rzeczywistością, która ma
przecież charakter nietestowy.
Moim zdaniem (także: Drwal, 1995, s. 27; APA, 1985b, pkt. 1. Validity, s. 16
— Standards 1.8-1.10), każdy nowy test powinien być wprowadzany po wykazaniu
jego zbieżności (aspekt zbieżny trafności) nie tylko z innymi testami, ale — przede
wszystkim — z kryteriami faktycznie zewnętrznymi (a więc nietestowy mi!), wg
których można dokonanać oceny tej samej zmiennej. Ponadto należy wykazać brak
zbieżności testu (aspekt różnicowy trafności) z podobnymi miarami testowymi
i nietestowymi, ale przeznaczonymi do oceny innych zmiennych. Mówiąc krótko,
idzie o to, aby badanie trafności testu przeprowadzić metodą Campbella i Fiskego
(1959), którą szczegółowo prezentuję w pkt. 4.
Jak już napisałem wyżej, jeżeli kryterium jest zastosowane równolegle w cza-
sie do testu, to mówimy o trafności diagnostycznej, a jeżeli na podstawie wyników
testu chcemy przewidzieć wystąpienie zachowania opisanego przez kryterium, to
mówimy o trafności prognostycznej.
Na co należy zwracać uwagę przy ustalaniu trafności kryterialnej za pomocą
pojedynczego wskaźnika, np. współczynnika korelacji? Na to pytanie odpowiadają
Standardy... (APA, 1985a, s. 35-36). Po pierwsze, podobnie jak to ma miejsce przy
ustalaniu rzetelności testu metodą test-retest (stabilność bezwzględna), może okazać
się, że warunki w jakich przeprowadzono pierwsze badanie (za pomocą testu), w
procesie ustalania trafności prognostycznej, będą istotnie odbiegać od warunków
końcowych, w jakich dokonano pomiaru kryterium (zakłada się, że warunki po-
czątkowe i końcowe będą zasadniczo do siebie podobne). Po drugie, mimo przy-
jęcia założenia o trafności samego kryterium (np. ocen szkolnych, diagnozy psy-
chiatrycznej czy innego testu), w rzeczywistości jego trafność może pozostawiać
wiele do życzenia. Wcale nie tak łatwo dobrać trafne kryterium. Bardzo tedy ku-
sząca jest droga walidowania testu poprzez wykazanie jego wysokiej korelacji z ...
innym testem. Po trzecie, zakłada się, że próba jest de facto reprezentatywna, a w
rzeczywistości obejmuje ona osoby, które były stosunkowo łatwo dostępne bada-
czowi (np. studentów psychologii uczęszczających na wykład autora testu i zdają-
cych u niego egzamin — jak w tej sytuacji student może „bezpiecznie" odmówić
udziału w takich badaniach i w jakim stopniu studenci psychologii są podobni do
reszty społeczeństwa?). Po czwarte, nie należy prowadzić badań na zbyt mało li-
cznych próbach, gdyż będą kłopoty z trafnością zewnętrzną (por, rozdz. 3., pkt.
2.2). Na kłopoty metodologiczne, jakie sprawia posługiwanie się pojedynczym
wskaźnikiem kryterium (na polu selekcji) zwraca uwagę Dunnete (1963).
Wymagania związane z ustalaniem trafności kryterialnej podane zostały w
Standardach... (APA, 1985a, standardy: E3-E10, s. 42-55).
I jeszcze jedno, ustalanie trafności kryterialnej związane jest z koniecznością
posługiwania się poprawką na obniżenie (rozcieńczenie) trafności (ang. correction
for attenuationf (Guilford, 1988, s. 89). Jest ona związana z nierzetelnością (od-
biegającą od rzetelności idealnej, wyrażającej się współczynnikiem rtt=l,0) tak
samego testu, jak i kryterium. Chcąc tedy poznać faktyczną korelację testu z kry-
terium musimy, przy jej obliczeniu, uwzględnić wartości obu współczynników rze-
telności. Sam wzór (17.1) na taką „poprawioną" korelację wygląda następująco:
gdzie: rTK — poprawiona korelacja wyników testu i kryterium; r„ — współczynnik
rzetelności testu; rtt — współczynnik rzetelności kryterium.
Otrzymana wartość korelacji testu z kryterium po uwzględnieniu wartości
współczynników rzetelności będzie wyższa, aniżeli wartość tej korelacji obliczona
bez uwzględnienia wartości współczynników rzetelności testu i kryterium. Więcej,
bardziej szczegółowych informacji na temat trafności kryterialnej znajdzie Czytel-
nik u Magnussona (1991), Niemierki (1975) i Guilforda (1964, 1988)3.
2.2. Trafność treściowa (wewnętrzna)
Trafność treściowa (wewnętrzna) jest — jak mi się wydaje — zaniedbywana przez
psychologów. Skupiają oni swoją uwagę raczej na trafności kryterialnej.
Większą wagę do analizy trafności treściowej przykładają pedagodzy, którzy
konstruując testy osiągnięć są zainteresowani tym, aby zbiór zadań tworzących test
stanowił rzeczywiście reprezentatywną próbę dla uniwersum pozycji, które jest uza-
sadnione przez oficjalne programy nauczania. Niemierko (1975, s. 172) pisze: „traf-
ność wewnętrzna testu osiągnięć szkolnych polega na zgodności treści testu z pro-
gramem nauczania. Ustalamy ją porównując czynności wykonywane przez ucznia
w celu rozwiązania zadań testu z czynnościami, których opanowanie jest wymaga-
ne".
Trafność treściowa jest szczególnie ważna dla testów uzdolnień, umiejętności,
osiągnięć szkolnych i wiadomości, dla kwestionariuszy osobowości, skal postaw i
opinii oraz dla arkuszy obserwacyjnych.
Standardy... (APA, 1985a, s. 36-37) tak mówią o badaniu trafności treściowej:
„Aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście należy
Tłumacz pracy Magnussona (1991, s. 218-222) przetłumaczył angielski termin jako „poprawkę
na nierzetelność".
3 Guilford (1988, s. 90) przestrzega przed „pokładaniem zbyt wielkiej wiary we współczynnik
poprawiony ze względu na obniżenie trafności". Czytelnik zechce się zaznajomić z argumentami Guil-
forda.
519
I
wykazać, że zachowania demonstrowane w badaniu testowym są reprezentatywną
próbą zachowań ujawniających się w interesującej badacza sferze. Określenie tej
sfery, określenie realizowanych przez badacza celów oraz metody dobierania próby
jest szczególnie ważne w wypadku trafności treściowej. W badaniu trafności tre-
ściowej wymaga się, aby autor testu lub jego użytkownicy sprecyzowali stawiane
przez siebie cele oraz dokładnie zdefiniowali — w świetle tych celów — badaną
sferę zachowań. Aby można było określić stopień, w jakim poszczególne zadania
składają się na całą sferę zachowań, jej definicja powinna być sformułowana raczej
w terminach efektów uczenia się niż procesów (autorzy omawiają zagadnienie traf-
ności treściowej odnosząc się w warstwie przykładowej do testów osiągnięć —
przyp. J.B.), dzięki którym uczenie się jest i wystarczająco szczegółowe i zorgani-
zowane".
Chciałbym przestrzec Czytelnika, przed utożsamianiem ustalania trafności tre-
ściowej testu z ustalaniem tzw. trafności fasadowej, gdyż ta ostatnia związana jest
jedynie z powierzchowną oceną tego, czy test X sprawia wrażenie testu określonego
typu, czy wygląda jak „prawdziwy" test. Z kolei ustalanie trafności treściowej
wymaga, aby badacz zdefiniował uniwersum pozycji i aby wykazał, że pozycje
włączone do testu stanowią faktycznie reprezentatywną dla tego uniwersum ich
próbę. W celu określenia stopnia reprezentatywności próby pozycji psycholog po-
winien się odwołać do ekspertów. Z kolei do oceny stopnia zgodności ich sądów
należy wykorzystać np. współczynnik zgodności sędziów kompetentnych W-Ken-
dalla, opisany w rozdz. 15., pkt. 10.1.
3. Trafność teoretyczna
(wg L. J. Cronbacha i P. E. Meehla)
Według mnie najważniejszym aspektem (czy rodzajem) trafności jest trafność teo-
retyczna (w sensie: Cronbach, Meehl, 1955; także: Campbell, 1960; APA, 1985a,
1985b; Frederiksen, 1986; Messick, 1995), pokazująca związek narzędzia pomiaro-
wego z konstruktem teoretycznym (zmienną teoretyczną) zaczerpniętym z danej
teorii psychologicznej, a najlepszym operacyjnym podejściem do jej badania jest
opracowana przez Campbella i Fiskego (1959; por. pkt. 4. niniejszego rozdziału)
metoda analizy macierzy „wielu cech — wielu metod" (por. też Angoff, 1988,
s. 26). Zdaniem zaś Guiona (1980) do trafności teoretycznej można sprowadzić
zarówno trafność treściową, jak i trafność kryterialną. W miejsce tedy „triadowej"
koncepcji trafności Guion proponuje unitarną koncepcję trafności — rzecz jasna
ma to być koncepcja trafności teoretycznej (w oryginale występuje opozycja: tri-
nitarian doctrine of validity vs unitarian doctrine of validity; trinitarian — od
trinitas, łac. trójca; Trójca Św.).
„Określenie trafności teoretycznej występuje wtedy, kiedy test ma być inter-
pretowany jako miara pewnego atrybutu lub pewnej właściwości, które nie są zde-
520
finiowane operacyjnie. Problem, w obliczu którego stoi badacz, przedstawia się
następująco: «Jakie konstrukty4 wyjaśniają wariancję wyników rozwiązywanego te-
stu?*" (Cronbach, Meehl, 1955).
Dla lepszego zrozumienia istoty ustalania trafności teoretycznej testu odwołaj-
my się do dwóch przykładów — jednego zaczerpniętego wprost od Cronbacha i
Meehla (1955) oraz drugiego (Hornowska, 1993c), pokazującego w jaki sposób
można dokonać rekonstrukcji założeń teoretycznych testu, który, pozornie, wprost
danej teorii nie zakładał.
Przykład I
Nałóżmy, że miara X koreluje na poziomie 0,50 z Y czyli wielkością zmiany
elektrycznego przewodnictwa skóry pojawiającego się wtedy, kiedy informujemy
studenta, że oblał egzamin z psychologii. Współczynnik ten trafnie opisuje trafność
prognostyczną X dla Y dla danej próbki i danych warunków. Gdyby ktoś miał
zapytać «Czy nie istnieje być może inny sposób interpretowania tej korelacji?» albo
«Jakie inne rodzaje danych mógłbyś dostarczyć dla potwierdzenia tej interpretacji?*
z trudem zrozumielibyśmy, czego dotyczy pytanie, ponieważ nie podaje się kore-
lacji jako dowodu na to, że «test X mierzy skłonność do lęku». Możliwe są inter-
pretacje alternatywne; być może test mierzy np. aspiracje akademickie i w tym
przypadku oczekiwalibyśmy odmiennych rezultatów, kiedy wywołalibyśmy zmianę
elektrycznego przewodnictwa skóry za pomocą zagrożenia ekonomicznego. Czy
zatem jest sensowne poszukiwanie innych rodzajów dowodów?
Połączmy te fakty z danymi z późniejszych badań. Test X koreluje na pozio-
mie 0,45 z oceną napięcia podaną przez innych studentów. Test X koreluje na
poziomie 0,55 z wielkością dezorganizacji intelektualnej wywołanej przez bolesny
szok elektryczny, a na poziomie 0,68 z wynikiem Skali Lęku Objawowego MAS
Talor. Średnia X obniża się w czterech grupach diagnostycznych w następującej
kolejności: stany lękowe, depresja reaktywna, normalni oraz osobowość psycho-
patyczna. I wreszcie elektryczne przewodnictwo skóry przy zagrożeniu niepowo-
dzeniem w przypadku psychologii koreluje na poziomie 0,60 z przewodnictwem w
przypadku zagrożenia niepowodzeniem w zakresie matematyki. Wyniki negatywne
eliminują konkurencyjne wyjaśnienia wyniku X; tak więc, stwierdzenie nieistotnych
korelacji między X i klasą społeczną, celami zawodowymi i orientacją na wartości
usprawiedliwiają bezpieczne odrzucenie sugestii, że test X mierzy aspiracje akade-
mickie. Możemy mieć zatem znaczne zaufanie do tego, że X mierzy skłonność do
I
„Konstrukt jest pewną postulowaną właściwością ludzi, o której zakłada, się, że ujawnia się
ona w rozwiązywaniu testu. Podczas procedury określenia trafności testu konstruktem jest atrybut, na
temat którego wypowiadamy pewne twierdzenia interpretując test. Oczekujemy — piszą Cronbach i
Meehl (1955) — że osoba w dowolnym momencie czasowym posiada, bądź też nie posiada pewnej
właściwości jakościowej (amnezja) albo struktury albo też posiada pewien poziom właściwości ilościo-
wej. Konstrukt posiada też pewne skojarzenia, przenoszone przez twierdzenia o charakterze ogólnym:
ludzie, którzy posiadają tę właściwość będą w sytuacji X działać w sposób Y (z określonym prawdopo-
dobieństwem). Dążymy do wyszczególnienia, jak bronić proponowanej interpretacji testu; nie rekomen-
dujemy żadnego określonego rodzaju interpretacje.
521
lęku, jeśli aktualna teoria lęku może obejmować wszystkie zależności, które dopro-
wadziły do pojawienia się korelacji dodatnich oraz nie przewidywać korelacji, które
nie zostały wykryte". Chciałbym — uprzedzając to, co jest napisane w kolejnym,
4. pkt. — powiedzieć, że przeprowadzona w drugiej części przykładu I analiza
korelacji prowadzona jest w „duchu" kilka lat później ogłoszonej przez Campbella
i Fiskego (1959) metody analizy macierzy WCWM.
Przykład II
Bodajże najbardziej rozpowszechniona w świecie testowa miara inteligencji,
jaką jest Skala Inteligencji Wechslera (począwszy od W-B I/II przez WAIS do
WAIS-R) nie miała wyraźnie określonych przez swego autora podstaw teoretycz-
nych. Wechsler nie skonstruował „dużej" teorii inteligencji, z której logicznie wy-
prowadziłby 11 składających się na tę skalę testów. Krytyczna analiza będącej
wówczas w powszechnym użyciu Skali Inteligencji Stanford-Bineta (z 1916 r.),
opartej na stemowskim rozumieniu ilorazu inteligencji IQ (piszę o tym szczegóło-
wo w: Brzeziński, 1993a) zakładającym pojęcie „wieku umysłowego" (ang. mental
age) zaczerpniętego od Bineta, konstruktora pierwszego testu inteligencji (Wechsle-
rowi znana była krytyka pojęcia „wieku umysłowego" przeprowadzona przez Thur-
stone'a, 1926) oraz doświadczenie kliniczne zdobywane w pracy z pacjentami du-
żego szpitala psychiatrycznego Bellevue w Nowym Jorku skłoniły Wechslera do
odrzucenia dotychczas „panujących" poglądów na naturę inteligencji i zapropono-
wania takiej definicji inteligencji, która nie oddzielałaby jej od „reszty osobowo-
ści". Zatem: „Inteligencja jest to zagregowana (ogólna) zdolność jednostki do po-
dejmowania działań celowych, racjonalnego myślenia i do efektywnego radzenia
sobie we własnym środowisku. Jest ona globalna, ponieważ charakteryzuje zacho-
wanie jednostki jako całości, jest zagregowana, gdyż składa się z elementów (zdol-
ności), które chociaż nie są całkowicie niezależne, ale są jakościowo odróżnialne
(...) Inteligencja nie jest jednakże tożsama z prostą sumą owych zdolności. Składają
się na to trzy przyczyny: 1) efekty końcowe zachowań inteligentnych nie są wyłą-
cznie funkcją liczby zdolności lub ich poziomu, lecz również sposobu ich kombi-
nacji, a więc zależą od ich konfiguracji; 2) czynniki inne niż zdolności intelektu-
alne, np. popęd czy podniety są także składową inteligentnych zachowań; 3) wre-
szcie gdy różne klasy inteligentnych zachowań mogą wymagać zdolności intelektu-
alnych o różnym poziomie, to nadwyżka każdej ze zdolności może stosunkowo
niewiele przyczyniać się do zwiększenia efektywności zachowania jako całości"
(Wechsler, 1993, s. 16).
Wychodząc od tej definicji i innych twierdzeń Wechslera na temat natury
inteligencji i możliwości dokonywania jej pomiaru poprzez pomiar określonych
zdolności, Hornowska dokonała rekonstrukcji mierzonych przez 11 testów skali
funkcji intelektualnych: (1) sprawność funkcji poznawczych, (2) zakres posiadanej
wiedzy, (3) zdolność do koncentracji i (4) umiejętność koordynacji wzrokowo-ru-
chowej. Następnie każdy z wymiarów został rozbity na — łącznie — 10 podwy-
miarów. Tym zaś zostały przyporządkowane wechslerowskie testy (1, 2, 3, a nawet
5 testów do każdego podwymiaru) (Hornowska, 1993c, tab. 1., s. 27). Nie poprze-
522
stając na rekonstrukcji poglądów Wechslera, Hornowska dokonała analizy testów
składających się na Skalę Inteligencji Wechslera z punktu widzenia takich ważnych
teorii inteligencji, jak: (1) teoria czynnika ogólnego g Spearmana, (2) teoria inteli-
gencji płynnej i skrystalizowanej Cattella-Horna, (3) teoria struktury intelektu SOI
Guilforda. Czytelnik, który będzie sięgał po Skalę Inteligencji Wechslera powinien
wpierw zapoznać się z tą bardzo ważną — dla rozumnego posługiwania się którąś
ze skal wechslerowskich — pracą ustalającą trafność teoretyczną tej skali.
Przejdźmy teraz do udzielenia odpowiedzi na pytanie: W jaki sposób można
ustalid trafność teoretyczną testu? Czy tak, jak w przypadku trafności kryterialnej,
można posłużyć się jednym współczynnikiem korelacji (na wzór korelacji: test-kry-
terium)? Już zapoznanie się z przytoczonymi wyżej przykładami daje odpowiedź
na drugie pytanie, iż raczej nie jest możliwe sprowadzenie zadania ustalenia traf-
ności teoretycznej testu do ustalenia wysokości jednego współczynnika, np. współ-
czynnika korelacji. Podobnie piszą autorzy Standardów... (APA, 1985a, s. 38):
„Ocena trafności teoretycznej nie sprowadza się do przeprowadzenia jednego ba-
dania; wymaga raczej kumulacji wyników badań. Zbieranie danych potrzebnych do
określenia trafności teoretycznej rozpoczyna się od formułowania hipotez o właści-
wościach osób uzyskujących wysokie wyniki testowe w przeciwieństwie do osób
uzyskujących niskie wyniki. Zbiór hipotez tego typu tworzy wstępną teorię doty-
czącą istoty konstruktu, który test z założenia ma mierzyć. W pełnym programie
badań nad trafnością teoretyczną test może być traktowany raz jako zmienna za-
leżna, a innym razem jako zmienna niezależna. Niektóre hipotezy mogą być «kontr-
hipotezami» wynikającymi z konkurencyjnej teorii lub interpretacji.
Hipotezy tego typu lub twierdzenia teoretyczne umożliwiają przewidywanie
zachowań, jakie osoby uzyskujące określone wyniki w teście będą ujawniać w
niektórych innych testach czy w niektórych sytuacjach. Jeżeli teoria badacza o tym,
co test mierzy jest zasadniczo poprawna, to większość przewidywań powinna zo-
stać potwierdzona. Jeżeli tak się nie stanie, badacz winien zrewidować bądź defi-
nicję, bądź test, by stanowił lepszą miarę konstruktu. Dzięki sukcesywnej weryfi-
kacji, modyfikacji i eliminacji hipotez badacz zaczyna coraz lepiej rozumieć istotę
cech mierzonych przez test. Potwierdzając lub odrzucając kolejne hipotezy, doko-
ijąc rewizji testu oraz przeprowadzając nowe badania ze zrewidowanym narzę-
dziem — badacz zwiększa użyteczność testu jako miary danego konstruktu.
Należy zaznaczyć, że dane badanie trafności teoretycznej odnosi się do kon-
kretnego testu i może okazać się nieadekwatne w stosunku do innych testów o tej
samej nazwie".
Jak sami piszą, zaakceptowali oni wyodrębnione przez Macfarlane'a (1942) procedury stoso-
wane do oceny trafności metod projekcyjnych.
523
Cronbach i Meehl (1955) zaproponowali pięć procedur ustalania trafności teo-
cznej testu5. Procedury te spotkały się z powszechnym przyjęciem i są oma-
wiane przez różnych autorów opracowań na temat trafności teoretycznej (np. Jaku-
bowski, 1983; Magnusson, 1991). Oto ich krótka charakterystyka:
1. Analiza różnic między grupowych (ang. group dijferences). Jeżeli w świetle
teorii psychologicznej wynik testowy powinien stanowić podstawę do dokonywania
prognoz mówiących, iż osoby o wysokim wyniku testowym powinny zachowywać
się w określony sposób i osoby o niskim wyniku też powinny zachowywać się w
określony, ale odmienny od pierwszego, sposób, to test można uznać za trafny.
Cronbach i Meehl podają przykład Skali Postaw Wobec Kościoła Thurstone'a i
Chave'a. Badacze ci określali trafność swojej skali poprzez wykazanie różnic w
wynikach uzyskiwanych przez osoby chodzące i niechodzące do kościoła. Inny
przykład znajdujemy u Jakubowskiego (1983, s. 234): „dla sprawdzenia czy skala
Es [skala Siły Ego Barrona z MMPI; «... osoby z wysokimi wynikami w tej skali
są lepiej przystosowane psychologicznie, znacznie lepiej radzą sobie z codziennymi
problemami życiowymi, lepiej też rokują w psychoterapii (...) jeżeli w ogóle szu
kają pomocy psychologicznej to najczęściej powodem tego jest określona presja
sytuacyjna. (...) osoby z niskimi wynikami są znacznie gorzej przystosowane psy
chologicznie, nie są też przygotowane do radzenia sobie ze stojącymi przed nimi
problemami. Czują się bezwartościowe, zagubione i nierzadko wyolbrzymiają przed
otoczeniem swoje problemy po to, aby uzyskać pomoc z zewnątrz», Matkowski,
1992, s. 64 — przyp. J.B.] mierzy siłę ego, możemy wyodrębnić dwie grupy osób:
do jednej wejdą te, które zgłaszają się po pomoc do psychologa, a do drugiej te,
które nie zgłaszają się po pomoc do psychologa i nigdy takiej potrzeby nie czuły.
O trafności teoretycznej testu będą świadczyły istotnie wyższe wyniki, uzyskane
przez drugą grupę, ponieważ to przewidujemy na podstawie konstruktu określają
cego, co to jest «siła ego»".
2. Analiza macierzy korelacji i analiza czynnikowa (ang. correlation matrices
and factor analysis). Najodpowiedniejszą metodą będzie ta, którą zaproponowali
Campbell i Fiske (1959), znana pod nazwą analizy macierzy „wielu cech - wielu
metod". Metodę tę opisuję w pkt. 4. niniejszego rozdziału. Z kolei w pkt. 5. po
krótce charakteryzuję metody analizy czynnikowej, która też jest proponowana
jako metoda sprawdzania trafności teoretycznej testu (najlepsze opracowanie tej
problematyki w polskojęzycznej literaturze daje praca Zakrzewskiej, 1994).
3. Analiza struktury wewnętrznej testu (ang. studies of internal structure).
Zdaniem Cronbacha i Meehla (1955) jeżeli dana teoria zakłada, że pozycje jakiegoś
testu powinny wysoko ze sobą korelować, albo powinny wysoko korelować z ogól
nym wynikiem testu (mówiąc inaczej — jeżeli będą stanowiły homogeniczną grupę
pozycji), to taki test będzie trafny. Także teoria może zakładać występowanie uje
mnych współczynników korelacji określonych pozycji z ogólnym wynikiem testu
(wówczas, gdy nie są one związane z danym konstruktem i służą jako zmienne
tłumiące).
4. Analiza zmian nieprzypadkowych wyników testu (ang. studies of change
over occasions). Jak wiemy (por. rozdz. 15., pkt. 5.) dwukrotne badanie, w jakimś
odstępie czasu, tym samym testem, przeprowadzone na tej samej grupie osób
dostarcza empirycznej miary rzetelności testu zwanej stabilnością bezwzględną.
Wadą takiego postępowania jest to, że między pierwszym (test) i drugim badaniem
(retest) dzieje się „coś", co na ogół nie jest kontrolowane przez badacza. Dlatego
524
też Cronbach i Meehl proponują, aby po pierwszym badaniu wprowadzić do bada-
nej grupy jakąś manipulację eksperymentalną, która powinna — o czym mówi
teoria psychologiczna! — wywołać określone zmiany zachowania osób badanych;
zmiany te zaś powinny być wychwycone przez test psychologiczny — osoby ba-
dane powinny uzyskać wyniki, które będą się istotnie różniły (w zakładanym przez
teorię kierunku) od wyników pierwszego badania. „Można wysunąć hipotezę, że
efekt Zeigarnik jest miarą zaangażowania ego, tj. że wskutek zaangażowania ego
człowiek przypomina sobie więcej zadań niedokończonych. Aby potwierdzić taką
interpretację, eksperymentator będzie próbował wywołać zaangażowanie ego w
pewnym zadaniu za pomocą odpowiednich wskazówek i będzie porównywał przy-
pominanie badanych z przypominaniem w innych zadaniach, kiedy udzielał wska-
zówek przeciwstawnych" (Cronbach, Meehl, 1955).
5. Analiza procesu rozwiązywania testu (ang. studies of process). Zdaniem
Cronbacha i Meehla jedną z najlepszych metod badania przyczyn zmienności wy-
ników testu jest przeanalizowanie procesu rozwiązywania testu przez osoby badane.
Pozwala to na poprawienie konstrukcji samego testu. Taka procedurę analizy od-
powiedzi na pytania kwestionariusza 16 PF Cattella zastosowała Nowakowska
(1975), posługując się specjalnie skonstruowanym przez siebie kwestionariuszem,
który osoby badane musiały wypełniać w stosunku do każdego pytania 16 PF.
4. Aspekt zbieżny (konwergentny)
i różnicowy (dyskryminaty wny) trafności —
analiza macierzy „wielu cech — wielu metod"
D. T. Campbella i D. W. Fiskego
LI. Aspekt zbieżny i aspekt różnicowy trafności
za sugestią Angoffa (1988, s. 26), iż pomysł Campbella i Fiskego (1959) na
izę macierzy korelacji występujących między różnymi miarami testowymi róż-rch
cech (macierzy WCWAf) można wykorzystać do badania trafności teoretycznej tu,
chciałbym w niniejszym punkcie przedstawić właśnie tę metodę — poczyna-od
analizy opisanej przez jej autorów, a kończąc na wskazaniu rozwiązań od-
ijących się do wielowymiarowych modeli statystycznych. Stosunkowo często
(zbyt często!) psychologowie ograniczają badanie trafności stu do ustalenia jej
tylko w jednym z aspektów, a mianowicie w aspekcie kryte-rialnym, a dokładniej
— diagnostycznym. Co więcej, posługują się oni w procesie ustalania trafności
testami, których trafność ustalana była podobnie, tzn. przez wykazanie wysokiej
korelacji z innym testem! Podobną procedurę można by jeszcze zaakceptować,
gdyby owym kryterium zewnętrznym (które, rzecz jasna, też musi się cechować
wysoką trafnością!) w przypadku metod „papierowych" nie była po-
525
dobna metoda, np. aby kwestionariusz temperamentu nie był „walidowany" za po-
mocą innego kwestionariusza temperamentu, ale za pomocą wskaźników uzyska-
nych z eksperymentu laboratoryjnego, albo z danych obserwacyjnych.
Owe nastawienie na szukanie, za wszelką cenę, zbieżności wyników jednego
testu z jakimś innym testem (nawet bez zatroszczenia się o to, czy został on wy-
wiedziony z tej samej teorii psychologicznej) stało się swoistym „standardem" po-
stępowania psychologów. Trzeba się tedy zgodzić z krytycznym osądem praktyk
badawczej, którego dokonał Drwal (1995, s. 27): „...trafny test pewnej cechy po-
winien silniej korelować z innymi testami tej samej cechy niż z testami, które mają
mierzyć coś innego. Wysoka korelacja między testami tej samej cechy świadczy o
trafności zbieżnej (TZ), natomiast niska korelacja z testami innych cech świadczy
o trafności różnicowej (TR). W psychologii dominują nadal badania nad trafnością
zbieżną i często się zdarza, że twórca nowego testu jest zadowolony z każdej
istotnej korelacji, jaką może podać, nie zważając, że niektóre w gruncie rzeczy
kompromitują trafność jego testu (przykłady łatwo znaleźć również w publikacjach
z ostatnich lat)".
Wymaganie badania — w przypadku każdego testu, a zwłaszcza takiego o
złożonej strukturze teoretycznej — nie tylko aspektu zbieżnego (i to za wszelką
cenę!), ale także aspektu różnicowego trafności zostało ujęte w najnowszym wy-
daniu Standards... (APA, 1985b, pkt. 1. Validity, s. 16 — standardy 1.8-1.10.).
Analiza trafności teoretycznej przeprowadzona metodą analizy macierzy
„wielu cech — wielu metod", WCWM (wg: Campbell, Fiske, 1959), umożliwiająca
nie tylko zbadanie aspektu zbieżnego, ale także zanalizowanie aspektu różnicowe-
go, jest — według mnie — jedyną sensowną metodą kompleksowego badania
trafności teoretycznej testu psychologicznego.
Do realizacji tego celu zaleca się dziś posłużenie się konfirmacyjną analizą
czynnikową CFA (na ten temat por. Kenny, Kashy, 1992) przeprowadzoną za po-
mocą programu komputerowego z rodziny LISREL (np. LISREL VII — por.
Jóreskog, Sorbom, 1989).
Podejście WCWM do badania trafności jest wykorzystywane w zaawansowa-
nych badaniach trafności baterii złożonych z wielu testów czy zestawów testów
stanowiących operacjonalizację tego samego konstruktu teoretycznego. I tak, przy-
kładowo, Drwal (1995, cz. I, rozdz. 3.: Trafność zbieżna i różnicowa czterech
inwentarzy agresji, s. 36-53) poddał analizie trafność następujących inwentarzy
agresji: (1) Inwentarz Bussa-Durkee w dwóch, w Polsce znanych wersjach —
(la) Skala Agresji Bussa-Durkee SABD oraz (lb) Nastroje i Humory NH, (2) Wie-
lowymiarowy Inwentarz Agresji Interpersonalnej Chłopców WIAICH Olweusa,
(3) Inwentarz Psychologiczny Syndromu Agresji IPSA Gasia, a także: (4) skale
poczucia winy zaczerpnięte z SABD, NH i WIAICH oraz Kwestionariusz Poczucia
Winy KPW Kofty, Ignaczaka i Brzezińskiego; ponadto uwzględnione zostały: (5)
skale aprobaty społecznej — skala K zaczerpnięta z WIAiCH i Kwestionariusz
Aprobaty Społecznej KAS Drwala i Wilczyńskiej, (6) Próbki Zachowań PZ („tech-
nika typu socjometrycznego przeznaczona do pomiaru agresji w ocenie rówieśni-
ków").
526
Metoda klasyczna analizy macierzy WCWM
Źródłem systematycznej wariancji wyników testowych może być zróżnicowa-
nie osób badanych pod względem danej cechy oraz zróżnicowanie tych samych
osób z uwagi na właściwości metody zastosowanej do pomiaru danej cechy. Ba-
daczowi zależy na tym, aby móc precyzyjnie oddzielić od siebie te dwie wariancje
składowe. Zasługą Campbella i Fiskego (1959) było pokazanie, jak stosunkowo
prosto można dokonać analizy zmienności wyników testowych w kategoriach wła-
ściwości cechy i właściwości metody. Nie wchodząc w szczegóły uzasadnienia
takiego rozumowania (na ten temat por. Gaul, 1989) przejdę od razu do scharakte-
ryzowania samej macierzy WCWM oraz podstawowych warunków, jakie muszą być
spełnione przez ujęte w niej interkorelacje, aby — zdaniem Campbella i Fiskego
(dalej będę używał skrótowego określenia: metoda C-F) — test można było uznać
za trafny z uwagi na oba aspekty: zbieżny oraz różnicowy.
Aby przeprowadzić pełne badanie trafności należy uwzględnić co najmniej
dwie cechy mierzone przez co najmniej dwie niezależne metody. Tabela 17.1. po-
kazuje macierz WCWM utworzoną z interkorelacji zachodzących między 3 meto-
dami zastosowanymi do pomiaru 3 cech. Ponieważ jest ona symetryczna, więc
zaprezentowane zostały jedynie dane znajdujące się w jej dolnej połowie.
Uogólniając, macierz zawiera korelacje pochodzące z zestawienia wyników
pomiaru /-tej (j=l,...,q) cechy za pomocą /-tej metody (/= 1,...,/?). Zatem dwa
pierwsze indeksy przy r (symbol współczynnika korelacji), to indeksy metod, a
dwa dalsze indeksy, po kropce, to indeksy cech. Na przykład r3123 należy czytać
jako: korelacja cechy 2. mierzonej za pomocą metody 3. z cechą 3. mierzoną za
pomocą metody 1.
W macierzy ujęte zostały następujące grupy współczynników korelacji:
(a) przekątne współczynników rzetelności, po jednej dla każdej metody (uło-
ie są wzdłuż głównej przekątnej całej macierzy) — jedna cecha, jedna metoda
'CJM; dla wyróżnienia współczynniki te zostały zapisane kursywą;
(b) przekątne współczynników trafności — jedna cecha, różne metody JCRM,
jednej dla każdej kombinacji dwóch metod; dla wyróżnienia współczynniki te
itały zapisane czcionką półgrubą;
(d) trójkąty różnych cech, jednej metody RCJM, po jednym dla każdej meto-
; dla wyróżnienia oznaczono je linią ciągłą;
(e) trójkąty różnych cech, różnych metod RCRM, po dwa przylegające do
lej przekątnej trafności; dla wyróżnienia oznaczono je linią przerywaną.
Zauważmy, że wartości współczynników korelacji leżące w trójkątach RCRM
muszą być identyczne — dla przykładu: r3]2i niekoniecznie musi być takie
jak r3l 12, gdyż w pierwszym przypadku za pomocą metody 3. dokonano
:aru cechy 1. i za pomocą metody 1. dokonano pomiaru cechy 1., a w drugim
padku za pomocą metody 3. przeprowadzono pomiar cechy 2. i za pomocą
ly 1. przeprowadzono pomiar cechy 2.
Campbell i Fiske w macierzy WCWM wyodrębniają:
527
Tab. 17.1. Wzorcowy układ „wielu cech — wielu metod"
Metoda
Metoda 1.
Metoda 2.
Metoda 3.
Cecha
Cecha 1.
Cecha 2.
Cecha 3.
Cecha!
Cecha 2.
Cecha 3.
Cecha 1.
Cecha 2.
Cecha 3.
1.
1.
2.
\
1*11.21
3.
' 11.31
1*1132
~\^11.33
VJ*21.12
2.
1.
"T.21.11
1*21.13
^2.11
2.
1*21 21
"~^J21.23
'2221
\^22.22
3.
""21 31
1*2132
v-|*21.33
^22.31
\
"*22 32
^i2SL33
"n>^'SŁ12
3.
1.
~T3i.il
1*31.13
~T32.II
"^3213
^[33.11
2.
*Vi21
-T31.22
N,*31JJ
1*32.21
^32.22
V-J*32 23
1*3321
\T33.22
3.
1*31.31
"31 32
^T31.33
^32.31
r32.32
;:_T?2.33
•"33.31
^3332
(a) blok jednej metody JM — składają się na niego: przekątna rzetelności
JCJM oraz przylegający do niej jeden trójkąt RCJM;
(b) blok różnych metod RM — składają się na niego: przekątna trafności
JCRM oraz przylegające do niej dwa trójkąty RCRM.
Test można uznać za w pełni trafny (w obu aspektach — zbieżnym i różni-
cowym), jeżeli (Campbell, Fiske, 1959, s. 82-83):
(1) wartości współczynników leżące na przekątnej trafności JCRM są istotnie
wyższe od zera (i wystarczająco wysokie) — jest to podstawowy warunek, którego
spełnienie czyni sensowną dalszą analizę macierzy WCWM; w ten sposób dokonuje
się oceny aspektu zbieżnego trafności (w rzeczywistości psychologowie zwykli poprze
stawać na tym kroku — por. ocenę trafności diagnostycznej i prognostycznej);
(2) wartość jakiegoś współczynnika leżąca na przekątnej trafności JCRM jest
wyższa od wartości współczynników leżących w tym samym wierszu i kolumnie
trójkątów RCRM (trójkąt obwiedziony linią przerywaną); oznacza to, że wartość
danego współczynnika z przekątnej trafności, czyli JCRM powinna być wyższa od
wartości współczynnika korelacji tej cechy z innymi cechami, ale mierzonymi in
nymi metodami;
(3) wartość jakiegoś współczynnika leżąca na przekątnej trafności JCRM jest
wyższa od wartości odpowiednich współczynników leżących w trójkątach RCJM
(trójkąt obwiedziony linią ciągłą); innymi słowy: dana cecha powinna wyżej kore
lować z niezależnymi pomiarami tej samej cechy JCRM, aniżeli z pomiarami in
nych cech uzyskanymi za pomocą tej samej metody RCJM;
(4) konfiguracja wartości współczynników korelacji występująca w trójkątach
RC (zarówno w bloku JM, jak i w blokach RM) jest taka sama — mimo, rzecz
jasna, różnic w poziomie wartości współczynników
Spełnienie warunku pierwszego związane jest z aspektem zbieżnym trafności,
a spełnienie warunków drugiego, trzeciego i czwartego z aspektem różnicowym
trafności.
Zwykło się utożsamiać stwierdzenie występowania zbyt niskich wartości
współczynników korelacji leżących na przekątnej trafności JCRM z brakiem traf-
ności (w aspekcie zbieżnym). Trzeba jednak pamiętać — na co szczególnie silny
nacisk położyli właśnie Campbell i Fiske — że mogą też być nietrafne gdyż zbyt
silnie korelują z innymi testami przeznaczonymi do pomiaru innych cech (aspekt
różnicowy). Informują o tym wartości współczynników leżące w trójkątach RCRM
zestawione z wartościami współczynników z przekątnej trafności oraz wartości z
trójkąta RCJM zestawione z wartościami współczynników z przekątnej rzetelności.
Metoda C-F bardzo szybko się upowszechniła, chociaż bardziej wśród psy-
chometrów badających jej ograniczenia i możliwości (por. Alwin, 1974) niż wśród
psychologów konstruujących nowe testy. W Polsce, poza teoretyczną pracą Gaula
(1989) pokazującą zastosowanie modelu analizy ścieżek (w sensie: Werts i in.,
1978) do danych z macierzy WCWM, odnotowałem tylko jedną próbę pełnego
(i krytycznego) posłużenia się metodą C-F przez Drwala (1995). Jeszcze raz oka-
zało się, że standardy „wymyślane" przez „prokuratorów" psychometrów-metodo-
logów sobie, a codzienna, szara praktyka diagnostyczna sobie.
34 — Metodologia badań...
Posługiwanie się klasyczną metodą C-F jest żmudne i nie zawsze daje jedno-
znaczne rezultaty. „Kryteria Campbella i Fiskego to proste reguły, intuicyjnie bar-
dzo trafne, ale w praktyce bardzo pracochłonne, bowiem już macierz trzech cech
i trzech metod (jak tab. 17.1. — J.B.) wymaga dokonania ponad stu porównań. Co
może ważniejsze, nie uzyskujemy jasnych i jednoznacznych odpowiedzi. Nie wia-
domo, które kryteria są ważniejsze, jakie odstępstwa można tolerować, jak porów-
nywać stopień trafności w różnych macierzach MTMM (angielski ospowiednik
WCWM — przyp. red.) itd." (Drwal, 1995, s. 30).
Przed przejściem do następnego punktu, w którym przedstawię bardziej zło-
żone, kompleksowe metody analizy macierzy WCWM warto jeszcze na chwilę za-
trzymać się przy wskazówkach o charakterze technicznym, które sformułowali
Campbell i Fiske (tamże, s. 103-104) dla potencjalnych użytkowników ich metody.
Po pierwsze, każda z metod powinna być wyprowadzona z tej samej teorii
psychologicznej, której elementem jest analizowana cecha (trafność teoretyczna!);
mówiąc inaczej, można rozpatrzyć alternatywne procedury operacjonalizacji tej sa-
mej cechy.
Po drugie, należy starać się, aby wybrane do analizy metody były w jak
największym stopniu niezależne; mówiąc językiem technicznym: idzie o to, aby
wariancja wspólna metod była zerowa (aby wartości współczynników w trójkątach
RCRM zmierzały do zera). Od siebie mogę dodać, że z uwagi na elastyczność
aplikacji różnych modeli wielozmiennowych wymiary macierzy WCWM nie powin-
ny być mniejsze niż 3x3 (metoda C-F dopuszcza macierze o wymiarach 2 x 2).
4.3. Wykorzystanie wielowymiarowych modeli statystycznych do
analizy macierzy WCWM
Jak to już zaznaczyłem, idea „podwójnego" badania trafności testu psychologicz-
nego (jej aspektu zbieżnego i różnicowego) spotkała się ze zrozumieniem w śro-
dowisku psychologów zainteresowanych konstrukcją testów psychologicznych.
Zwrócenie uwagi na nielosowe źródła wariancji wyniku testowego — na wariancję
metody — a zwłaszcza ich uwzględnienie w planie analizy trafności testu jest
niewątpliwie zasługą Campbella i Fiskego. Pisali oni: „każde psychologiczne na-
rzędzie pomiarowe zawiera określone bodźce, czy właściwości wprowadzone spe-
cyficznie dla reprezentacji cechy, którą owo narzędzie ma w intencji mierzyć. Ma
także inne właściwości, które są charakterystyczne dla stosowanej metody, właści-
wości, które mogłyby również występować przy próbach pomiaru innych, całkiem
odmiennych cech. Test, skala szacunkowa lub inne narzędzie pomiaru prawie za-
wsze ujawniają wariancję systematyczną odpowiedzi, związaną zarówno z pier-
wszą, jak i drugą grupą właściwości. W takim stopniu, w jakim ta niespecyficzna
wariancja metody kształtuje otrzymane wyniki, są one nietrafne" (tamże, s. 84).
Analiza macierzy WCWM ma na celu właśnie określenie względnego udziału w
wariancji całkowitej wyniku testowego jej głównych części składowych — wa-
530
I
riancji wspólnej analizowanych zmiennych (konstruktów teoretycznych) oraz wa-
riancji wspólnej (i kowariancji) metod ujętych w macierzy WCWM. W sposób
najbardziej systematyczny nowe ujęcia analizy macierzy WCWM, wolne od pewnej
arbitralności (metoda C-F opierała się wyłącznie na ocenie porównawczej układów
korelacji, co w przypadku większych macierzy musiało prowadzić do uproszczeń
i błędnych rozstrzygnięć) w określaniu stopnia, w jakim analizowane metody wpro-
wadzają do wariancji wyniku testowego wariancję metody, po raz pierwszy przed-
stawił Alwin (1974). On też wskazał na słabe punkty metody C-F. Najbardziej
interesujące — wg Gaula (1989) — okazały się trzy nurty wykorzystania modeli
wielozmiennowych do analizy macierzy WCWM (Stanley, 1961; Alwin, 1974;
Jackson, 1969; Borach i in., 1970; Werts i in., 1970, 1978; Schmitt, Stults, 1986;
Kenny, Kashy, 1992; Drwal, 1995):
(a) zastosowanie analizy wariancji ANOVA (por. Stanley, 1961),
(b) zastosowanie analizy czynnikowej (zwłaszcza w jej odmianie konfirmacyj-
nej CFA — por. Rezmowic, Rezmowic, 1981; Marsh, Hocevar, 1983; Cole, 1987;
Marsh, 1990; Kenny, Kashy, 1992),
(c) zastosowanie analizy równań strukturalnych; ta grupa modeli obejmuje
(Gaul, 1989, s. 436): analizę ścieżek, analizę kauzalną, systemy równań jednoczes
nych, liniowe schematy przyczynowe oraz analizę zależności (por. Kalleberg, Klue-
gel, 1975; Schwarzer, 1983; zwłaszcza polecam pracę Gaula, 1989 — zawiera ona
pełną interpretację macierzy WCWM, o wymiarach 3x3, w modelu analizy ście
żek; por. ryc. 2., s. 439 przedstawiającą diagram ścieżek dla trzech cech mierzo
nych za pomocą trzech metod).
W moim przekonaniu najbardziej owocną analizę macierzy WCWM można
przeprowadzić bądź za pomocą analizy równań strukturalnych z odwołaniem się
do specjalistycznego oprogramowania — najlepiej do programu LISREL 7 i 8 (por.
Jóreskog, Sórbom, 1989, 1995) lub EQS (por. Bentler, 1985 — co najlepiej w
polskiej literaturze przedmiotu przedstawił Gaul, 1989; ostatnia wersja z 1995 roku
to EQS 5), bądź za pomocą konfirmacyjnej analizy czynnikowej CFA (por. na
temat CFA: Zakrzewska, 1994 — z odwołaniem się do programu LISREL 7).
Starsze odmiany analizy czynnikowej (np. podejście zaproponowane przez
Jacksona, multimethod factor analysis MFA, 1969, a także późniejsza wersja, re-
visedM?A.: Jackson, 1975; por. dla ich krytycznej analizy: Drwal, 1995, s. 31-32)
czy wykorzystanie analizy wariancji (np. wg Stanley a, 1961 czy Borucha i in.
1970) nie są już spotykane w literaturze przedmiotu.
W Polsce ta metoda całościowego badania trafności testu była dotychczas zbyt
mało spopularyzowana (chociaż pierwsze informacje na ten temat pojawiły się już
wcześniej — por. Choynowski, 1968 s. 273-276; Brzeziński, 1978a, s. 193-196,
Magnusson, 1991, s. 199-204). Być może swoistą przeszkodę stanowił fakt, że
„profesjonalne" posłużenie się tą metodą wymaga znajomości złożonych modeli
statystycznych oraz odwołania się do pomocy komputera. Przed laty była to rze-
czywista przeszkoda dla polskiego psychologa. Jednakże dziś, przy dość powszech-
nym dostępie i do dobrych komputerów, i do bogatego oprogramowania, przestało
być problemem poprawne zanalizowanie macierzy WCWM. Dlatego też, przy braku
34- 531
wspomnianych technicznych ograniczeń, warto tę metodę popularyzować, gdyż jest
to najlepszy sposób badania trafności testu — zwłaszcza trafności teoretycznej (w
sensie: Cronbach i Meehl, 1955; też: Angoff, 1988).
5. Badanie trafności z wykorzystaniem modelu
analizy czynnikowej (tzw. trafność czynnikowa)
Spopularyzowanie pakietów statystycznych w rodzaju SPSS PC+, CSS STATISTICA
czy LISREL 7 i 8 (por. Jóreskog, Sorbom, 1989, 1995) zwiększyło zainteresowanie
psychologów zastosowaniami modelu analizy czynnikowej (FA — od ang. factor ana-
lysis) w psychometrii, do badania tzw. trafności czynnikowej. Analiza czynnikowa
bywa jednak stosowana niezgodnie z jej założeniami i z charakterem danych empiry-
cznych uzyskiwanych za pomocą różnorakich testów psychologicznych. FA może być
stosowana w jednej z dwóch odmian:
(1) eksploracyjnej EFA,
(2) konfirmacyjnej CFA.
Psycholog, który decyduje się na zastosowanie modelu FA postępuje tak, aby
zastąpić dotychczasowy opis badanej rzeczywistości przeprowadzony za pomocą
wielu (kilkunastu, kilkudziesięciu czy nawet kilkuset) „wyjściowych" zmiennych
(mniej lub bardziej złożonych — np. mogą to być albo pojedyncze słowa, albo
pojedyncze testy ułożone w jakąś baterię diagnostyczną czy skalę, jak WAIS-R).
Redukując „wyjściowy" zbiór zmiennych do znacznie mniejszej liczby „nowych"
zmiennych (czynników) badacz postępuje ekonomicznie, ale też dowiaduje się czy
ów „wyjściowy" układ zmiennych był homogeniczny (i w jakim stopniu), czy też
stosunkowo łatwo dał się rozbić na pewną liczbę dobrze wyodrębnionych „no-
wych" zmiennych. Tak np. postąpiło wielu badaczy prowadzących badania nad
rzeczywistą strukturą Skali Inteligencji W-B I/II, WAIS czy WAIS-R (Leckliter i in.,
1986), wyodrębniając najczęściej trzy czynniki łącznie grupujące 11 testów. Jeżeli
konstruujemy nowe narzędzie, to też chcemy dowiedzieć się czy owe kilkadziesiąt
czy kilkaset pozycji tworzących wstępną wersję narzędzia mierzy jeden konstrukt
teoretyczny X (jednolity, homogeniczny) czy też da się go podzielić na kilka, a
może nawet kilkanaście jednolitych podzbiorów, z których każdy dotyczy innego
konstruktu. Takie, jak wyżej opisane, wykorzystanie modelu FA (odmiana eksplo-
racyjna, EFA) znane jest od początku jej stosowania. Poddawane też było krytyce
za arbitralność podejmowanych przez niego decyzji, które w znaczącym stopniu
zależą od poczynionych przez badacza założeń wyjściowych (pisała na ten temat
przed laty Nowakowska, 1975, a całkiem niedawno bardzo pogłębioną analizę FA
przeprowadziła Zakrzewska, 1994 — por. rozdz. 4. Decyzje arbitralne w analizie
czynnikowej, s. 52-77).
Podstawowe decyzje, które musi podjąć badacz związane są z: (1) selekcją
zmiennych; pomocne wskazówki na temat liczby zmiennych, ich pomiaru, współ-
532
czynników korelacji wykorzystanych w budowie macierzy korelacji ważne z punktu
widzenia poprawnego użycia FA podaje Zakrzewska (tamże, s. 52-56); (2) dobo-
rem osób badanych; liczba osób badanych powinna dwu-trzykrotnie przewyższać
liczbę poddanych analizie zmiennych, a jej minimalna wielkość nie powinna być,
wg różnych szacunków, mniejsza niż 100-200; (3) wyborem metody szacowania
zasobu zmienności wspólnej, czyli tej części wariancji całkowitej danej zmiennej,
która jest wspólna z pozostałymi zmiennymi badanymi przez psychologa; zasób
zmienności wspólnej, to po prostu suma kwadratów ładunków czynnikowych danej
zmiennej (z wymienionych przez Zakrzewska sześciu metod osobiście polecam
metodę obliczania kwadratu korelacji wielokrotnej danej zmiennej z pozostałymi
zmiennymi ujętymi w macierzy korelacji); (4) liczbą czynników, które badacz za-
mierza ująć w strukturze czynnikowej badanego fenomenu (także i tu mamy do
wyboru wiele różniących się metod; trzeba być naprawdę dobrym specjalistą, aby
dokonany wybór był trafny — niestety pakiety statystyczne tego nie uczą, a zresztą
nie są one adresowane do nieprofesjonalistów!); (5) wyborem kryterium rotacji
czynników; nie wchodząc w szczegóły tego bardzo złożonego problemu powiem
tylko tyle, że badacz musi wybierać między rotacją ortogonalną, a rotacją ukośną,
czyli między strukturą obejmującą czynniki ze sobą nieskorelowane (wzajemnie
niezależne), a strukturą złożoną z czynników, które mogą (ale nie muszą!) być w
jakimś stopniu skorelowane (wzajemnie zależne).
Stosunkowo dużo nieporozumienia narosło wokół tego ostatniego problemu.
Zacznijmy od pytania podstawowego: jaka jest rzeczywistość, którą ma modelowo
odwzorować stworzona przez badacza jej struktura czynnikowa? Czy jest ona, jak
chciał Guilford, dobrze interpretowana przez układ wzajemnie niezależnych czyn-
ników teoretycznych — wówczas należy stosować rotację ortogonalną (także pro-
stszą pod względem obliczeniowym i łatwiejszą do interpretacji) — czy też lepiej
oddaje ją układ czynników w jakimś stopniu skorelowanych (to pogląd Cattella),
jako że i opisywana, i interpretowana rzeczywistość jest też „skorelowana". Prze-
waga rotacji ukośnej nad ortogonalną przejawia się i w tym, że o ile ta druga
niejako z góry przesądza, że czynniki nie będą ze sobą skorelowane, to rotacja
ukośna z góry nie zakłada występowania korelacji między czynnikami (jej rezulta-
tem może być struktura ortogonalna). I jeszcze jeden, bardziej techniczny problem,
wielu dostępnych programów komputerowych największą sławę zdobył program ,y
na technice rotacji ortogonalnej VARIMAX (do prostej struktury), opraco-!J w
1958 roku przez Kaisera (1958). Mimo późniejszych rozwinięć technik
liczeniowych związanych z modelem FA, kryterium VARIMAX jest często sto-
wane jako jedyne, niestety, znane badaczowi kryterium. Drugą techniką rotacji
prostej struktury jest QUARTIMAX. Nie dają one identycznych rezultatów, sza
minimalizuje liczbę zmiennych, które cechują się wysokimi ładunkami
:ynnikowymi. Druga z kolei minimalizuje liczbę czynników niezbędnych do wy-
mienia zmienności jakiejś zmiennej. Gdyby psycholog zakładał, iż w strukturze
czynnikowej powinien znaleźć się czynnik ogólny, to powinien on sięgnąć po te-
chnikę QUARTIMAX. Niestety obie techniki „kreowania" struktury czynnikowej
stawiają badacza przed faktami dokonanymi, bez możliwości zweryfikowania tego,
533
czy adekwatna jest struktura z czynnikiem ogólnym, czy bez niego. Jeżeli z wiedzy
badacza nie wynika w sposób oczywisty, że owa struktura jest taka, a nie inna, to
powinien on raczej zrezygnować z tego rozwiązania i sięgnąć po jedną z technik
rotacji ukośnej, albo posłużyć się modelem CFA (wg komputerowego rozwiązania
ujętego w pakiecie LISREL 7 czy LISREL 8 — najlepszy w polskiej literaturze
psychologicznej opis CFA znajdzie Czytelnik u Zakrzewskiej, 1994).
Zdaniem Zakrzewskiej (tamże, s. 75) najlepszymi technikami rotacji ukośnej
są: PROMAX oraz OBLIMIN. W każdym razie zawsze „bezpieczniej" jest posłu-
żyć się techniką rotacji ukośnej (np. OBLIMIN), aniżeli techniką rotacji ortogonal-
nej (np. VARIMAX). Zarówno technika VARIMAX, jak i technika OBLIMIN
dostępne są w pakiecie SPSS PC+. Z kolei inny popularny pakiet CSS STATISTI-
CA oferuje jedynie kilka technik rotacji ortogonalnej (w tym VARIMAX i QUAR-
TIMAX). Jak Czytelnik zdołał już się przekonać, nie jest obojętne jaką posłuży się
techniką rotacji w celu uzyskania struktury czynnikowej zgodnej z przyjętymi przez
niego założeniami teoretycznymi.
6. Podsumowanie
.
Problematyka ustalania trafności testu psychologicznego jest tak samo ważna, jak
problematyka ustalania jego rzetelności. Mimo tego, znacznie więcej opracowań
poświęcono precyzji pomiaru (rzetelność), aniżeli jego adekwatności (trafność).
Zwykło się zaglądać w metryczkę testu głównie po to, aby dowiedzieć się jaka jest
wysokość jego współczynnika rzetelności oraz wielkość jakiegoś błędu stan-
dardowego. Nie można jednak tak jednostronnego „faworyzowania" jednego kry-
terium psychometrycznej dobroci testu akceptować.
Stosownie do większego zainteresowania problematyką rzetelności w literatu-
rze zagranicznej, także i w polskiej literaturze psychometrycznej znacznie bardziej
rozbudowana jest problematyka rzetelnościowa. Do jakich zatem pozycji polskoję-
zycznych mógłbym odesłać Czytelnika? Sądzę, że warto zarekomendować kilka
opracowań. I tak, dobre wprowadzenie w problematykę trafności (głównie treścio-
wej, wewnętrznej — co ma kapitalne znaczenie dla pedagogów konstruujących
testy wiadomości i osiągnięć szkolnych) daje praca: Niemierko B. Testy osiągnięć
szkolnych. Podstawowe pojęcia i techniki obliczeniowe (rozdz. IV. Trafność testu, s.
169-219).
Uwypuklenie problematyki klasyfikacji i selekcji osób w kontekście trafności
zawiera praca: Magnusson D. Wprowadzenie do teorii testów (cz. III. Zagadnienia
trafności — rozdz. 10. Trafność, rozdz. 11. Rzetelność przewidywania, rozdz. 12.
Prognoza indywidualna. Klasyfikacja i selekcja — s. 181-263).
Ponadto Czytelnik może sięgnąć do następujących opracowań: Guilford J.P.
Podstawowe metody statystyczne w psychologii i pedagogice (rozdz. XVIII: Traf-
ność pomiarów, s. 466-490); Jakubowski J.S. Elementy klasycznej teorii trafności
534
testów psychologicznych; Bechtoldt H.P. Teoretyczne podstawy metod testowych:
trafność i prognoza.
Nade wszystko jednak, Czytelnik powinien zaznajomić się ze standardami
wyznaczonymi dla testów psychologicznych, w zakresie ich trafności, przez „biblię
psychometryczną", tj. American Psychological Association, APA Standardy dla
testów stosowanych w psychologii i pedagogice (E. Trafność, s. 33-58).
Rozdział 18. Standaryzacja — obiektywność —
normalizacja
1. Wprowadzenie
W celu ujednolicenia postępowania badawczego osobom badanym podaje się in-
strukcję, z którą muszą się one zapoznać zanim przystąpią do rozwiązywania testu
psychologicznego. W instrukcji powinno znaleźć się wyjaśnienie dotyczące sposo-
bu udzielania odpowiedzi na poszczególne pozycje testu. Powinno z niej jasno
wynikać, czy na wszystkie pozycje należy odpowiadać kolejno, czy też kolejność
nie jest obowiązkowa. Jeżeli osoba badana ma udzielać odpowiedzi na specjalnym
arkuszu, musi ona umieć się nim posługiwać.
Test psychologiczny zakłada też ujednolicony, niezależny od kompetencji oso-
by przeprowadzającej badanie, sposób oceniania odpowiedzi osoby badanej.
Kolejnym kryterium, które musi uwzględnić badacz konstruujący test jest jego
normalizacja. Normalizację testu przeprowadzamy na reprezentatywnej dla danej
populacji próbie (w tej sprawie por. rozdz. 9.). Po przebadaniu całej próby danym
narzędziem przeliczamy otrzymany zbiór wyników surowych na wyniki jednej ze
skal standardowych. Ta procedura ma na celu zorientowanie psychologa posługują-
cego się znormalizowanym testem co do miejsca badanej osoby w grupie, dla której
obliczono tzw. normy.
W najprostszym przypadku normalizacja testu będzie polegała nie na transfor-
macji wyników surowych na wyniki skal standardowych, lecz na obliczeniu śred-
nich i odchyleń standardowych dla różnych grup. Mogą to być grupy kliniczne,
zawodowe, wiekowe, terytorialne itd. Dla psychologa klinicznego bardzo przydatny
będzie zestaw norm dla różnych grup klinicznych. Porównanie wyników uzyska-
nych przez pacjenta z charakterystycznymi średnimi wynikami różnych grup klini-
cznych ułatwi przyporządkowanie go do jednej z nich.
536
2. Standaryzacja i obiektywność testu
Pierwsza właściwość dobrego testu psychologicznego wiąże się z jego wystandary-
zowaniem. Przy czym przez standaryzację rozumie się, najczęściej, ujednolicony
sposób posługiwania się testem. Ma on zminimalizować zależność wyników testu
od wpływów czynników ubocznych, takich jak:
(a) zachowanie się osoby przeprowadzającej badanie,
(b) warunki, w których to badanie jest przeprowadzane.
Rzadziej spotyka się szersze rozumienie standaryzacji testu, jako ogółu czyn-
ności związanych z jego opracowaniem (por. Kostrzewski, 1970, s. 11). W tym
rozdziale przyjęto pierwsze, węższe rozumienie tego pojęcia.
Zatem, dobrze wystandaryzowany test posiada:
(1) instrukcję, którą podajemy w dosłownym brzmieniu, w sposób ściśle okre
ślony przez autora testu,
(2) klucz czyli określone zasady, wg których ocenia się odpowiedzi na poszcze
gólne pozycje testu i interpretuje się wyniki; najczęściej zamieszcza się go w tzw.
podręczniku testowym dołączonym przez konstruktora testu do właściwego testu.
Ze standaryzacją wiąże się drugie kryterium — obiektywność. Test jest obie-
ktywny, jeżeli dwie różne osoby opracowujące jego wyniki dochodzą do tego sa-
mego rezultatu. Dlatego też należy podawać jednoznacznie brzmiące reguły prze-
liczania wyników surowych na wyniki określonej skali standardowej, w której wy-
rażone są normy dla danego testu.
Test zaopatrzony w jasną instrukcję, odpowiednio sporządzony arkusz odpo-
wiedzi i należycie opracowany klucz, wg którego ocenia się odpowiedzi, to warun-
ki spełnienia kryterium standaryzacji i obiektywności.
A oto przykład instrukcji dla osoby badanej (Kwestionariusz Kontroli Emo-
cjonalnej — J. Brzezińskiego):
Instrukcja. Za chwilę zostaną odczytane różne stwierdzenia dotyczące Pani (Pana)
zachowania się. Cechuje je różny stopień ogólności. Jedne z nich dotyczą zachowania się
w różnych specyficznych sytuacjach, np. podczas egzaminu, inne opisują bardziej ogólnie
zachowanie się człowieka.
Oczywiście, nie u każdego człowieka określone zachowanie opisywane przez dane
stwierdzenie występuje z równą częstotliwością. Dlatego więc przy każdym stwierdzeniu
należy skreślić tylko jedną z czterech podanych możliwości — mówiących o częstości
występowania tego zachowania. Tak więc ma Pani (Pan) do wyboru następujące
możliwości odpowiedzi:
— zawsze
— często
— rzadko
— nigdy
Proszę skreślić tę, która Pani (Pana) zdaniem najlepiej charakteryzuje dane
stwierdzenie odnośnie do Pani (Pana) zachowania się.
Proszę odpowiadać kolejno na każde stwierdzenie i żadnego nie opuszczać.
537
1 Tyle o instrukcji, zajmiemy się teraz arkuszem odpowiedzi i kluczem,
odpowiedzi powinien zawierać ponumerowane wiersze, w liczbie odpowiadają
liczbie pozycji w teście. Kolejnej pozycji w teście musi odpowiadać kolejny wier
na arkuszu odpowiedzi. W każdym wierszu piszemy wszystkie możliwe odpowie-^
dzi, z których badany ma wybrać tę, z którą się zgadza.
Większość testów ma dwukategorialny system odpowiedzi: „tak", „nie"; „zga- \
dzam się", „nie zgadzam się". Niekiedy dochodzi jeszcze trzecia kategoria: „nie
wiem"; „?".
Nawiasem mówiąc kategoria „nie wiem" stwarza wiele problemów natury,
interpretacyjnej. Bo, co tak naprawdę oznacza to, że osoba badana na pytanie kwe-1
stionariusza osobowości czy skali postaw odpowiada „nie wiem"? Czytelnika za-
chęcam do zapoznania się z gruntowną analizą tej kategorii odpowiedzi, którą prze-
prowadził Sułek (1993).
W testach uzdolnień np. prosi się osobę badaną o udzielenie lub o wskazanie
prawidłowej odpowiedzi (jako jednej z kilku do wyboru — w testach wielokrotne-
go wyboru), która jest ściśle przez autora testu określona; prawidłową odpowiedź
ocenia się 1 pkt., a nieprawidłową — 0 pkt. Taki system dwukategorialny jest
bardzo wygodny, ale — w przypadku testów osobowości, np. kwestionariuszy —
większą rzetelność zapewnia wielokategorialny system odpowiadania (por. Guil-
ford, 1954, s. 289-291). Optymalna liczba kategorii odpowiedzi zawarta jest w
granicach 3-7. Badania przeprowadzone przez Komoritę i Grahama (1965) poka-
zały, iż należy zwiększać liczbę kategorii odpowiedzi w krótkich kwestionariuszach
osobowości oraz wtedy, gdy interesuje nas kierunek i intensywność odpowiedzi.
Ponadto wprowadzenie większej liczby kategorii odpowiedzi w pewnym stopniu
eliminuje występującą u badanych tendencję do zgadzania się, która zniekształca
wynik kwestionariusza. Przez odpowiednie rozłożenie kategorii odpowiedzi w po-
szczególnych wierszach arkusza odpowiedzi można stworzyć bardzo prosty w uży-
ciu schemat obliczania wyników ogólnych testu.
Na koniec jeszcze jedna uwaga natury technicznej. Przy formułowaniu pozycji
1 postępujemy tak, aby około połowa z nich była oceniana inaczej niż druga połowa.
Przykładowo, w systemie odpowiedzi dwukategorialnych odpowiedzi „tak" raz
przypisujemy 1 pkt., a raz 0. Można to osiągnąć przez sformułowanie pozycji w
postaci przeczącej lub przez opis zachowania świadczącego o braku danej cechy.
Utrudnia to w pewnym stopniu odruchowe podkreślanie kategorii tylko w jednej
kolumnie, a tym samym zmusza badanych do sumiennego wypełniania arkusza
odpowiedzi (pisała o tym Marody, 1974).
.
538
3. Skale standardowe oparte na modelu
rozkładu normalnego
3.1. Skala tenowa (T)
Jedną z najbardziej rozpowszechnionych skal standardowych jest skala tenowa {T)
opracowana przez McCalla, a spopularyzowana przede wszystkim przez kwestio-
nariusz MMPI, którego normy opracowane zostały zgodnie z założeniami tej skali.
Jej parametry są następujące: średnia = 50, odchylenie standardowe = 10. Jest to
skala 100-punktowa, odpowiadająca zakresowo rozkładowi normalnemu wyników
mieszczącemu się w granicach od -5 odchyleń standardowych do +5 odchyleń
standardowych. Ma ona największy zakres ze znanych skal standardowych. Przy-
pomnijmy, że w granicach ±3 odchylenia standardowego mieści się około 99,74%
powierzchni pod krzywą normalną. Jedna jednostka (ten) skali tenowej odpowiada
0,1 odchylenia standardowego. Zdaniem Guilforda (1964, s. 504) jest to niekiedy
zbyteczna dokładność, zwłaszcza, gdy odchylenie standardowe rozkładu surowych
wyników jest o wiele mniejsze niż 10. Także wtedy, gdy błąd standardowy danego
narzędzia jest tak duży, że najmniejsza rzeczywista różnica, którą można zaobser-
wować wynosi 0,5 odchylenia standardowego. W takiej sytuacji wystarczającą do-
kładność zapewnia skala stenowa, albo zaproponowana przez Guilforda (tamże,
s. 504-507) 11-punktowa skala C.
Tabela 18.1. podaje procent powierzchni pod krzywą normalną przypadający
na każde 10 jednostek skali T (por. też — rys. 18.1).
I
Tabela 18.1. Procent powierzchni pod krzywą
normalną dla skali T
T
0-20
20-30
30-40
40-50
50-60
60-70
70-80
80-100
%
0,13
2,14
13,59
34,13
34,13
13,59
2,14
0,13
Gdy rozkład wyników surowych jest normalny, skala T odpowiada skali Z,
wyrażającej się formułą:
Z=10z + 50, (18.1)
gdzie: z — wynik standaryzowany odpowiadający danemu wynikowi surowemu,
z = [X - X] : s,
gdzie: X — wynik surowy; X — średnia wyników surowych w próbie normali-
zacyjnej; ^ — odchylenie standardowe wyników surowych w próbie normaliza-
cyjnej.
Jednak wyniki Z pochodzące z dwóch lub więcej rozkładów wyników mogą
być ze sobą porównywane tylko wtedy, gdy rozkłady te tylko nieznacznie różnią
się kształtem od „dzwonowatego" kształtu rozkładu normalnego (o czym decyduje
539
wielko
ść
odchyl
enia
standar
doweg
o —
platyku
rtyczno
ść lub
leptoku
rtyczno
ść roz-
kładu
— oraz
jego
symetr
ycznoś
ć —
prawos
kośnoś
ć lub
lewosk
ośność)
.
Przelic
zenie
wynikó
w
surowy
ch na
wyniki
skali T
—
wedle
niżej
opisane
j
proced
ury —
normal
izuje
rozkład
wynikó
w i
umożli
wia
przepr
owadz
enie
takich
porów
nań.
Ja
ko
przykła
dem
posłuż
ymy
się
Skalą
Kontro
li
Ekspre
sji,
Kwesti
onarius
za
Kontrol
i
Emocj
onalnej
Brzeziń
skiego,
KKE,
którą
przeba
dano
200
osób.
Wyniki
zawier
a tab.
18.2.
Tabela
18.2.
Normy
tenowe
dla Skali
Kontroli
Ekspresji
KKE (n =
200)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
w
f
cf
cf poniżej danego wiersza + 0,5/
7
T
J
dla danego wiersza
V
27
1
200
199,5
0,9975
2,81
78
26
3
199
197,5
0,9875
2,24
72
25
3
196
194,5
0,9725
1,92
69
24
4
193
191
0,9520
1,66
67
23
5
189
186,5
0,9325
1,49
65
22
12
184
178
0,8900
1,23
62
21
17
172
163,5
0,8175
0,91
59
20
19
155
145,5
0,7275
0,61
56
19
16
136
128
0,6400
0,36
54
18
18
120
111
0,5520
0,13
51
17
15
102
94,5
0,4725
-0,07
50
16
24
87
75
0,3750
-0,32
47
15
12
63
57
0,2850
-0,60
44
14
16
51
43
0,2150
-0,79
42
13
9
35
30,5
0,1525
-1,03
40
12
10
26
21
0,1050
-1,25
38
11
7
16
12,5
0,0625
-1,53
35
10
5
9
6,5
0,0325
32 i
9
2
4
3
0,0150
-2,17
28
8
0
2
2
0,0100
-2,33
27
7
1
2
1,5
0,0075
-2,43
26
6
0
1
1
0,0050
-2,57
24
5
0
1
1
0,0050
-2,57
24
4
1
1
0,5
0,0025
-2,81
22
W
kolumn
ie 1.
tabeli
przelicz
eniowej
zamiesz
czamy
albo
uporząd
kowane
wyniki
surowe,
albo
środki
przedzi
ałów
wynikó
w
pogrupo
wanych
w klasy.
W
naszym
przypad
ku są to
uporząd
kowane
wyniki
surowe.
Kolumn
a 2.
zawiera
liczebn
ości
wynikó
w
surowy
ch, a
kolumn
a 3.
liczebn
ości
skumul
owane.
W
kolumn
ie 4. dla
każdeg
o
wiersza
oblicza
my
następu
jącą
wartość
:
skumul
owana
liczebn
ość
poniżej
danego
wyniku
(lub
środka
przedzi
ału
klasowe
go) plus
połowa
liczebn
ości dla
danego
wyniku
(środka
przedzi
ału). W
kolumn
ie 5.
mamy
proporc
ję (p)
poszcze
gól-
540
nych wartości kolumny 4. W kolumnie 6. wpisujemy wartości z odpowiadające
wartościom: (cf- l/N) z kolumny 4. Znajdujemy je w tablicach zawierających war-
tości dystrybuanty rozkładu normalnego. Podaje je, z wymaganą dokładnością do
0,01, Greń (1987, s. 505-508, Tablica 3.; u Grenia symbol z zastąpiony został
symbolem u; też przedruk tych tablic w Dodatku — tablica 2.). W ostatniej ko-
lumnie, 7. wpisujemy wyniki T obliczone wg formuły: T- 10z + 50.
Wyniki kwestionariuszy osobowości takich jak: MMPI, WISKAD, CPI, ACL
przekraczające 707" traktuje się jako istotnie wyższe i przekraczające granice normy
(Wallen, 1964, s. 290; Płużek, 1971, s. 161). Zdaniem Płużek (tamże, s. 12) idealny
profil osobowości powinien być płaski i zawierać się między 50 a 707. Czy jednak
nie jest to ten sam „mit płaskiego profilu", który opisał Kaufman w odniesieniu
do profilu psychometrycznego Skal Inteligencji dla Dzieci Wechslera (por. rozdz.
19., pkt. 2.3). Wyniki poniżej 30J traktuje się jako istotnie zaniżone. Taką inter-
pretację wyników skali tenowej przyjęto także w przypadku norm dla KKE Brze-
zińskiego.
3.2. Skala stenowa
I
i
Zapozna
jmy się
teraz ze
sposobe
m
przekszt
ałcenia
zbioru
wynikó
w
surowyc
h testu
na
wyniki
skali
stenowe
j. Skalę
stenową
(od ang.
standar
d ten —
standard
owa
dziesiąt
ka)
cechują
następuj
ące
paramet
ry:
średnia
= 5,5,
odchyle
nie
standar
dowe -=
2,0.
Składa
się ona
z 10
jednoste
k —
stenów.
Jedna
jednost
ka
równa
się 0,5
odchyle
nia
standard
owego.
Każdej
jednostc
e skali
odpowia
da
pewien
procent
po-
wierzc
hni pod
krzywą
normal
ną
rozkład
u
wynikó
w, tak
jak to
przedst
awia
tab. 18.3.
Tabela 18.3. Powierzchnie pod krzywą normalną odpowiadające
poszczególnym stenom (Choynowski, 1966, s. 133)
(1)
(2)
(3)
Steń
Wyniki standaryzowane z
Procent powierzchni pod
krzywą normalną (w
przybliżeniu)
10
+2,00 do +°°
2
9
+ 1,50 do +1,99
5
8
+ 1,00 do +1,49
9
7
+0,50 do +0,99
15
6
+0,00 do +0,49
19
5
-0,50 do -0,01
19
4
-1,00 do -51
15
3
-1,50 do -1,01
9
2
-2,00 do -1,51
5
1
-°° do -2,01
2
541
Wyniki z przedziału: 5-6 sten traktuje się jako przeciętne, wyniki z przedzia-
łu: 7-10 sten uważa się za wysokie, a wyniki z przedziału: 1-4 sten za niskie.
Omówienie podstaw teoretycznych skali stenowej znajdzie Czytelnik u Canfielda
(1951).
Tabela 18.4. Normy stenowe dla Kwestionariusza Poczucia Winy (KPW) — dla
mężczyzn, n = 200 (wg Kofty, Brzezińskiego i Ignaczaka, 1977, s. 107)
(1)
(2)
(3)
(4)
(5)
Wyniki
f
cf
cf- l/n
Sten
42
1
200
1,000
10
41
1
199
0,995
10
40
5
198
0,990
10
39
3
193
0,965
9
38
0
190
0,950
9
37
1
190
0,950
9
36
6
189
0,945
9
35
9
183
0,915
8
34
6
174
0,870
8
33
7
168
0,840
7
32
7
161
0,805
7
31
4
154
0,770
7
30
9
150
0,750
7
29
7
141
0,705
7
27
9
130
0,650
6
26
Q
121
0,605
25
5
113
0,565
6
24
8
108
0,540
6
23
7
100
0,500
5
22
11
93
0,465
5
21
6
82
0,410
5
20
7
76
0,380
5
19
4
69
0,345
5
18
11
65
0.325
5
17
5
54
0,270
4
16
5
49
0,245
4
15
7
44
0,220
4
14
3
37
0,185
4
13
6
34
0,170
4
12
7
28
0,140
3
11
0
21
0,105
3
10
5
21
0,105
3
9
2
16
0,080
3
8
2
14
0,070
3
7
4
12
0,060
2
6
1
8
0,040
2
5
3
7
0,035
2
4
2
4
0,020
1
3
2
2
0,010
1
2
0
0
0,000
1
1
0
0
0,000
1
0
0
0
0,000
1
Razem:
200
542
Sposób przejścia od wyników surowych do stenów przedstawia tab. 18.4., w
której zawarte są wyniki surowe uzyskane przez grupę n = 200 mężczyzn w kwe-
stionariuszu KPW (Kwestionariusz Poczucia Winy; por. Kofta, Brzeziński, Igna-
czak, 1977). Tabela 18.4. zawiera uporządkowane wyniki surowe w kolumnie 1.,
ale można także zamieścić tu wyniki pogrupowane w klasy, których liczba nie
powinna być mniejsza niż 12 (najlepiej: 15-20). W kolumnie 2. wpisujemy liczeb-
ności wyników, a w kolumnie 3. — skumulowane liczebności. Skumulowane li-
czebności przemnażamy w poszczególnych wierszach tabeli przez wyrażenie: l/n i
zamieszczamy w kolumnie 4. W kolumnie 5. wpisujemy steny odpowiadające wy-
nikom surowym na podstawie wielkości wyrażenia (cf- l/n). Zakresy wielkości
tego wyrażenia dla poszczególnych stenów zawiera tabela 18.5. Procedurę przeli-
czania wyników surowych na wyniki skali stenowej przytoczyłem za Dobruszkiem
(1971, s. 92-94).
Tabela 18.5. Tabela zakresu wartości wyrażenia: cf- l/n dla poszczególnych stenów
(Dobruszek, 1971, s. 94)
(1)
(2)
(3)
(4)
Steń
Zakres wartości
wyrażenia: cf- l/n
Steń
Zakres wartości
wyrażenia: cf- lin
10
0,978-1,000
5
0,309 - 0,500
9
0,934-0,977
4
0,160-0,308
8
0,842-0,933
3
0,068-0,159
7
0,693-0,841
2
0,024 - 0,067
6
0,501-0,692
1
0,000 - 0,023
4. Porównanie skal standardowych
Porównajmy teraz najbardziej rozpowszechnione skale standardowe oparte na mo-
delu rozkładu normalnego — z odniesieniem do tegoż modelu. Takie zestawienie
tych skal zostało ujęte na rys. 18.1.
Poza omówionymi wyżej skalami — tenową i stenową — przedstawione zostały
także dwie skale standardowe, które wykorzystał Wechsler w całej rodzinie Skal
Inteligencji — W-B Uli, WA1S, WAIS-R, WISC, WISC-R, WPPSl, WPPSl-R (por.
Brzeziński, 1993a). Te skale to: (a) skala wyników przeliczonych WP o parame-
trach: średnia=\0 i odchylenie standardowe^^ (rozpiętość: 1-19 pkt.), (b) skala
ilorazów inteligencji IQ o parametrach: średnia=100 i odchylenie standardowe=15
(rozpiętość: 45-150).
Bezpośrednio pod rysunkiem krzywej normalnej podane zostały „skumulowa-
ne procenty". Jak korzystać z tej informacji? Jeżeli, przykładowo weźmiemy pod
uwagę wartość 97,7%, to informuje ona badacza o tym, iż 97,7% populacji ma
wyniki równe i niższe od wyniku uzyskanego przez osobę badaną (która uzyskała
wynik w teście odpowiadający, jak pokazuje to rys. 18.1, 70 jednostkom w skali
54 j
\
\
f
B
/
\
-
'iv.
/
\
~ -
2,14%/(3,59
%
34,13%
34,13%
13,59%
S.
.2,
14% 0,13%
I
K\
tii
padków
-4P>
r -
Rys. 19.1 Profil psychometryczny wraz z zaznaczonymi przedziałami ufności
Testy wchodzące w skład WAIS-R różnią się między sobą pod względem wartości
współczynników rzetelności (r„) i błędów standardowych pomiaru (SEMT). Dlatego też
wyniki otrzymane przez osobę badaną w poszczególnych testach WAIS-R informują
nas, z różną dokładnością, o prawdopodobnej wartości wyniku prawdziwego.
Jedną z powszechnie stosowanych metod oszacowania, na podstawie znajomości
wyniku otrzymanego T, przez osobę badaną w teście, nieznanej wartości wyniku praw-
dziwego (Ts,) jest metoda przedziału ufności (por. Lord, Novick, 1968).
Przedział ufności dla wyniku prawdziwego Ts, oszacowanego na poziomie
ufności (1 -p) 100% z wyniku otrzymanego T, ma postać:
Tą € (Ti - zp/2SEMTi; r, + zp/2SEMTi >.
(19.6)
Przykład: Jan Kowalski (wiek: 25 lat) w teście „Słownik" WAIS-R otrzymał nastę-
pujący wynik przeliczony: T= 10. Parametry psychometryczne testu „Słownik" są
następujące: r„ = 0,96; SEMT=0,61 (por. Wechsler, 1981, s. 30, 33). Przyjmijmy:
p = 0,15. Zatem możemy zbudować 85% przedział ufności dla Ts testu „Słownik":
552
Tse (10-(l,44)(0,67); 10+ (1,44X0,67)),
Tse (9,04; 10,96),
w zaokrągleniu:
7>e<9; 11).
Otrzymaliśmy zatem przedział ufności o dolnej granicy 9 pkt. i górnej granicy
równej 11 pkt. Interpretacja otrzymanego rezultatu jest następująca. Otóż, z pra-
wdopodobieństwem 0,85, przedział ufności o granicach: 9 i 11 pkt. pokrywa nie-
znaną wartość wyniku prawdziwego Ts w teście „Słownik" WAIS-R. Czyli, mówiąc
jeszcze inaczej, Jan Kowalski mógł równie dobrze otrzymać w tym teście wynik
równy 9 pkt. jak i równy 11 pkt. Rzecz jasna mógł też otrzymać wynik jeszcze
bardziej skrajny — mniejszy od 9 pkt. albo większy od 11 pkt. ale prawdopodo-
bieństwo tego jest równe 0,15.
Przeprowadzając powyższą operację dla każdego testu danej baterii testów
otrzymamy m wartości górnych granic, które połączone linią dadzą tzw. profil
górnych granic (P-g) oraz otrzymamy m wartości dolnych granic, które połączone
linią dadzą tzw. profil dolnych granic (P-d). Zatem na jednym wykresie będziemy
mieli trzy profile — profil otrzymany przez osobę badaną oraz profil dolnych i
profil górnych granic przedziałów ufności (por. rys. 19.1).
Wynik każdego testu baterii musimy interpretować biorąc pod uwagę możliwą
jego dolną i górną granicę. Rys. 19.2 pokazuje profile wykreślone przy danym
poziomie istotności a =0,05.
2.3. Analiza dyspersji profilu — wskaźnik: G-D
Otrzym
ując do
interpret
acji
psychol
ogicznej
jakiś
profil
psycho
metrycz
ny
musimy
—
zanim
zacznie
my go
interpret
ować —
wpierw
odpowie
dzieć na
pytanie
o
unikato
wość
(względ
nie
typowoś
ć)
uzyskan
ego
kształtu
profilu.
Mówiąc
inaczej,
musimy
zoriento
wać się,
na ile
uzyskan
y przez
osobę
badaną
profil
jest
nietypo
wy (co
do
kształtu)
,
odbiegaj
ący od
kształtu
tzw.
profilu
normaln
ego,
typoweg
o dla
danej
populacj
i.
Jed
nym z
dość
rozpows
zechnio
nych
wskaźni
ków
rozpięto
ści
profilu
psycho
me-
tryczne
go
takich
baterii
jak:
WAIS-
R,
WISC-
R,
WPPSI
(por.
Kaufma
n,
1976b;
Rey-
nolds,
Gutkin,
1981;
Silverste
in,
1987,
1988)
jest
wielkoś
ć
różnicy
między
wynikie
m
najwyżs
zym
(górny
m — G)
i
najniższ
ym
(dolnym
— D)
profilu:
„G-D".
Przykła
d. Jan
Kowals
ki
uzyskał
następu
jącą
sekwen
cję
wynikó
w
przelicz
onych
w
WISC-R
(wersja
10-
testowa)
:
WISC-R
W
R
A
P
S
BO
PO
K
U
sc
Skal
a
Pełna (F)
10
8
7
12
8
10
9
15
11
9
Skal
a
Słowna (V)
10
8
7
12
8
10
—
—
—
—
Skal
a
Bezsłowna (P)
—
—
—
—
—
9
15
11
9
Wartości wskaźnika „G-D" dla poszczególnych skal są następujące:
F:(G-Z))=15-7 = 8, V : (G-D)= 12-7 = 5, P : (G-D)= 15-9 = 6.
553
WAIS-R
(b)
19
_
18
_
17
_
16
_
15
_
14
_
13
_
12
_
11
_ 10
9 _
8 _
7 _
6 _
5 _
4 _
3 _
2 _
1 _
BO
PO
K
u
sc
SKALA BEZSŁOWNA
(P) 6 5 5 5
7
Pf=8,0
przedział wieku: 16-17
WAIS-R
(a
19
_
18
_
17
_
16
_
15
_
14
_
13
_
12
_
11
_
?
10
9 _
8 _
7 _
O
5 _
4 _
3 _
2 _
1 _
W
PC
s
A
R
P
SKALA SŁOWNA (V) 6 8
12 10 12 12
P„=10,0
PP=5,6
a=0,05
WAIS-R
(c)
19
_
18
_
17
_
16
_
15
_
14
_
13
_
12
_
11
_
10
9 _
8
L
7 _
6 _
5 I
4
3 1
2 J
1 J
w
PC
s
A
R
P
BO
PO
K
U
SC
S
K
A
L
A
P
E
Ł
N
A
(
F
)
1
0
1
2
1
2
6
P-9
8
10
13
12
14
14
9
8
7
8
9
P-d
4
6
11
8
10
10
3
2
3
2
5
6 8 12
Rys. 19.2. Przykładowa analiza trzech profilów WAIS-R: (a) P\, (b) Ą>, (c) PF
2.4. Analiza odchyleń wyników poszczególnych testów (7",)
od średniego profil u (P) — wskaźnik Ti - P:
2.4.1. Średnia obliczona z uwzględnieniem testu Ti
Psychologiczna interpretacja odchyleń wyniku uzyskanego przez osobę badaną w
jakimś teście WAIS-R od przeciętnego wyniku wszystkich testów, tj. od średniego
profilu, musi mieć swoje statystyczne uzasadnienie. Możemy o nim mówić wów-
czas, gdy wynik danego testu w sposób statystycznie istotny (na przyjętym pozio-
mie istotności) odchyla się (in plus lub in minus) od średniej uzyskanej dla wszy-
stkich testów wchodzących w skład Skali — Słownej czy Bezsłownej.
Zacznijmy od analizy dwóch przeciętnych profilów — jednego dla Skali
Słownej (Fv) i jednego dla Skali Bezsłownej (PP) WAIS-R.
Przy ocenie statystycznej istotności różnicy: Tt-Pv, Tt-Pp czy T^-Pf korzy-
stać będziemy z metody przedziału ufności, wykorzystywanego tu w roli testu
istotności różnic. Aby daną różnicę Tt-P uznać za istotną, jej wartość bezwzględna
powinna spełnić na danym poziomie istotności p następujące kryterium:
ir,-?l>z^5?M(,,_?). (19.7)
Wartości SEMD(j-._p i SEMD(T._pp) dla poszczególnych skal inteligencji —
WAIS-R — zostały obliczone przez Brzezińskiego i Gaula (1993, tab. 13a, s. 129-
130) i tu przedrukowane w tab. 19.1.
? Przykład. Pokażemy teraz technikę obliczeń wartości
SEMD(T._p) dla oceny
istotności różnicy między wynikiem uzyskanym przez Annę Kowalską (wiek: 40
lat) w teście „Wiadomości" WAIS-R oraz przeciętnym profilem skali słownej (Pv).
Osoba badana uzyskała następujące wyniki przeliczone w sześciu testach Skali
Słownej WAIS-R:
?
Osoba badana:
14
10
13
12
13
10
SEMTmad
= 0,91,
a = 0,05
20,05/2
=
1,96,
Tw.
= 14
Pv =
12.
Korzystając ze wzorów przytoczonych w pkt. 9. i 10. zestawienia oznaczeń
obliczamy wartość SEMD (Tt - Pv):
= (0,91)2 + (1,21)2 + (1,19)2 + (1,22)2 + (1,27)2 = 7,2065,
(0'91)2 = °'8673 '
Zo,05aSEMD(Ti_pv) = (l,96)(0,8673) = 1,6999,
555
Tabela 19.1. WAIS-R. Błędy standardowe pomiaru różnicy między danym testem (T,) a średnim pro-
filem SkaJi Słownej — SEMDiT._pv), Skali Bezsłownej — SEMD(r_pp), oraz Skali Pełnej —
SEMD(Tt_pF)
(0)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
Test
Przedziały wiekowe
16-17
18-19
20-24
25-34
35^4
45-54
55-64
65-69
70-74
SEMD(T,-PV)
W
0,82
0,82
0,88
0,92
0,87
0,99
0,84
0,90
0,88
PC
1,26
1,26
0,92
0,92
1,08
1,13
1,12
1,12
1,13
S
0,61
0,61
0,70
0,70
0,68
0,70
0,68
0,64
0,71
A
1,08
1,02
1,06
1,08
1,07
1,03
0,92
0,97
1,01
R
1,05
1,04
1,17
1,11
1,09
1,05
1,08
1,00
1,06
P
1,15
1,02
1,23
1,15
1,13
1,09
1,03
1,11
1,07
SEMD(j,-pp)
BO
1,29
1,25
1,15
1,08
1,15
1,15
1,17
0,99
0,97
PO
1,32
1,33
1,34
1,30
1,26
1,20
1,26
1,17
0,97
K
1,00
0,99
0,98
0,97
0,97
1,03
0,97
0,87
0,84
U
1,62
1,36
1,38
1,45
1,29
1,23
1,26
1,19
1,20
SC
1,36
1,34
1,04
1,04
1,12
1,11
1,12
1,09
1,08
SEMD(Ti-PF)
W
0,86
0,85
0,91
0,97
0,90
1,04
0,88
0,94
0,90
PC
1,36
1,36
0,96
0,96
1,15
1,20
1,20
1,20
1,20
S
0,59
0,60
0,70
0,71
0,68
0,69
0,69
0,63
0,70
A
1,09
1,09
1,12
1,15
1,14
1,09
0,97
1,02
1,06
R
1,12
1,12
1,25
1,19
1,16
1,11
1,16
1,05
1,12
P
1,23
1,09
1,32
1,23
1,20
1,15
1,10
1,18
1,13
BO
1,35
1,31
1,21
1,12
1,21
1,22
1,24
1,04
1,01
PO
1,39
1,42
1,45
1,41
1,35
1,28
1,36
1,27
1,01
K
0,96
0,96
0,98
0,97
0,97
1,07
0,97
0,86
0,86
U
1,77
1,45
1,50
1,60
1,40
1,33
1,36
1,29
1,31
SC
1,44
1,43
1,06
1,06
1,18
1,17
1,17
1,16
1,16
Źródło: Brzeziński, Gaul (1993, tab. 13a, s. 129-130).
Pomocnicze wartości: SEMT, oraz EVT, zawiera tab. 19.2.
Tabela 19.2. WAIS-R. Błędy standardowe pomiaru dla testów (a — 5?A/r.) i wariancje błędu pomiaru
testów (b —
(0)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
Testy
Przedziały wiekowe
16-17
18-19
20-24
25-34
35^4
45-54
55-64
65-69
70-74
W
a
0,84
0,85
0,85
0,99
0,91
1,08
0,89
0,97
0,93
b
0,71
0,72
0,72
0,98
0,83
1,17
0,79
0,94
0,86
PC
a
1,44
(1,44)
(0,44)
0,98
1,21
1,27
(1,27)
(1,27)
(1,27)
b
2,07
(2,07)
(0,07)
0,96
1,46
1,61
(1,61)
(1,61)
(1,61)
s
a
0,49
0,52
0,52
0,67
0,63
0,63
0,65
0,65
0,68
b
0,24
0,27
0,27
0,45
0,40
0,42
0,42
0,34
0,46
A
a
1,20
1,13
1,13
1,21
1,19
1,14
1,00
1,06
1,11
b
1,44
1,28
1,28
1,46
1,42
1,30
1,00
1,12
1,23
R
a
1,16
1,16
1,16
1,25
1,22
1,16
1,22
1,10
1,18
b
1,35
1,35
1,35
1,56
1,49
1,35
1,49
1,21
1,39
P
a
1,29
1,16
1,13
1,30
1,27
1,21
1,15
1,25
1,19
b
1,66
1,28
1,28
1,69
1,61
1,46
1,32
1,56
1,42
BO
a
1,39
1,39
1,27
1,17
1,28
1,29
1,31
1,08
1,06
b
2,93
1,93
1,61
1,37
1,64
1,66
1,72
1,17
1,12
PO
a
1,51
1,51
1,55
1,50
1,44
1,36
1,45
1,35
1,07
b
2,28
2,28
2,40
2,25
2,07
1,85
2,10
1,82
1,14
K
a
0,98
0,98
1,00
0,99
1,00
1,11
1,00
0,88
0,87
b
0,96
0,96
1,00
0,98
1,00
1,23
1,00
0,77
0,76
U
a
1,55
1,55
1,61
1,71
1,49
1,41
1,45
1,37
1,40
b
3,40
2,40
2,59
2,92
2,22
1,99
2,10
1,88
1,96
sc
a
1,53
(1,53)
(1,10)
1,10
1,24
1,23
(1,23)
(1,23)
(1,23)
b
2,34
(2,34)
(1,21)
1,21
1,54
1,51
(1,51)
(1,51)
(1,51)
W nawiasach podano wartości aproksymowane
Źródło: Brzeziński, Gaul (1993, tab. 14a, s. 132)
—
Aby można uznać różnicę: 7\viad -Pw = 2 pkt. za istotną statystycznie na po-
aomie a = 0,05 musi ona przewyższać (lub być co najmniej równa) wartość
5nSEMD(Ti_-pw). Ponieważ tak właśnie jest, gdyż przewyższa ona wartość tego
yterium, więc otrzymana różnica 2 pkt. może być uznana za statystycznie istotną
poziomie a = 0,05.
.4.2. Średnia obliczona bez uwzględnienia testu Ti
ykład. Pokażemy teraz technikę obliczeń wartości SEMDg- _ p) dla oceny istotności
nicy między wynikiem uzyskanym przez Annę Kowalską (wiek: 40 lat) w teście
„Wiadomości" WAIS-R oraz przeciętnym profilem skali słownej (Pv). Tym razem jed-;
wynik testu nie był uwzględniany przy obliczaniu średniej. Osoba badana uzyskała
ujące wyniki przeliczone w sześciu testach w Skali Słownej WAIS-R:
557
Osoba badana:
14
10
13
12
13
10
SEMTmad. = 0,91, a = 0,05
7\viad. = 14 PV = 11,6.
Zo,o5/2 = 1,96,
Korzystając ze wzorów prztoczonych w pkt. 9. i 10. zestawienia oznaczeń
obliczamy wartość
= (0,91)2
(1,22)2
+ (1,27)2
=
7,2065,
i'
7
(
0
,
9
1
)
^
=
1
,
0
1
4
0
,
t
t
c
.
-
'
,
U0-
ł?.v >j
f i
GŁ.i
Zo,o5nS
EMD(Ti_
py) =
(l,96)(l,0
140) =
1,9874,
' Wiad
_
pv
=
14
-
12
=
2.
Aby można uznać różnicę: rWiad - Pv = 2 pkt. za istotną statystycznie na poziomie
a = 0,05 musi ona przewyższać (lub być co najmniej równa) wartość ZofisaSEMD^-
Py) ? Ponieważ tak właśnie jest, gdyż przewyższa ona wartość tego kryterium, więc
otrzymana różnica 2 pkt. może być uznana za statystycznie istotną na poziomie a =
0,05.
Wyłączenie wyniku testu „Wiadomości" z obliczania wielkości różnicy Tw - 1
- Py dało więc, w tym konkretnym przypadku, ten sam rezultat co w przypadku,
gdy wynik tego testu „wchodził" do średniej. Stało się tak, gdyż obie średnie nie
różniły się znacząco — 12 (6 testów) i 11,6 (5 testów).
2.5. Ocena istotności różnic wyników dwóch testów: A "' d '
Tiii Tj — wskaźnik:d(Tii-Tj) r-i i es ?u fc
Ostatnim krokiem w analizie intraindywidualnej profilu pojedynczej osoby ba-
danej będzie dokonanie porównań każdego testu z każdym {T z T'). Chodzi
bowiem o to, aby ocenić różnice między wynikami poszczególnych testów wg
zasady: „każdy z każdym". Trzeba oddzielić te pary testów, których wyniki
uzyskane przez osobę badaną różniły się istotnie (na danym c) od tych par
testów, których wyniki nie różniły się istotnie. Dalszej, psychologicznej inter-
pretacji poddajemy tylko te różnice, które były istotne statystycznie. Zastoso-
wana tu będzie ta sama procedura statystyczna, co w przypadku wykreślania
profilów dolnych i górnych granic przedziałów ufności dla danego, otrzymanego
przez osobę badaną, profilu psychometrycznego. Będzie to zatem sygnalizowana
już metoda przedziału ufności.
Przedział ufności dla różnicy dwóch wyników prawdziwych : „T-Tś\ na
danym poziomie ufności: (1 -a) 100%, ma postać: J} xhlJS ,iv*,.
(Ts-Ts')e ((T-T O-
r-,; (T- T ') +
). (19.8)
Jak interpretujemy przedział ufności dla różnicy: „Ts - Ts"7 Aby różnicę wy-
ników: TiT' uznać za istotną na danym poziomie a, musi ona (jej wartość
558
bezwzględna) przewyższać (lub być co najmniej równa) wartość półprzedziału uf-
ności: ,^2SEMD(7-_7-)". Albo inaczej: jeżeli dolna granica przedziału ufności bę-
dzie liczbą ujemną, to będzie to oznaczało, iż dana różnica: T-T' nie jest istotna
statystycznie, a zaobserwowana różnica: T-T' nie będzie podlegała psychologicz-
nej interpretacji. Ten sposób oceny istotności różnic wyników dwóch testów wcho-
dzących w skład baterii testów rekomendują Lord i Novick (1968, rozdz. 7.), Mag-
nusson (1991, rozdz. 7.), Brzeziński i Noworol (1984).
Przykład. Genowefa Nowak (lat: 45) uzyskała w teście „Wiadomości" (J,) i w
teście „Arytmetyki" (T2) WAIS-R następujące wyniki:
Tt = 15, T2 = 13.
Współczynniki rzetelności obu testów, dla przedziału wieku: 45-54 są nastę-
pujące (por. Wechsler, 1981, tab. 10, s. 30):
»Va> m 0,87 (J, : Wiad.), rm = 0,84 (T2 : Arytm.).
Korzystając ze wzoru (por. punkt 14. w wykazie oznaczeń) na
mamy:
SEMD(T
I-T2) =
3(2 -
0,87 -
0,84)05
=1,61.
Czy zaobserwowana różnica: „15 -13 = 2 pkt." może być uznana za statysty-
cznie istotną na poziomie a = 0,05? Aby odpowiedzieć na to pytanie musimy zbu-
dować półprzedział ufności:
1) = 3,15; w zaokrągleniu: 3 pkt.
Ponieważ różnica Tx-T2 = 2 pkt. jest mniejsza od wartości półprzedziału uf-
ności równej 3 pkt. więc nie można jej uznać za istotną statystycznie. Aby owa
różnica mogła być uznana za istotną, musiałaby wynosić co najmniej 3 pkt.
3. Analiza interprofilowa
3.1. Współczynnik G-Holleya i Guilforda — testy
dychotomiczne („0,1")
Bardzo często w swojej praktyce badawczej psycholog, a zwłaszcza psycholog
praktyk, np. klinicysta, musi dokonać oceny funkcjonowania ucznia czy pacjenta
na skalach szacunkowych, na których koduje się bądź obserwacje zachowania ucz-
nia w klasie szkolnej czy pacjenta na oddziale szpitalnym, bądź uzyskane w wy-
wiadzie informacje o jego funkcjonowaniu (np. w rodzinie), bądź też on sam wy-
pełnia proste kwestionariusze samoobserwacyjne. W swej najprostszej postaci skale
szacunkowe przybierają postać skal dwubiegunowych, zero-jedynkowych. Możemy
559
bowiem punktować „postępy w uczeniu się" jako 1 pkt, a „brak postępów" jako i
pkt. Możemy stwierdzać występowanie objawów wchodzących w skład syndron
objawów klinicznych (1 pkt) lub też możemy nie stwierdzić ich występowania (0
pkt). Osoba badana może udzielić odpowiedzi „diagnostycznej" (1 pkt) lub „nie
diagnostycznej" (0 pkt).
Skale szacunkowe mogą być zebrane w jedną baterię ze względu na pewne
kryteria, np. dotyczą różnych aspektów funkcjonowania osoby badanej (jak np.
w badaniach Bandury i Waltersa, 1968). Taka bateria może zawierać od kilku
do kilkudziesięciu (a nawet przeszło stu) skal dwupunktowych. „Wynik" osoby
badanej to seria zer i jedynek (łącznie zer i jedynek będzie tyle, ile skal liczy
bateria). Jestem przeciwny dodawaniu do siebie wyników cząstkowych w celu
uzyskania jednego wyniku ogólnego, gdyż prowadzi to jedynie do utraty infor-
macji o owych charakterystycznych cechach funkcjonowania, o których infor-
mują psychologa pojedyncze skale szacunkowe. Dlatego też proponuję, aby w
przypadku baterii fc-skalowej zapisać wynik osoby badanej w postaci sekwencji
ife zer i jedynek. Mówiąc inaczej, chodzi o to, by posługiwać się profilem, czyli
krzywą łączącą, odpowiadające osobie badanej, punkty na odcinkach reprezen-
tujących poszczególne skale.
Przykładowo, w 10-skalowej baterii samoobserwacyjnej osoba badana może
uzyskać następujący wynik:
skala:
wynik:
To samo możemy przedstawić graficznie jako profil — por. rys. 19.3.
Skale:
I
II
ni
rv
V
VI
VII
VII
IX
X
0
0
i
i
0
1
0
1
0
0
?
o J
Rys. 19.3. Przykładowy profil utworzony ze zmiennych (skal) dychotomicznych
Dla każdej z badanych osób możemy wykreślić profil (taki, jak na rysunku
19.3) lub też wypisać sekwencję zer i jedynek. Jeżeli mamy w grupie badanej 10
osób, to możemy dokonać 45 porównań — każdej z każdą — a z otrzymanych
wskaźników podobieństwa osób badanych względem siebie utworzyć macierz po-
dobieństwa postaci:
560
Osoby:
O,
O2
O3
O„-i
O„
O,
—
Gn
Gn
G\,n-\
Gin
O2
—
G23
G2,n-i
Gin
O3
Gi.n-1
Gin
—
O„-i
—
Gn-l,n
o„
Główna przekątna tej macierzy jest nie wypełniona, gdyż na niej musiałyby
znaleźć się współczynniki podobieństwa danej osoby z ... nią samą. Poza główną
przekątną mamy wskaźniki podobieństwa we wszystkich parach osób badanych.
Macierz jest symetryczna (podobieństwo: O] i O2 jest takie samo jak O2 i O]!) i
dlatego nie została wypełniona poniżej głównej przekątnej.
Pozostaje jeszcze pytanie, w jaki sposób obliczyć miarę podobieństwa profi-
lów dwóch osób badanych, która w macierzy oznaczona jest literą G. Użyteczną i
statystycznie poprawną miarę podobieństwa zaproponowali Holley i Guilford
(1964; Guliford, Fruchter, 1978).
Wskaźnik G — bo o nim mowa — wyraża się wzorem (19.9):
(a + d)-(b + c)
Uk-k' a + b + c + d '
Test istotności współczynnika G skonstruował Vegelius (1981). Oblicza się go
podobnie jak współczynnik <|) — Youla, na podstawie danych częstościowych za-
wartych w tabeli typu: 2x2 postaci:
(19.9)
Osoba k':
„1'
„0"
Osoba k:
„1"
a
b
„0"
c
d
Pola tej tabeli: a, b, c, d zawierają liczbę skal, na których porównywane osoby
wypadły następująco:
Osoby badane o profilach takich samych (całkowicie, tj. bądź „1-zgodnych",
bądź „0-zgodnych") uzyskują wskaźnik podobieństwa G=l,00. Osoby o G< 1 są
w różnym stopniu niepodobne.
Przykład. Osoba O] i osoba O2 uzyskały w 10-skalowej baterii samoobserwacyjnej
następujące wyniki: (por. rys. 19.4)
Pole
1
Osoba
k'
1
*
0
Osoba
k:
Wy
nik
i:
(1) —
zgodne
n
i
e
z
g
o
d
n
e
n
i
e
z
g
o
d
n
e
(0) —
zgodne
36 — Metodologia badań..
Skale:
1 n
o J
IV
V
IX
V
I
V
I
I
V
I
I
I
K
\
1
1
\ \
\ \
\ \
osoba 1.
— — —
— —
osoba 2.
Rys. 19.4. Profile osób badanych 1. i 2. w zestawie zmiennych (skal) dychotomicznych
Skale: I
Osoba 1: 1
Osoba 2: 1
II
1
1
ni
0
1
IV
1 o
V
1 o
VI
o o
VII
o o
VIII
1
o
IX
1 1
X
1 1
Po podstawieniu danych do tabeli czteropolowej mamy:
>^
Osoba k':
„1"
„0"
Osoba k'
„1"
4
3
„0"
1
2
2=10.
Z kolei po podstawieniu danych do wzoru (19.9) mamy:
4+3+
2+1
6-4 10
'
O =
0,20 -- -
Widzimy, iż podobieństwo obu osób badanych, z uwagi na konfigurację wy-
ników w 10 skalach dychotomicznych, jest raczej niskie.
3.2. Współczynnik Gr-Vegeliusa — testy trychotomiczne
(„-1,0, +1")
Wiele kwestionariuszy osobowości obok odpowiedzi typu „tak" i „nie" dopuszcza
jeszcze trzeci typ odpowiedzi: „?", „nie wiem", „nie mam zdania". A zatem osoba
badana ma do dyspozycji trzy sposoby zareagowania na każde pytanie.
Odpowiedziom przypisujemy następującą punktację: „+1", „0", „-1". Inaczej:
odpowiedź zgodna z kluczem (kryterium) uzyskuje punktację „+1", odpowiedź nie-
zgodna z kluczem (kryterium) uzyskuje punktację „-1", a odpowiedź neutralna —
„0".
562
Chcąc ocenić stopień podobieństwa dwóch osób: k i k' musimy wprowadzić
wyniki uzyskane przez nie na skalach szacunkowych (czy punktację odpowiedzi na
pytania kwestionariusza) do tabeli wzorowanej na tabeli skonstruowanej przez Hol-
leya i Guilforda do obliczania wskaźnika G:
Osoba k':
+1
0
-1
Osoba k:
+1
k
1
m
0
n
0
P
-1
q
r
s
Vegelius (1979) zaadaptował współczynnik G do systemu punktacji trycho-
tomicznej (wzór 19.10):
k-m-q + s
(19.10)
(*,*') =
Litery: k, m itd. oznaczają liczby skal, na których porównywane osoby ba-
dane uzyskały następujące oceny:
Pole
:
Osoba k.
k
+1
1
+ 1
m
+1
n
0
o
0
P
0
q
-1
r
-1
s
Osoba k' Wyniki:
+1 (+1) — zgodne
0 niezgodne
-1 niezgodne
+1 niezgodne
0 (0) — zgodne
0 -1 niezgodne
+1 niezgodne
0 niezgodne
-1 (-1) — zgodne
Najwyższą zgodność dwóch profilów reprezentuje wskaźnik: GT-l,00. Roz-
atrzmy kolejny przykład.
I II III IV V VI VII VIII IX X
+1
o-
-1
osoba 1.
osoba 2.
s. 19.5. Profile osób badanych: 1. i 2. w zestawie zmiennych (skal) trychotomicznych
563
Chcąc ocenić stopień podobieństwa dwóch osób: k i k' musimy wprowadzić
wyniki uzyskane przez nie na skalach szacunkowych (czy punktację odpowiedzi na
pytania kwestionariusza) do tabeli wzorowanej na tabeli skonstruowanej przez Hol-
leya i Guilforda do obliczania wskaźnika G:
Osoba k':
+1
0
-1
Osoba fc
+1
k
1
m
0
n
0
P
-1
q
r
s
Vegelius (1979) zaadaptował współczynnik G do systemu punktacji trycho-
tomicznej (wzór 19.10):
,*') =
k-m-
q+s
(19.10)
Litery: k, m itd. oznaczają liczby skal, na których porównywane osoby ba-
dane uzyskały następujące oceny:
Pole
:
Osoba k:
Osoba k'
Wyniki:
k
+1
+1
(+1) — zgodne
1
+1
0
niezgodne
m
+ 1
-1
niezgodne
n
0
+1
niezgodne
o
0
0
(0) — zgodne
P
0
_j
niezgodne
q
-1
+1
niezgodne
r
-1
0
niezgodne
s
-1
(-1) — zgodne
li
Najwyższą zgodność dwóch profilów reprezentuje wskaźnik: GT=l,00. Roz-
patrzmy kolejny przykład.
III IV
+1-
0
-1
osoba 1.
osoba 2.
i
Rys. 19.5. Profile osób badanych: 1. i 2. w zestawie zmiennych (skal) trychotomicznych
563
Przykład. Rysunek 19.5 pokazuje odpowiedzi dwóch osób badanych: Oj i 02
dziesięć wybranych skal z Mapy Osobowości B. Zawadzkiego (o punktacji: +1,
-1) zapisane w postaci profilów.
Po podstawieniu danych do tabeli dziewięciopolowej mamy:
Osoba k':
„+1"
„0"
—1"
Osoba k.
,,+r
3
1
1
„0"
1
2
0
0
1
1
Cr(W) =
3-1-0+1 35
V3+1+
1+0+1
+1V3+
1+1+0
+0+1
6-477
- 0,463.
W tym przypadku podobieństwo profilów (a tym samym i pacjentów) jes
przeciętne.
3.3. Współczynnik rBp-Vegeliusa — dla testów o wynikach
wyrażonych na skali dwubiegunowej
Psychologom, zwłaszcza zaś psychologom klinicznym znana jest Mapa Osobowo-
ści B. Zawadzkiego. Jej charakterystyczną cechą jest konstrukcja składających się
na nią skal. Oto jeden przykład:
łatwo
zniec
hęcaj
ący
się
-3 -2 -1
0
+ 1
wytrwał
y,
uparty
+2 +3
Jak widać, skala zawiera punkt neutralny, od którego, na lewo i na prawo,
wzrasta natężenie cechy, aby osiągnąć swoje maksimum na krańcach. Jest to więc
skala porządkowa o charakterze dwubiegunowym.
Aby obliczyć współczynnik podobieństwa dwóch osób badanych, przebada-
nych zestawem skal dwubiegunowych, musimy wykonać następujące kroki (zilu-
strujemy je przykładem z rys. 19.6).
Przykład: Posłużmy się danymi przedstawionymi na rys. 19.6
Krok 1.: dla pierwszej (O{) i drugiej (O2) osoby wypisujemy bezwzględne
wartości (punkty), jakie otrzymały one na poszczególnych skalach. W naszym przy-
kładzie mamy:
Oy.
1
1
1
0
1
1
2
2
2
2
2
2
2
2
1
1
1
Skale:
r+3
osoba 1.
na
O,
•
>*-
L-3 - - - -
-
osoba
2.
Rys. 19.6. Profile osób badanych: 1. i 2. dla wybranych zmiennych (skala) dwubiegunowych-trzypun-
ttowych A/ap^ Osobowości Zawadzkiego
Krok 2.: rangujemy wartości skalowe dla każdej osoby, począwszy od zera,
które otrzymuje rangę „1". Wracając do przykładu mamy:
Oi: 444144888
O2: 2,5 7 7 7 7 7 2,5 2,5 2,5
Krok 3.: poszczególnym rangom przypisujemy te znaki (+ lub -), które przy-
sługiwały oryginalnym wartościom skalowym. W miejsce rangi przypisanej warto-
ści skalowej „0" wpisujemy, tak jak to jest w profilu, zero. W przykładzie mamy:
-8 8
2,5 -2,5
4
7
4 -8
7 2,5
(19.11)
O,:
-4-4 0
Krok 4.: obliczamy wartość współczynnika rBP wg wzoru (19.11) (Vegelius,
6, s. 25):
O2: -2,5 -7 -7 -7
gdzie:;, k — symbol osoby 1. i osoby 2.; r(> — ranga /-tej wartości skalowej
dla osoby j; rik — ranga /-tej wartości dla osoby k; n — liczba skal w
zestawie.
565
Po podstawieniu danych z przykładu mamy:
+ (-8X2,5) + (-8X2,5) + (8)(-2,5) = 42,
oLhkł '
-
' + (4X7) +
.3 --J *pta4A«* r
Współczynnik rB/> interpretujemy podobnie jak współczynnik korelacji rango-
wej, tzn. najwyższą zgodność uporządkowań (w tym samym kierunku) oznacza
współczynnik rBP=l,0. Przy całkowitym braku zgodności uporządkowań współ-
czynnik uzyskuje wartość „0".
3.4. Wykorzystanie współczynnika korelacji rangowej
(r.s-Spearmana lub r^-Kendalla) dla testów wielopunktowych
Przykład. Psychologa interesuje podobieństwo dwóch osób: Oi i O2 przebadanych
za pomocą dyferencjału semantycznego. Może to być — na przykład — dyferen-
cjał, którym posłużyła się Skarżyńska (1976) do oceny postrzegania badacza przez
osobę badaną. Dane zapisane w postaci profilów zawiera rys. 19.7.
Widzimy na nim dwa profile przechodzące przez punkty skal zakreślone przez
osoby badane. Ponieważ skale wchodzące w skład dyferencjału mają naturę po-
rządkową (osoba badana dysponuje siedmioma stopniowalnymi kategoriami do
umiejscowienia własnej pozycji na skali), można więc uporządkować skale od tej,
na której pozycja badanego oznacza maksymalne natężenie cechy (przez przypo-
rządkowanie jej rangi 1) do tej, na której pozycja badanego oznacza minimalne
natężenie cechy (przez przyporządkowanie jej rangi najniższej).
Jeżeli: n ? liczba skal w zestawie, r, = ranga i-tej skali, to mamy (19.12):
1 vł * ł*3j !'i? *!? T \*f tjg suma rang =
n(n + 1)
(19.12)
^ ^ f'5 Kij|f SiV * f
Zasady rangowania (w tym tworzenie rang wiązanych) podaję w rozdz. 15.,
pkt. 10, s. 502.
W celu wyliczenia stopnia podobieństwa obu profilów pochodzących od osób
Oi i O2 można skorzystać ze współczynnika r^Spearmana (albo r^Kendalla). War-
tość tego współczynnika równa +1,00 oznacza najwyższą zgodność profilów (w
życzliwa
łacina i-
III odpowiedzialna i
>
IV przyjazna i—
V rozsądna
VI taktowna > 1
^
VII inteligentna
VIII elegancka
IX mądra
X zgrabna
XI ambitna
XII
sympaty
czna
nieżyczliwa
brzydka
nieodpowiedzialna
wroga
nierozsądna
nietaktowna
nieinteligentna
zaniedbana głupia
niezgrabna bez
ambicji
niesympatyczna
7 6 5 4 3 2 1
osoba 1 osoba 2
Rys. 19.7. Profile osób badanych: 1. i 2. przebadanych za pomocą dyferencjału semantycznego (wg
układu Skarżyńskiej, 1978)
sensie zgodności obu rangowań w tym kierunku). W przypadku dokładnego od-
wrócenia kierunków rangowania współczynnik rs będzie wynosił -1,00. Wartość 0
oznacza brak jakiegokolwiek podobieństwa uporządkowań. Pomocna w przeprowa-
dzeniu obliczeń wartości rs będzie tabela — por. tab. 19.3.
Wzór na rs jest następujący (19.13):
567
Tabela 19.3. Tabela obliczeniowa do współczynnika podobieństwa profilów (skale porządkowe) — do
rys. 19.7
Skale
Wyniki
surowe
Rangi
Różnica
i
Osoba 1
Osoba 2
Osoba 1
Osoba 2
rang d,
I
6
2
2
7,5
-5,5
30,25
II
5
2
5
7,5
-2,5
6,25
m
5
3
5
2
3
9
IV
4
2
9
7,5
1,5
2,25
V
5
3
5
2
3
9
VI
4
2
9
7,5
1,5
2,25
VII
3
2
11,5
7,5
4
16
VIII
3
2
11,5
7,5
4
16
rx
4
1
9
12
-3
9
X
5
2
5
7,5
-2,5
6,25
XI
5
3
5
2
3
9
xn
7
2
1
7,5
-6,5
42,25
0,0
157,50
Źródło obliczenia własne
Po podstawieniu do tego wzoru naszych danych mamy:
. -JLi^5p_ = 0(452
Wartość rs = 0,452 mówi nam, iż profile wykazują przeciętne podobieństwo.
3.5. Współczynnik rc-Cohena — dla wyników testowych
wyrażonych na skalach standardowych
3.5.1. Wyniki testowe wyrażone na jednolitej skali standardowej
Wielowymiarowe kwestionariusze osobowości (np. ACL, MMPI, 16 PF, CPI) czy
skale inteligencji (np. WAIS-R, WISC-R, WPPSI-R) znormalizowane są za pomocą
takich skal standardowych, jak np. skala tenowa, stenowa, skala wyników przeli-
czonych WAIS-R i skala IQ. Skale te są skalami interwałowymi (w sensie klasyfi-
kacji Stevensa). Wynik w kwestionariuszu 16 PF, to profil ukazujący konfigurację
natężeń 16 czynników osobowości osoby badanej. Chcąc ocenić stopień podobień-
stwa osób badanych, możemy skorzystać ze współczynnika (wzór 19.14) zapro-
ponowanego przez Cohena (1988, s. 243):
n n n
i=l
i=l i=l
rJł *i'».
;?l-(;^'^v, ] {±A2 + nm2-2m±A){±B2 + nm2-2m±B)
(19.14)
"•-i-
568
gdzie: n — liczba cech (wymiarów, czynników) występujących w analizowanych
profilach; m — punkt środkowy skali, na której wyrażony jest profil; i tak: dla
skali stenowej m = 5,5 tj. (1 + 10): 2; dla skali tenowej m = 50, tj. (0 + 100) : 2; dla
skali wyników przeliczonych WAIS-R m= 10, tj. (1 + 19) :2; Ą — wynik w i-tej
skali wchodzącej w skład profilu osoby A; Bt — wynik w /-tej skali wchodzącej
w skład profilu osoby B.
Punktem wyjścia przeprowadzenia analizy porównawczej jest umieszczenie
danych w tabeli sporządzonej wg wzoru tabeli 19.4. analizowanej w poniższym
przykładzie.
Obok porównań typu: „profil osoby A — profil osoby B" można także prze-
prowadzać porównania typu: „przeciętny profil grupy diagnostycznej A — przecięt-
ny profil grupy diagnostycznej B", czy: „profil osoby A — przeciętny profil grupy
stanowiącej dla osoby A układ odniesienia".
Przykład. W pracy Nowakowskiej (1970) nad polską adaptacją Kwestionariusza
Osobowości 16 PF Cattella zawarta jest uwaga, iż test ten dobrze różnicuje popu-
lacje: neurotyków i zdrowych. Jeżeli tak jest, to przeciętne profile obu grup winno
cechować niskie podobieństwo. Rys. 19.8 przedstawia takie profile, zaczerpnięte z
cytowanej tu pracy Nowakowskiej. Dane liczbowe zawarte zostały w tab. 19.4.
Tabela 19.4. Przeciętne profile grupy „zdrowych" i „neurotyków" w kwestionariuszu
16 PF Cattella
Skale
A
B
A2
B2
AB
1
5
4
25
16
20
2
5
5
25
25
25
3
6
3
36
9
18
4
5
4
25
16
20
5
4
4
16
16
16
6
6
6
36
36
36
7
5
4
25
16
20
8
6
7
36
49
42
9
5
6
25
36
30
10
6
6
36
36
36
11
5
5
25
25
25
12
6
8
36
64
48
13
5
6
25
36
30
14
6
5
36
25
30
15
6
5
36
25
30
16
5
8
25
64
40
Suma:
86
Źródło: obliczenia własne
Po podstawieniu danych z tab. 19.4 do wzoru (19.14) uzyskaliśmy następującą
wartość współczynnika rc:
569
Czynnik A B C E F G H
I L M N 0 Q, Q2 Q3 Q4
10-
I
;
0
i
9-
)»
-li-.
f
?i
**.
i
3.
8-
i -
7-
'-
i
#
#
o
3 *
t
#
9 9
o
>
9 S
f
\
/
9 ^^^
c
/
'.
S
- 5
$
%%
/
9 9
s
?3
i
4~
r
— -
*
f
-
1J
_ 2
.
" !
"
Zl
3-
2-
!
V
*» -
t
4i
«
f
*••
D
9
?
r-
i"
i
UJ
"i
— K
a;
4
i;
^
—- zdrowi
- - - neurotycy
Rys. 19.8. Przeciętne profile „zdrowych" oraz „neurotyków" uzyskane na podstawie badania Kwestionariuszem Osobowości 16 PF Cattella (dane z pracy
Nowakowskiej, 1970)
= 0,289.
466 + (16)(5,5)2 - (5,5)(86 + 86)
V[468 + (16)(5,5)2 - (2)(5,5)(86)] [494 + (16)(5,5)2 - (2)(5,5)(86)]
A zatem współczynnik podobieństwa profilów (przeciętnych) grupy osób zdro-
wych i grupy osób neurotycznych jest — zgodnie z oczekiwaniami — niski.
11
3.5.2. Wyniki testowe wyrażone na różnych skalach standardowych
Zdarza się czasem, iż psycholog posługuje się baterią testów znormalizowanych na
różnych skalach standardowych. Na przykład, może on wykorzystać kilka skal z
kwestionariusza MMPI (wyniki w 100-punktowej skali tenowej) i kilka skal z testu
16 PF-Cattella (wyniki w 10-punktowej skali stenowej). W takim przypadku profile
nie są porównywalne. Chcąc je jednak ze sobą porównać, możemy skorzystać z
adaptacji współczynnika rc — Cohena przeprowadzonej przez Vegeliusa (1976,
s. 31-32).
Jeżeli mamy kilka (kilkanaście) skal o różnej liczbie punktów, to musimy
zacząć od tego, że dokonamy transformacji każdego wyniku wyrażonego w „starej"
skali na wyniki „nowej" skali wg wzoru (19.15):
r r
i=l,2, ...,r. (19.15)
gdzie: w, — przekształcony i-ty wynik w r-punktowej „starej" skali, r — liczba
punktów „starej" skali; C — maksymalny wynik w „nowej", wspólnej dla wszy-
stkich testów skali; C/2 — „nowy" punkt środkowy standardowej skali.
Najlepiej prześledzić zabieg przekształcenia wyników ze skal o różnej liczbie
punktów na kolejnym przykładzie.
Przykład. Niech w baterii 5-testowej znajdują się:
— 2 testy o 10-punktowych skalach,
— 2 testy o 20-punktowych skalach,
— 1 test o 30-punktowej skali.
Wyniki osoby A i osoby B są następujące:
Skale:
Osoba A:
Osoba B:
r:
I
3
4
10
II
6
6
10
ni
12
10
20
IV
10
10
20
8
9
30
Kolejne kroki analizy danych:
Krok 1.: znajdujemy taką liczbę C, która dzieli się bez reszty przez liczby
stanowiące maksymalne punkty „starych" skal testowych wchodzących do baterii,
tj. przez liczbę r dla każdej skali, a także przez liczbę 2r. W naszym przykładzie
mamy:
571
dla: r=10i 2r = 20
Hd8K?.,ŁX?i-1« r
= 20 i 2r = 40 \ C=120
= 30i 2r = 60 i
Krok 2.: przeprowadzamy teraz przekształcenie „starych" skal w „nowe":
stara: nowa:
.
= 6
= 30
114
= 3
- 1.7
= 2
2 10 + (1 lj 10
120 ,„ ,,120
skala o r= 10
iŁ>?fłOlnBttnńt2tl'M 120 1 —
\ &>$? ra1:'* bfijjs^no^1/ 2 —
S 10-
AXi*ij 6aaii9§3V %7}ną [Smy^tE 'reną
T " skala o r = 20
20
20-1
—
"łgk,U„ # .J^SPOSST/W I 2-20
120
2-20
Si
120
" ^
20 o r =
30
Ys«w sfb pnifwr^,«/ x 2-30
' 30
120
30 —
120
30
\\h\h BSgtthi
m /w) sliar in/v3łoq«w
iid 'fnBJIC li
'ib JS ,.)"oi bo :».
ińsrtą [gin-
Krok 3.: zamieniamy „stare" wyniki osób A i B na „nowe", korzystając z
dokonanych w kroku 2. przekształceń:
Skale: I H III IV V
Osoba A: 30 66 69 57 30
Osoba B: 42 66 57 57 34
Krok 4: po dokonaniu operacji transformacji wykreślamy profile obu osób
wyrażone w nowej standardowej skali o r- 120. Przedstawia je rys. 19.9.
Krok 5.: przekształcone wyniki osób A i B wstawiamy do wzoru (19.16):
rC(AJ3) ~
(=1
1=1
2;
Cv
2'
_,;LibnN . S J (1916)
572
iv
80
__
75 '
70
65
60
55 -
50 ~
45
40
35 "
30 ~
/ / --
-_
~
25
20 "
--
_-
?
i
,
i
?
ł
osoba A
osoba B
Rys. 19.9. Profile osób badanych: A i B
Obliczamy najpierw wartości licznika wzoru na rc:
X (Ai - ^) (B,- -1) = (30 - 60)(42 - 60) + (66 - 60)(66 - 60) + ... +
+ (30 -60X34 -60) =1338.
573
Obliczamu teraz wartości wyrażeń w mianowniku:
(Ą. _ ±f = V(30 - 60)2 + ... + (57 - 60)2 + (30 - 60)2 = 43,88 ,
?. _ ±f = V(42 - 60)2 + ... + (57 - 60)2 + (34 - 60)2 = 32,46 ,
Podstawiając powyższe dane do wzoru (19.16) na rc mamy:
1338
43,88-
32,46
_ ^ g-g
Jak widać, podobieństwo pacjentów A i B jest wysokie.
Przedstawione w niniejszym punkcie współczynniki podobieństwa profilowego
dla skal reprezentujących różny poziom pomiaru (w sensie klasyfikacji Stevensa)
nie wyczerpują, rzecz jasna, całości problematyki. Pokazałem tylko te współczyn-
niki, które dzięki swojej prostocie, mogą być stosowane zarówno przez studenta
opracowującego wyniki badań zrealizowanych w ramach pracy magisterskiej, jak i
przez psychologa-praktyka prowadzącego niewielkie badania empiryczne o charakterze
eksploracyjnym.
4. Podsumowanie
W praktyce badawczej, a zwłaszcza diagnostycznej, zwiększa się udział nowoczes-
nych baterii testowych złożonych z kilku, często nawet kilkunastu, testów. Także
znane w całym świecie kwestionariusze osobowości, takie jak MMPI, 16 PF, ACl
czy skale inteligencji, jak WAIS-R, WISC-R, WPPSI czy S-B FE to, tak naprawdę,
baterie składające się z wielu pojedynczych testów. To, co łączy te tak różne
przecież narzędzia poznania psychiki człowieka, to postać „wyniku", którym jest
profil psychometryczny. Ten zaś wymaga od psychologa — jeżeli chce on spożyt-
kować wszystkie zawarte w nim informacje — zastosowania specjalnych metod
analizy, tzw. analizy profilowej. O niej (a, tak naprawdę, o niektórych jej meto-
dach) była mowa w tym rozdziale.
Literatura na temat analizy profilowej, dostępna w języku polskim, nie jest
bogata. Niemniej warto do niej sięgnąć.
Pisząc o porównaniach średnich profilów dla dwóch grup, podałem współ-
czynnik rc-Cohena jako stosunkowo prostą i szybką metodę zanalizowania podo-
bieństwa dwóch przeciętnych profilów. Znacznie bardziej zaawansowane i reko-
mendowane przeze mnie są metody oparte na statystycznym modelu ANOVA i
MANOYA. Umożliwiają one przeprowadzenie porównań k grup (k średnich profi-
574
lów) pod względem zróżnicowania intergrupowego oraz intragrupowego. Wymagają
jednak odwołania się do specjalistycznego oprogramowania komputerowego, np.
SPSS PC+. W przypadku, gdy grupy są mało liczne można sobie poradzić dyspo-
nując dobrym kalkulatorem (metoda oparta na ANOVA). W przystępny sposób
metody te opisane zostały — wraz z ilustracją wykorzystującą wyniki Skali Inte-
ligencji Wechslera-Bellevue — w artykule: Brzeziński J., Maruszewski T. Metoda
badania zgodności profilów psychometrycznych.
Jeśli zaś chodzi o zagadnienia metodologiczne związane z analizą profilową,
to uwagę Czytelnika chciałbym skierować na cztery prace zamieszczone w zreda-
gowanym przeze mnie zbiorze: pt. Problemy teorii, rzetelności, konstrukcji i ana-
lizy wyników testów psychologicznych: Cronbach L.J., Gleser G.C. Szacowanie po-
dobieństwa profilów; Cronbach L.J. Propozycje analitycznego podejścia do ocen
uzyskiwanych w percepcji społecznej; Nunnally J. Analiza danych profilowych; Co-
hen J. Współczynnik rc jako miara podobieństwa profilów niezmienna względem
odwracania zmiennych.
?
1
1
1
1
1
?
i
Obliczamu teraz wartości wyrażeń w mianowniku:
J y (A, -%-f = V(30 - 60)2 + ... + (57 - 60)2 + (30 - 60)2 = 43,88 ,
? (Bt - y)2 = V(42 - 60)2 + ... + (57 - 60)2 + (34 - 60)2 = 32,46 , M
Podstawiając powyższe dane do wzoru (19.16) na rc mamy:
_ 1338 _ 0 gg
rc ON
?x LA >— H- ^O -?*? |OtO
CA O © LA 4^ -J tOLA
-J LA O vi © N© LA tO
&
S 3
UJ LA tO LA
Ja.
NO
O
U
UJ t—i O O O -t^ UJ
VO LA *— •— K> -
JONLA
3!
Ul
8
vl Ul UJ
ON
C ON UJ UJ
-* O 00 Ul ON
00 LA ON UJ ~
O un ON O
OO UJ U*l UJ
ON UJ NJ N) UJ
4A OO UJ 4>. f\
O UJ to oo ON
UJ i—* O O "-J
tO i—' NO LA UJ
a I
NO tO
NJ *-*
4a NO
Ja u w
ON tO vi
©
vi ON vi
NO 00 ON
UlUlOO
?— Ja H-
*-* Ul
Ja, O0 ON
Ja 00 Ja
Ul O
2
Ul NO tO
ON
VO v] O0 O
•— to © NO NO 4a _
ON O 56 UJ
« H U
M
2 I
UJ
ONUUIOO
t « si u
g
tOUJUJH-
4^
IOOOOI
U
4
?
U
l
s
D
U
J
—
U
l
t
O
O
N
U
J
U
I
O
O
H
-
O
N
U
J
O
t
O
s
(OO^t
ONONONUI
«
s
i
u
g
o
o
~
i
^
i
~
)
>
—
UJ
UJ
Ul
to
vi |O
Ja. ON
UJ
oo
UJ
Ul
ON
00
vi
8
t
o
Ul
ON
ON UI
NO "*J
UJ
Ul
Ul
vi
OO
2
t
o
NO
UJ
00
o
tvJ vi tO ON
UJ NO
O ON
00 v]
NO NO
tO Ul
oo *-
oo oo oo
v] Ja u 4a to ON OOON^-
* J
U) UJ © tO Ul
ON — IO 4a 4a
ON >-- Ui © 00
Ul ON ON UJ vi
UJ Ul © vi ON
a 6
O
N
O
N
O
N
t
o
i—
UJ
?—'O
M UJ
Ja. Ja
v] O
Ul Ul
OO ON
ON LA
^J OO
\O UJ
vi
^ oo ^- to oo
00 OO LA O O
NO ON NO ON VO
L/l -J LA UJ L/i
l— ON UJ ON NO
OO
8
to
vi
vi
s
g
oo Ł
H- © UJ
^J H- ON
00 UJ t-
oo NO to
tO NO UJ
to o -J
00 -J
to i—
ON vi
>— ON
UJ4^
ONNO
00 W
ONtO
O »*
it S
Ji
.
o
to
to
UJ
Ul M
3
NO
to
tO ON
Ui
UJ
00
tO H-
UJ
8
U
l
vi
00
to
to
vi
-ta i
a
ON
o
'ul
NO 00
t
o
Ul
UJ
00
UJ H-
to
Ul
9
2
9
X
o
vi
c
to
to
o
g
UJ 4
oo c
a
to
Ul
00
to
v]
?V)
v]
5
0
0
NO
ON
to
© NO
vi
UJ
00
00
to
t
o
v]
vi
to
NO
to e
Ul
oo
oo
Ui
UJ
U)
UJ NO
ON
o
to
t
o
s
U
J
to
0
0
Ui
t
o
00
U
J
$
UJ
i
i
i
-
t
a
i—' LA O
LA >—' W i- N) O\ vi OO
*• O\ W
W O\ ł^ H >J OO W 00
LA*>.ON
-JLA - O 00 00 XI 4^
»C M ui
o\ ł> — Os H- CA NO UJ
00 OO 7i
OJ ^ W Ni -J w 00 LA
to oo
LA OO
ON LA
S NO
to
NO
3
1
to
v]
Ul
UJ
NO
oo
UJ
Ul
s
*
o
UJ
NO
Ul
LA
O N /-> ~*
O O O CO
OO ł~H CO
CN o co
^ r- m
co '-H oo
ON oł ON
8
O1ON00
ON oo oo
ON r^ ^H
»
—
<
O
N
»
n
o
o
OO OO CO
Ol
OJ ^ NO
ł—' f*~ CO
00 OO NO
»—i
t- OO ON >O ^H I-. O
ON oo Ol co
S a
m OJ ON <—i ON »-*
co NO <—< w~i O oo
00 »—* CO NO Ol
ON
NO OO ON CO W)
NO 00 ON Tf ^H
O O >ri —<
-H ON CO 00
oo o r- co co
oi m
NO CO ON O */*)
O CO
3
V>00OlCO (N IT Tl Tf
g
Ocnr-oo oo»-"cooo
00 CO 00 O Oł ON
OJ i—? oo r— ON
M h f t
O h t oo >o
r- ON 4 O t
r) oo co ts CN
in i- r- co >/?)
ON NO ON r~ p-
a f- oo
t m
P0ON
oo N o H
o ~^ P
~ H- OJ OO OO
" 00 OJ OJ
OsUlO
OOOOJ NOUllO"--
,
i
i
2
l
Ł
<
3
v
i
S
J
>
«
S
U
l
4
>
v
i
C
O
U
J
O
J
tO OJ
OJNJtO
OO UJ
UJ UJ vi
w- I* ^ ?? O H M Ul b O Ul "-
0000
UlOsU
ltO—
OOtOO
JJ>OJ NO J> O0 IO OJ Ul vi P Os 00 Os
v
O
ON
OJ
OO vi
4-
0
0
t
o
Ul
to
N
O
Os
vi
U
l
Ul
J> tO
4*
-
t
o
ON
Ul
*- NO
to
4> NO P
O Os to
OJ OJ ?—
Ul
—
o
c
00
J>
Os
ON
Ul
OJ
o
6234
6806
9
6
4
0
ON
00
NO
OJ
00
8
vi
00
OJ
OJ
6
4
9
9
9
3
1
3
7
1
7
4
3
8
2
0
NO Ui OO O Os 4>
IO OJ Os OJ NO J>
Os ~J to to NO O
NO * U » H Ul
4i *- OJ Ł P Os
(
t
o
vi
4^
NO
o
©
NO
J> OO
P OO
(
.JL. —
O
J
Ul
OJ
NO
OJ
Ul
-J
vi
u
l
v
i
Ul
O>
Ul
^
o
0
6
1
vi
— p
OJ v]
(
p\
OJ
© OJ
L
/
l
o
O
J
Os
NO
IO
IO
$
o
c
L/l
4^
4^ OO
g Ńo i
f*
NO
OJ O
g
ON ON
vi
Os
Os — NO
?- >—
u> o to
NO -
H- Ul NO
00
4^ O 00
—
-J -J OJ
4Ł
— oo
NO m to
vi
totooot
oto
U
i
O
s
—
—
4
i
O
J
3 8
O
O
t
O
O
J
O
t
O
i
—
U
>
t
O
O
\
U
l
~
J
O
N
O
O
s
t
o
N
O
0
0
O
\
O
0
O
>
-
U
l
O
J
O
O
H
-
>
—
oo ON •— p Ul NO OOOstOUi^J
00 4>OJUINOOS Ui i> ^ O\ «
oo Et-- to -JONOOIOON
OJ tONOtO-JP NOOJ^-^IP
Ul i— NO O0 Ul -J 4^ 00 Ul —
tO
OJ ^- ^J tO Ul Os
4*. P OJ 00 i— NO
OJ "- 00 00 NO ~)
*- tO Ul OJ tO -J
OJ OJ to J> ON ^]
NO P Ul Os
(V Ul Ul 00
P Os to 4^
4^ oo *~ —
NO Os O 4^
L/1 L/l
4^
O >-*
O N>
Lft
to to ui os
Os N- ^- os oo OJ Ul P K- tO
po w « NO
Os NO ~J OJ Os
Os p i—* -J
. tO NO OJ tO
— to — ~J —
i— NO ^J tO 00
to ^- OJ NO to
00 W - vi v]
OJ 4^ Ul vi ^J
P Ul Os OJ 4>
Ul
p
to
p
o
c
ON
-J
Ul
J>
3
vj Ul
Ul
to
O
J
OJ
OJ
Ul
OJ
00
NO
Ul
~J
Ul
Ul
OJ
00
to
oo
Ul
o
o
t
o
-J
oc
p
4>
.
Ul
00
IO
OJ
to
oo
i
o
Ul
OJ
oo
00
g
tO NO
NO
-J
ON
8
-J
OJ
OJ
to
00
OJ
OJ
NO
to
p
OJ
oo p
00
ON
00
Ul
OJ
OJ
NO
NO
NO
Ul
ON
IO
Ul
OJ
NO
ON
to
NO
ON
2O O s) U Ul
ON \O *- OJ N>
IO OJ O0 J
OO
O O O N O 00
— OJ O0 -J H— L/l i—•
LA L/tOJOOOJOJ L/i
Ui H-»OOJ^OOO ON
OJ
O
ON
ON
oo
00
ON
N
O
Ul
Ol
Ul
to
O
J
1
1
4^
©
3
0
1
2
1
2
7
1
3
Ós 00
NO Ul
— Os
5
0
1
OJ
p
5
8
4
6
4
4
6
0
4
3
2
7
1
4
8
1
7
4
4*
C
NO
0C
1
OJ
Ui
g
NC
*
OJ
N
O
ui
c
1
ON
ON
NO
Ul
N
O
u
oc
1 -
J
to
o
o
Ul
U
l
t
o
OJ
?o
4>
OJ
ON
Ul
OJ
to
o
p
NO
69
6
vi OO
00
OJ
OJ
to
Ul
00
Ul
vi
-J
o
00
vi
U
l
U
l
Ul
OJ
to oo
v] 00
t
o
00
OJ
Ul
4>
Ul
p
p
vi
8
4
0
IO
00
t
o
00
00
00
vi P
OJ
UJ
to
NO
t
o
Ul
Ul
p
N
C
r
o
00
CM
in
s
5
X
co
r
o
1
O
NO
O
;
i g
CN CO
r
-
) O
CO CN
ł^-
OO
00
<—< VI
<—i CN
O co
^- i—i CN CO O
(**? 0O F*- ^O NO
ON CN VI ^J r^
ismmoo r
—< oo vo oo -™
o\ r~ o ov vo r- m —
c^i m ^H oo
Vi \O Vł
co r*- vi
r- O co
ON
00
—<
oo
ON
CN
^
^5
0
0
NO ON
co —
CN CN
r^ oo
s
c
o
c
o
(
N
ON NO
NO CO
c
o
O
N
00 O
c
o
c
o
r
-
t
N
ON Tt
CN
O
N
c
n
r-
r-
ON CN
8
CO
O0
CN
00
ON
co
00
^
co
o
o
(N
CN
CN
»—
•
c
?
NO CN
ON m
n
-
O
CO NO
ON
r
o
o
c
oo n o\ co H cONOO
oo
O m i OO^HCO r^
N oo ONNONO U-
i^rO
CN o r-
t> ^ CN
NO CN O
Tfr ^H NO CO O CO O
Tt
C
?•) i—t OO
NO
NO
CM
ON
O
CN
C
O
oo
c
h vi r-
00
U0
NO
NO
O
O
co
c
[«».
o
o
O
ó
o
NO
ON
CN
00
r
>
?^"
0
co
CN
CN
ON
CN
O
r-
r
ON
CO
ON
ON
co
CN
ON
<—
o
o
cnNOm
^ t^ H
COONIO
tOO
p; S; 2
oo •—'O coONVi\Dcn co
viviso r-ooNcNr- g
mroo
T1COCN OI^IO
1-^ l-H ^ ON
ON co O ON
Vi CN I— Vi
\O O ^- f-
^O CO CN ON
r> r oo
NO CN ON NO
co in
«
m
ON ?*
NO o
co
o
o
c
o m
oo
r
~
C
N ?<*• _
ON * oo
r
~
>
n CN —» ON •"-*
Ul >— 00
K » U
UJ UJ vi
N)00O
ON tO
Ul U
to .—
U O
UJ UJ vi Ul UJ OO to . ON ON
N)00ON >— NO H- Ui ON 00 ^*
— v] — Ul vi Ul *— UJ 00 UJ
>— tO Ul Ul
Ul O -0 W
ON 00 to vi © UJ
UJ Ul vi O 00 Ul
UJ vi 1^ H -J N
vi KJ UJ 00 U) .— h—
00 tO O 00 " >— NO
NJ 00 NO 4*. vi tO UJ
*- 00 UJ NO Ul
(O OO 4* tO i—
8
ON IO >— *>? O O
O Ul — UJ vi —
00 ON ON ON ON 00
vi to NO tO tO 00
UJ 4i tO Ul NO NO
H- NO tO
NO vi 4*.
U O O
U\ Ul
Ui NJ Ui
c
c
c
c
4>
NO
a So
UJ ON
4^
oo
Ul
UJ
to o
ON
o
Ul
L
0
Ul
U
J
o
po
UJ
to
Ul
p
8
Ul
22 S S 8
UJ
ON
UJ
1
NO
to
ON
00
Ul
v) vi
4*. 4i
t
oo
NO
?vi
UJ
S
5
E
?
5
0
7
Ul
to UJ
UJ
UJ
Ul Q •—' O0
2
o
4*
Ul
NO O0
Ul
00
to
C
2
to
c
c
s
UJ
sO
tO .& Ui 4^
UJ
UJ
00
©
O
O Nj
5
UJ
Ul
00 ON 00 U> UJ
-J NO .
o to >—
o J *>
tsJ -J UJ Ul UJ
•—' Ul tO O Ul _
ON O SD N> ^ O0 H- M
KJ^DUlN— Ui O Ui 4^
o
to
NO tO
UJ 4^
00 vi
UJ
NJ
0 Ul
J tO
NO
NO
00
cc
UJ
I
g
ON UJ
Ul UJ
i. UJ
UJ
vi
u
>
U
J
O0 K-
IN to
oo
U
J
Ul
-^ ON
Ul Ul
to
c
3 ON
ON
oc
00
UJ Ul OO UJ UJ -J tO UJ 4? UJ
o
c
t^ to
oo
o
c
c
UJ
X ©
tO
U
l
v
i
Ul
0
0
s
to
NO
UJ
1 UJ
1
5 ^
?
o
8
ui UJ vi ON ^^ ui
_ NO UJ NO 00 ON VO
Ul Ul Ul UJ ON Ul vi
Ul 00 tO vi Ul tO :
*?? NO H- Ul tO © vi
©ON V]*O4*IONO >°
?— UJ © -t^ O ON to UJ
NO S vi ui © ON
O
N
o
Ul
to ON
t
o
v
i
-J
00
Ul
Ul
00
00
UJ 00
N
O
t
o
Ul
UJ
Ul
NO
UJ
ON UJ
t
o
3
to
8
00
ON
to
00
UJ
UJ
vi
vi
Ul
Ul
to &.
NO ON
N
O
-
J
ON UJ f^i ^^ y~^ ^^ \& ^**4 ^^ ^0 ON ^*^I ^^
O\ 00 i- Ul Ul ? M ^ UJONONUII—
M U to H-t-NOvlOO NOIOOOOOK-
ONOONO iONOlOOOUl 4i.vltOtOUl
UJ OO © ^*
2 O - Nb
vi Ul UJ ON
v!4*. i— tO v) tO i— Ul4^4^4^ON Ui NO UJ UJ ON — CC
4^ — cc u» UJ ON Ui ^ cc — vi UJ Ui \O łN M 4» 4^-4>
tO Ul
Ul vi .
-J Ul H- vi
O0 00 Ul 00 UJ
ON NO *- ui J>. K-
ON UJ Ul Ul Ul 4»
vl UJ vi UJ vi UJ NO
ON J> 00 UJ © 4> Ul
— S M M M 5 sl
*>• ON O H- tO
Ul ON vi ?k 00
4^- Ul Ul v] UJ
vi Ul 00 UJ H-
ON NO ON ON ON
© to ?—
oo w o o
- ui >S
,— oo ?— i— ON
ON UJ 4^ 00 00
NO -J ~J 4>- NO
W A O v] vi
O U >1 -1 i-
4N Ul 4N OO H 00 O Ul ^ K CC CC
UJ©NOON© 00tON04>N0 vltO
0000vltO0N 4>H-ON4i.UJ 4^-
Ul ?— ON tO tO 4^-OOONH-tO 00_
IOON-O.UIS1 O0^-UJUJUl ^-vl
WUJO UJ|OVOON>—
vi UJ to UJ Ui i—
to ON ON NO IO O
00
ON H- vi vi tO UJ
U
l
NO
C
5
UJ
4^
O
ON
00
UJ
>— to
UJ
0625
3
9941
3
?-
vi
vi
J
ON 3
3 -
J
00
UJ
i
oo
vi
Ul
s
u!
-0
to UJ
00 NO
Ul H-
Ul
00
UJ
©
to
U
J
o
©
J
4^
2
Ul
Ul
o
ON OO
00 ©
S B
Ul
NO
ON UJ
Ul t—
'
S
00 \O O '—' t~~
^H ^H 00 ^H O
co i—i o NO r-
Tf ~ 00 CN C4
CM ^O OO NO 00
~ ON CM CO f-
. V) O ON ON
CO NO CM i/"l ON
— O ON Ol
00 — ON
ON NO NO
© UI —
^D cO ON
n m -H
3 ? $
01 t- ON — —
Ol — ?* ON f-
«o oo ci © NO io h io ON
^^ ON O5 ON 00 ^5 "^" r^* Tl*
*~* 00 ON Cl ON f"^ r~* Tf Ol
^ ^f ci r** ^ ci oo ON ^^
m
(-—
o
o
-t
00
NO
H
Ol
ut r
O O
NO oo
~H ON
NO
OO rtt^NO^
^^ oo Tt ND ^
NO ^f « tn tn
0 oi io vi
s
t m IO
t-~ Tt 00
00 f~ 00
oo o r^-
m n N
1 S S 5
es t~- —
u
-,
ON
r-
Ol
m
Ol
O
N
5
4
1
r-
1
8
6
7
4
6
3
2
3
3
5
P
§
m
r-
ON
co
O
l
NO
00
^r
Ol
NO
C
O
0
0
0
OO
8
7
4
2
3
4
2
9
3
0
9
6
1
9
1
0
NO -H ON NO
00 \O V>.
O0 i—< O ^
tN X T
ŃO r- co r-
co co o n \o ^o
CN o oo
N d (N Tt OO O0 i—"
ON *-H O Tf ?—i O
ON ^^ co ON *O r*1*
*n o ^f (N -—i CN o
O ON C~l CO ^H t**-
Q\
oo o\ r- ^ r-* ^
u^
O CN <* (N >n n —
r-
— Ol NO
00
Ol
NO
o
O0
t/~i Ol
o
Ol
r-
00
NO
V) O
oo
O
J
Ol
00
Ul
^ ON
Ol
oo o r- ^
ł—< *O O t*-
ooołnr
ON CN
oo in
00 ^H
t CO VO O O
fN CO CN CO O\
00 V) 00 »—' CN
r- ON
00 00
oo O\
ON Ol
ON NO
m
—
7
3
7
1
6
0
5
8
0
00
0
4
3
5
4
7
7
3
2
30
1
5
2
5
m
es
es oo
o
NO ^
f
00
tr\ oo
ON
00
CO
oo cn
00 li
?>
ON
O 00 —•
cn ^ t
S 8
Tf o) co o) O
r- CM r^- o o
O0 (M 00 i—i \O
rf oo oo —i o
CM O ON
CO Wi
ON CO 00
^^ IN-
I— O VI
^" O\
CM ^ t-
r- oo
Tf 00 UJLA
ON -
J
i
—'
ON
L
A
UJ004^
O
i—'OtO
-J
*O
•
—
sl
U
ONUJLA
O
to to so
o
^ -
^
oc
^
.
w -J w w
Ul O
UJ tO
Ji
oo
u)
LI
N!
to
tO ON ON tO H- LA
U> U> UJ tO UJ H-
00 SJ ON LA 00 NO
ON O\ O t*o "»j 4^
J> NO ON to
a M o u
UJ ON UJ Ui
4^ -J tO Ul
I J ^
NI u oo
e NI
i— ON —
00 00
ON tO ?—
O NO
4^ to O
4^ to
UJ tO Ul
H- O
OOO
OOO
N
tOOO
OOON
UJNI
^-NO
NO
0O
Ni
ON
NO
NO
OO
NI 41 4^
to
00
o
to
t
o
to
ON
UJ
Ni
Ul
Ul
UJ
O
Ni
Ul
N)
Ni
ON
00
Ul
N]
Ul
O
N
00
—
Ni
Ni
8
00
ON
00
Ni
00
Ni
0
0
"-
ON
UJ
NO
Ni
UJ
NO
NO Ul OO
Ul
Ni
to
ON
UJ
t
o
O UJ UJ ON N]
to oo UJ oo H-
tO NI UJ Ul Ul
ON 4*- ON ON "
tO ON Ul IO
OOLA tOVOONQN4^ Ul -sj |O Ji O
NO-J \OtO004lk^- LA ?— 00 M s]
.. -o, ^5 ^^ O ^5 oo i—1 to ^o oo oo UJ
\O UJ M G\ -^-JONUJOO »O ^ W O 00
Ji.^-NO-J - M S) \O M N> ^ CO 00 Ul
o
00
ON ^3
U
l
^
o
4^. LA
8
o
oo
ON ON
H- OO
NO UJ 00 tO
Ni
to
Ni
Os «
ON
Ul
UJ
o
c
ON
00
to J>
NO
t—1
Ni
00
ON
o
c
41
UJ
00
N!
UJ
Ul
00
UJ
o
c
00
UJ
to 41
Ni
OO
UUt O\ OO ~
]i -
O
ON
UJ t
Ol H' 00 tO 00
00 Ul ^ O 00
v^UJL/iUJLń
i—' 00 UJ
-J O UJ 00
4^. 00 UJ \O
U
J
8
00
Ul
Ul
UJ
8
Ni » S
"
~
O
N
^
—
Ni
ON
Ni
Ul
00 4i X
N
C
8
8
5
00
UJ
ON
-J
o
NO
Os
UJ — UJ
i— IO tO
U
J
ON N- 00 NO
' OO NO 00
O >J 0O
Ul 4^ O0
H U| 00 O ON UJ i—
00 Ul s] O0 VO 00 ^O
W W O O0 N> LA UJ
O 00 5 VO 4^ NJ NJ
O\ vi t NO NO LA 4^-
to to H- to to
tO LA O NO NO -J -J
-J -J -J ON 4^ LA O
Ul tO O Ul tO O "
•— Ni N- <— O N-
to
ON NO
Ul O
NI ^-
2 O
tO
U
Ni — Ni
00 N! tm Ji
S 3 *i S ,
OUJUJNIOO
ONONI
M Ul O> 4N ^ 41 '->J
'—
Ni Ni *- O O —
UJ tO UJ Ul Ul
Ui Os O NO I
UJ 00 NI 00 4
00 ^- Ul Ul NI
UJ O 4I ON
00 i— . Ul
Ul UJ tO
NO *
M
Ul
«
O
UlN
OU
JtO
O
ON
INI
U)
O NI
O\ ?-
00 00 NINOOOOON NONONIUJ
_J>
J>OO
00Ul OOOOONINO UlUlONtO
H-O\VO"-UJ
I
OOSOSOOOO H
« NI A O
"
— ON IO Ul
00 ti LO Ul 00 NI
NI « w U
ONtOtOOUl
4
10000O
^J ^^N rj^ ^^j ^^* tj^ N^j ^T^ ^-^"
(Sco^eNco oo i—i ir» (-?
1\ O N X ON © Vł f-
? es m t-~ mt-csco
sr-cor- r- co oo m
es m r- vi ci
1 »n r NO t-
s
Vi ©
S 3
r^ ON ON NO
00 5 1O (N
r~ o oo (vi
NO ~- 00 ON
0
5
7
0
7
49
08
8
4
3
9
5
1
0
4
8
3
8
74
29
1
61
27
5
6
5
2
4
8
37
56
2
31
37
4
10
53
6
17
44
3
6
1
0
2
0
3
3
6
9
7
80
76
7
61
88
6
21
55
1
3
9
2
6
9
1
9
8
1
8
19
36
0
4
9
3
2
5
3
8
8
3
1
44
90
1
91
62
3
4
6
8
3
3
90
37
9
92
34
4
53
84
1
03
82
9
3
3
1
4
1
8
8
8
7
4
99
43
9
96
69
3
96
00
9
0
7
8
5
5
(S
ON
N
O
r
-
S
0
0
1
0
2
1
4
0
2
8
6
0
3
6
7
NO Vi
NO es es
NO
ON CS r*~
O CS NO
S
CS NO
—' tS
00
e
s
9
7
5
2
6
7
1
7
0
5
3
1
00
8
8
2
i
o
o
ON
o
r
-
00
NO
00 00 00 00
o r-
0
0
o
1
O
00
00
ON
N
O
TT
f- Vi
C
1
Cl
CN
0
0
0
0
N
?*
00
N
O
Cl NO
<
00
ON
V
i
0
0
C)
o o
c
1
t—
o
-
t
8
3
©
8
00
Cl
oo rs
r*-
co
Vi
ON CO
ON
rs
rs
V)
ć
s
s
•>* t-
—* 00
rs oo rs t*- ^t
t*** oo "^ C"*" t*"*
S
r^ co © ON
IT) — NO ^-O
r- oo NO vi in
^
Ul
6
9
5
t
o
ui ON to oo ro
O NO •"- O NO
Uł
J>
g
NO
o\
Ul
Ul
Ń
o
NO Ul
vi
NO
2
o
J
vi
o
ON
vi
NO ON oo 8
S
J8
IO
J »-
©
-
^}
IO -J tO
Ul © Ul
N>
ON
NO NO
(O VC
O0
-
Ul
00
O0 - U «
«
Ul 00 00 U) U)
NO NO M W
Ol J^ -
O
ON
tO UJ
U)
to to
NO
w N>^ *—j 4* \*n
Ul ON O O -J
ON NO ?- OO *.
S
O 00 © Ul >— i—' C Lft N> ^ sj
(Oi-- UI-J-JONO UI I— UJ 00
-J w M SJ \D UiUJ^vOUl O0 ?
— H- Ul O 00 H—
4*.-JO
0O Ui K> H 00
OOtOUlUl
* Jk M NO NO H-
UitOUl
NO Ul NO *» O0 -J
OO 00 00
Ul Ul — NJ ^ O
O tO
S
-^ NO ON UJ O
Ui O
ON Ui Oo Ui O
N© Ui
00 N> i—' 4^ ON UJ
Uł •—'
UI^OONH- -
JUINO
X
to
77
3
vi J^ J>
NO
NO
o
Ul
to
oc
vi
"-
—
o
Ul
00
>
UJ
to
Uł
00
Ul
to
o
Ul
00
Ul
IO
Ul
vi
Ul
to
o
o
O\
Ui
1
to
oo
00
~J
NO
1
Ul
<
00
Ul
- to oo
ON
Ul
5
Ń
UJ
Ul
Ń
o
to
Ul
Ul
ON
UJ
Ul
00
UJ
s
3 00 00 NO ON 00 "-
00 Q0 v] - Ul ^ 00 Ul
^O-^-©^- UlUlH-
W Ul —. v] .U -JUlO
O « St lO t. 00 O tO
I
O
00
Ul
0
0
NO
to
~J
U
l
t
o
to
-J
00
Ul
^1
Ul
Ul
t
o
?J
Ul
J
00 > to
tO NO NO
W - NO
4± U
4
7
2
4
6
1
2
8
9
9
6
6
1
9
3
6
9
3
1
?
6
5
6
2
6
8
8
8
5
3
0
7
s
o
o
NO
vi
Ul
Ul
00
t
o
Kl
IO
IO
OO
-J
t
o
o ui
00 IO
UIO
Ul Ul ~J — •J NO
4^
H- O Ul Kl to J> Ui — NO
NONOtO
ś S
O U
•J - w fj Lfl
4k W Ol M N
-J ON UI O ^1
—
J
ON
O
NO
W Ol
*
«
vi
to Ul
tO
Ul
Ul
J
*
H- 00
Ul
U) -
J ON
ON
O
O
to Ul
O tO
Uł
ON
ON
NO
NO
to U
to
O
ON
to
Ul
OO OO IO Ul
tO Ol
O0 ON tO
U Ul -O *-
Ul Ol 0O tO
"• ON O NO
O ON -O. ON
ooooo ooooo
n oo
^
ON ON ÓN ON
I
es rt .-i
o
o
o
O
N
N
O
v~t oo
ON t-»
co
r*- O\
v*> t— ON
"-H
OO 00 00
ON
ON o5oO
O\^ O^ O\^
O^ ÓŃ^ O^
O\ O^
Ifl ID IO
1 ""Ł
s
& -
cs ci ci -H Tt
« ;p ^o
8
ci
ci
v-i
r-l
oo
ic
w>
»o
wi
©ci
P~
P~
©
P~
io r~„ t-, r-
_ co oo
oo « co
os os.
oo ?* oo rs
r- io
s
22 S
ON NO r- 00
ON ON 00 'O c*^
•—' *n ON cn r-
s
3
•^
^HO
OOC
S^H
Ol Ol
-* Cl
Cł
00C
N1O
—< ci ci Oi
rt o\ ci ^ ^t
^-"n
ci t t «
oi o oi P- ^
oi-^-r-
C^OOOO
OOOOOOO
lOS Ol O\
Ol 5 Ol Ol
O "i N H «
r m r> eo o
»n
O
N
O
O
C
S
^
"
O
-
—
'
O
O
0
0
O
N
O
N
f
-
"
*
r
o
N t ^O
h
C
l
I
O
H
T
f
V
"
>
(
N
•
—
<
^
-
<
Q
?g-
inOd
'—'
ONNO
W"!^1
^
ON^O
Or-
ON
CN »—i
O 1O O
o
S •o
oo
oi p- —i r-
oo oi * «
S
^HON •^?ON^^'^00 Cl 1O
es
3: S
LTi Ul 4*
Ji 4^
L>1 O CC
O1-. -fc*
. * - * p
ON ON ^ ON ON
^j -^j -j -j -4
L/i ON ON -*4 -4
-J *- U» O N>
ON ON ON ON ON
-J -O ^J --J -J
-4 OC GO CC \C
ON O W ON O
O "ON
Os ON ON ON
00 00 OO 00
o E » w
*s> to
to
^D ^D
^D
"Jo Ni to JNi Vi V>
00 CC 00 00 O O
-pi L/1 -J 00 O i—? r-J UJ +*? ^
\O 00 Ni ON >—'O K) 00 sl 00
— -J 4^
t>J ^>J \*i Xti \*i X*i 1>J Xti X*J
\»J Xii
K-S) Uj2uivl00 O 1- N
W ^-O N-IOUIOON
4^4^Uiv]
o "to
NO O
a
J J go
-J oo o
K> -J Ni
ON
oo
O
ON ON ON
O\
a
NO
ON
NO
NO
3
i— 5. —
uo
222
2 S
O tO Ul
0C ^-
ONNO-
fc.*- —
S
00
to
2
to
UJ
s
1°
UJ "UJ UJ UJ UJ
UJ O Ul O ON
00 vi
vi NO
lvJ
UJ N> 00
ON tO
H- Ul
ON
S
UJ
UJ 00 UJ ON
Ui ON
4^ -t* ?— oo
— to UJ
vi vi
?t- UJ
I bo oo
I lv) UJ
bo oo
4i.
ON
a
ON
Ni W Ut
8
'»— "— — "t—• Ni N> Ni Ni NiNiN>NiNi L*J UJ UJ U) U> UJ
LA N] OO \O i—' N) W L/l ONON-JOONO O •—» W ^. O\ 00
S! vi U i— Ul NO UJ UJ
0> tO Ul Ul Ul i '
© O >—'ON <—' 00 -4 ON ON ON^NJ-JLA *-rt
00 -& "^4 >^ 4^ ^O ^^ ??^ ^5 ^O ^3 ON ^O Ui Ni
W U) UJ
- to io
m w NO
6 OJ vo
UJ UJ UJ UJ 4^ -t- -ti
UJ Ul vj Vp O H^ UJ
NO ON UJ O H- ON Ui
00 ON Ul Ul NO UJ O
w
UJ
Ul Ul
U
l
U
l
U
l
U
l
»
i
O
N
U
l
O
N
0
0
Q
t
v
)
?
—
U
l
I
O
©
—
00
^- O 00
v) O vi
*-
Ul vi 00
8
§ § 8§§8
Ul Ul 4^
Ul O 00
UJ
UJ
UJ
tO NJ
to
00
ON
4»
Is) O
NO OO
-J
oo os y
\
s
** 01 cn
TJ-
ol cn
(— 1/1
t— ol os os © co o- cn © os oo os o ol
vi os cn
oo ol t-* co oo co os in © *© oł os "o
co oi
^i 1 "1 9, o s\ o\ oo oo x r-^c--^vo
00
o
C
©
" ** of co" co" Tt" vS* so" c-* oo" oś" ©" ~-*
_
„
H
„
H
r
t
—
-
M
r
t
-
H
r
t
r
t
M
O
J
O
l
O O — OJ cn
0 ^^ c*" cn
1 r~ ol os
oo, SĄ vj. co^
cn OJ ol ol
- ol ol
- o oi » r-
_ oo" os" os" o"
—"
Ol CO TT
ol — >—< cn
" 2 S„ S
o- oo" os os"
8
O o —i — oj
O Ol Tt O t>
OJ Os 00
O oo u-i cn
Ttr-r~ oiojr-sooo vi t r- oi
cn ^p , , i/^ i , i/~) ,»H o* T^ ,™^ oo ^f
^O TT Cn ^^ O 00 O* ^O Tf ff^ r—* CJ
oo" os" © —* ol" of co Tf" in VD" t~-" oo"
O
3
00 Tf — 00
O o O —' ~ oJoJcn
oo r-
OJ
s
t- Ol
?o ćo
oo os o O *?« oi
— oo os * « in O oł vo
rń cn OJ ~
f-i O i/^ *?*
o — cn r-
o" o" o" o*
» n
«
o o o
« f
*o os
co r~
«
o" o" o"
o" o"
o" o*
—* —"
of of
co" co"
?*"
« 3 '
S t *
»
OJ 00 Tf
O VO M
00
*o" v^ r-^
oo" oo* oś"
oś
— o- co
CN T* 00
OS Tł
O O O O Ol
o" o" o" o" o"
o *^ooo~coos "TtTtt--~*cn OJSO
« ooosirivir~- co — — T+OO TJ- —
m. "1 *. ". *. oo N vo q * °! ""t
o" G? o" ~* ** ^" of of co" co" co" ^t*
- O) 00
Os io O
\d K oo*
I
S ih
n oo osmooi
V f^_ '•"•
^^? W~t Os 00 ,"?* f*-
OOO
O— Ol-tft— O>
o" o" o"
o" o" o" o* o" o"
V"> f-T*-l/-){--00 SOOOSOIOO SOTf
vo oo co o Os o cn oo co *?"* os os co
ol mosco^o— «-iOsTfOsco oo *
CO CO t
SD
M —" M CN Of
oo os ^
1
O —< ol
co
22 2 8
S?!8
S
619
?
&
00
&
Ul
UJ
±
s
UJ
NO
OJ
oc
q
OJ
ON
OJ
Ul
UJ
OJ
OJ
UJ
to
UJ
UJ
o
to
NO
to
00
to
to
Os
to
Ul
to
UJ
to
to
to
to
to
to
O
NO
OO
1
8
1
7
Os
ON
Ul
Ul
1
4
OJ
1
3
1
2
o
O
NO
NO
00
o
s
ii
NO
1
2
1
4* -O.
Ul NO
Os 4^
1
3
7
4
8
2
:
8
3
2
1
8
6
5
4
4
9
0
6
2
7
3
6
4
4
0
2
0
4
0
1
7
8
8
1
7
6
5
7
6
9
7
9
3
8
9
8
0
4
2
2
7
1
6
5
6
0
9
3
5
3
8
9
9
1
,99
95
J>
OJ
UJ
t
o
o
NC
OO
^i
ON
Ui
Ul
j>
4i
UJ
to
to
—
o
o
NO
NO
OO
3
9
8
3
2
9
5
6
1
0
92
9
2
5
1
5
7
6
9
0
5
2
3
8
5
7
5
9
1
6
2
6
2
6
6
1
9
6
5
3
2
4
6
8
8
0
5
7
4
3
1
8
1
1
1
9
6
5
8
8
9
8
6
3
9
1
?
0
8
2
2
2
6
4
9
-o
-
J
ON
b
l
Ul
t
o
to
o
NO
NO
oo
~j
ON
Ul
Ui
J>
UJ
UJ
to
—
K-
o
,99
1
2
4
9
5
1
1
7
7
5
g
3
1
1
5
8
4
8
5
9
1
3
8
4
2
1
7
0
7
:
;
96
6
2
8
9
:
5
8
6
8
8
7
1
9
2
5
0
1
8
1
5
1
3
4
4
5
8
7
8
7
to
?
—
1
6
0
5
2
0
),99
5
NO
00
o
c
ON
Ul
Ul
OJ
to
to
&
NO
NO
oo
~j
Os
Ul
j>
4^
OJ
to
to
.
—
,70
7
,9
41
,
1
7
7
4
1
6
,657
1
0
6
1
4
8
3
9
8
6
5
0
9
0
6
1
6
4
4
2
6
6
9
1
0
9
6
2
3
3
5
0
9
7
8
9
0
7
3
3
6
2
6
5
5
9
5
3
2
5
6
5
6
5
8
7
9
1
9
8
5
2
4
0,9
9
to
o
NO
Ńo
OO
-
J
ON
Ul
i/
i
OJ
t
o
k
j
o
NO
NO
o
o
^i
Os
ON
Ul
OJ
OJ
,35
7
5
5
5
7
5
5
9
5
6
16
0
3
6
6
5
7
5
7
8
5
9
0
9
2
1
5
4
3
3
6
5
4
8
7
8
1
0
6
3
3
6
5
6
9
:
9
0
8
0
4
7
:
2
9
1
:
5
3
9
7
9
1
0
4
7
3
0
8
5
7
3
8
4
4
1
2
0
Ul
w
OT
00
-
J
Ul
UJ
to
o
o
NO
oo
ON
Os
Ul
4^
,76
4
9
3
0
0
9
8
8
9
2
43
9
6
1
2
7
8
7
9
6
5
1
4
4
3
2
6
5
0
9
6
9
5
8
8
4
0
7
5
2
6
9
4
6
5
6
6
4
?
9
8
0
7
2
2
8
1
4
9
3
7
0
8
8
2
6
1
5
1
3
7
9
o
"NO
Ul
UJ
UJ
l/l
Ul
UJ
Ul
3
2
UJ
UJ
O
2
9
to
to
g
to
Ul
2
4
to
UJ
to
UJ
to
to
Ń
o
5
3
1
8
1
6
6
8
9
8
1
8
9
4
9
0
8
1
21
5
3
5
0
4
8
7
6
2
5
7
6
5
9
0
7
0
5
1
1
9
6
3
4
3
4
9
2
6
4
3
7
9
7
9
5
2
1
1
0
2
7
1
4
3
4
5
9
9
7
6
8
9
3
9
1
1
4
2
9
2
4
7
3
o
8
?
UJ
NO
UJ
00
OJ
UJ
ON
OJ
Ul
u>
Ul
UJ
UJ
UJ
to
UJ
3
0
to
NO
S
o
2
7
2
6
to
ON
2
4
to
UJ
1
3
to
8
1
9
1
8
,44
9
u
,
6
2
1
7
0
8
79
5
8
8
4
9
7
4
0
6
5
1
5
7
2
5
1
3
4
5
4
4
1
5
3
7
6
3
5
?
?
?
8
3
6
9
3
8
0
4
2
1
4
8
2
5
5
3
6
4
4
7
5
5
8
8
7
0
3
8
2
0
9
4
0
0,8
0
?
UJ
t
o
UJ
NO
UJ
00
3
7
3
6
3
5
UJ
J>
3
3
UJ
to
3
2
OJ
3
0
2
9
to
00
2
7
to
Os
2
5
to
2
3
2
2
to
2
0
,31
3
3
6
6
4
2
0
4
7
4
52
9
5
8
5
6
4
1
6
9
8
7
5
5
8
1
3
8
7
2
9
3
2
9
9
2
0
5
3
1
1
5
00
2
4
2
3
0
7
3
7
3
4
4
0
5
0
8
5
7
7
6
4
7
7
1
9
7
9
2
8
6
7
0,7
0
&
S
l
w
4,
t
*
UJ
NO
UJ
00
3
7
UJ
ON
3
5
UJ
3
3
3
2
UJ
S
2
9
2
8
2
7
2
6
to
Ul
to
2
3
2
2
,86
4
,8
89
,
9
1
5
,9
42
,968
9
5
5
,0
22
0
5
0
0
7
7
1
0
5
1
3
4
1
6
3
1
9
2
2
2
2
2
5
2
2
8
2
3
1
3
3
4
4
3
7
6
4
0
9
4
4
2
4
7
5
5
0
9
5
4
4
5
7
9
6
1
6
0,6
0
Ul
O
I
OC
*
to
?
OJ
NO
OJ
00
OJ
OJ
ON
UJ
Ul
OJ
UJ
UJ
UJ
to
UJ
g
to
NO
to
00
•
to
Ul
a
\
-
*—
mmm
m
^
^
MB
m
m
??
?
^
~
1
\
m
tn
m
NO
K
00
ON
g
Ńo
CN
NO
ro
3
10
NC
8
OO
NO
Os
O
o
Ol
K
NO
0,6
0
8
3
8
8
1
3
7
8
8
7
6
4
7
3
9
7
1
5
6
9
1
6
6
7
6
4
3
6
2
0
5
9
7
5
7
4
5
5
1
5
2
8
5
0
6
4
8
4
4
6
1
4
4
0
4
1
8
3
9
6
3
7
5
3
5
3
3
3
2
3
1
1
2
9
0
270
OO
4
9
5
0
?
CN
Vi
m
5
6
00
VI
ON
s
NO
Ol
NO
cn
3
NC
NO
00
NO
6
9
7
0
s
oi r»
0,7
0
2
6
1
2
0
9
1
5
7
1
0
6
0
5
4
0
0
5
9
5
6
9
0
6
8
5
7
8
0
9
7
6
1
7
1
4
6
6
6
6
1
9
5
2
7
4
8
1
4
3
6
3
9
1
3
4
6
3
0
2
00
CN
2
1
4
1
7
0
1
2
7
084
"O
«
4
7
00
4
9
S
?
3
in
5
2
5
3
R
VI
3
o
5
9
s
Ńo
g
co
NO
3
m
NO
8
6
7
oc
NO
Os
NO
0,8
0
3
6
5
2
8
1
1
9
9
1
1
7
0
3
6
9
5
5
8
7
6
7
9
7
7
1
8
6
4
1
5
6
4
4
8
7
4
1
2
3
3
6
2
6
2
1
8
8
0
4
2
9
7
0
8
9
8
8
2
7
7
5
6
6
8
6
6
1
6
5
4
7
478
ro
W
?
*
4
9
5
0
5
CN
5
3
"O
5
6
00
00
5
9
s
Ńo
e
ro
NC
3
s
0,9
0
5
6
0
4
3
3
3
0
8
1
8
3
0
6
0
9
3
7
8
1
6
6
9
6
5
7
7
4
5
9
3
4
2
9
2
2
1
1
1
9
9
6
8
8
3
7
7
0
6
5
9
5
4
8
4
3
8
3
2
9
2
2
1
1
1
3
0
0
6
9
0
0
7
9
5
690
3
8
3
9
i
?
4
2
m
«
4
7
4
8
4
9
4
9
5
0
CN
cn
5
4
VI
VI
5
6
VI
00
00
5
9
s
0,9
5
6
0
0
4
3
7
2
7
6
1
1
6
9
5
8
8
0
1
6
4
6
4
9
2
3
3
9
1
8
8
0
3
8
6
8
8
7
4
1
5
9
5
4
5
0
3
0
5
1
6
2
0
2
0
8
7
9
7
3
9
6
0
0
4
6
2
3
2
5
ON
00
0
5
4
920
3
5
3
6
/
,
?
3
8
3
8
3
9
•
4
2
ro
4
5
9
4
8
4
9
o
5
0
V)
CN
cn
Vi
TT
5
5
5
6
56
),9
75
1
6
2
8
9
6
7
7
6
5
8
6
3
9
8
CN
Ol
0
2
7
8
4
4
2
9
9
4
8
2
3
0
3
1
2
6
9
5
0
7
7
6
?
0
9
4
3
1
2
6
1
0
9
2
9
2
4
7
5
8
5
9
2
4
2
8
2
6
5
1
0
3
9
4
2
782
?
?
?
?
cn
3
5
3
6
3
7
3
8
3
8
rh
4
2
4
2
4
3
4
6
4
7
00
4
9
V,
5
2
5
2
53
0,9
9
4
7
5
2
4
6
0
1
8
7
9
3
5
7
0
3
5
0
1
3
1
9
1
3
8
6
9
4
8
5
2
7
3
0
6
3
8
5
5
6
4
9
4
4
4
2
4
0
0
3
8
8
3
8
6
3
9
4
4
2
2
4
6
0
5
1
8
5
8
9
9
9
4
7
5
286
o
—
C
N
Ol
ro
in
>/?>
NC
r
—
00
ON
ON
o
—
CN
co
ro
T
Vi
NC
r~
00
Os
S
1
),9
95
7
3
5
4
8
1
:
2
3
0
I
9
8
1
7
3
5
:
4
9
0
2
4
8
0
0
8
:
7
7
0
:
5
3
5
:
3
0
1
0
6
8
:
3
8
3
:
6
1
0
i
3
8
3
i
1
5
8
-
9
3
5
i
7
1
3
\
4
9
4
i
27
5
i
0
5
8
i
84
3
i
6
2
9
4
1
7
i
2
0
6
i
997
00
CN
2
9
3
0
R
ro
3
2
cn
cn
3
4
Jt
ro
3
5
3
6
co
r-
ro
3
8
3
9
4
0
9
4
2
4
3
4
4
4
5
5
?
4
7
r-
I
3
6
8
0
6
5
7
6
5
4
6
8
1
7
3
8
8
1
5
9
2
3
0
5
0
2
0
7
3
8
4
5
9
1
8
1
9
0
6
6
3
3
3
6
2
0
9
3
8
2
6
5
6
1
8
6
2
0
3
6
7
7
7
5
2
0
2
6
4
0
1
0
7
5
7
s
2
5
2
6
r-
ro
NO
1
1M
I
MM
???
?
?
?
?
IM
tm
m
M
?
?
m
*
m
u
?
i
621
mwmmmmw
m
ZZ9
% .
NO
SO
SO
SD
so
00
OO
00
00
00
00
OO
o
c
00
00
—]
/
00
-J
Os
OO
-J
ON
UJ
NJ
o
OO
?4
' a
LA
LA
Ul
00
Ul
Ul
ON
Ul
5
5
Ul
5
3
Ul
UJ
5
2
Ul
5
0
Ul
o
SO
4
8
4
7
4
5
4
4
4
3
4
2
o
00
NJ
Os
5
9
UJ
3
$
*!
7
9
0
s
2
7
5
2
-
~J
o
ON
5
1
7
6
0
2
2
7
5
3
7
9
0
5
3
1
5
7
ON
OO
to
,
]
UJ
o
NO
NJ
ON
Ul
4>,
LA
(A
Os
UJ
_.
—
UJ
ON
so
Ul
3
i
sO
00
00
Os
LA
*!
*!
U)
NJ
O
NO
00
00
Os
Ul
Ul
U
l
3
5
5
7
?
>
8
t
j
4
7
to
Ul
3
8
ON
00
Ul
5
5
sn
0
3
5
2
o
J
o
"sS
^O
00
Os
"^
SO
to
Os
NJ
c
o
Ul
ON
o
LA
o
-j
OS
ON
^1
o
o
00
Ul
Ul
Ul
Ul
LA
Ul
Ul
Ul
Ul
Ul
Ul
Ul
4»
ON
L/
l
4
^
UJ
NJ
^
)
SO
00
—]
Os
LA
Jk
UJ
NJ
H^
o
^
o
00
3
2
5
1
00
-J
2
5
4
3
6
2
00
8
Ńn
3
8
Ul
00
7
6
ON
3
7
5
8
00
*NO
OO
o
00
UJ
o
LA
Ul
LA
ON
so
UJ
o
CO
NO
to
Os
NJ
00
LA
o
Os
ON
OO
Os
ON
ON
Ul
B
6
3
s
Os
s
g
Ul
NO
LA
OO
5
7
LA
5
5
Ul
U,
5
3
5
2
Ui
,—i
Ul
8
2
3
$
*
7
3
SO
u
00
7
5
o
2
7
4
5
CO
3
5
7
2
9
1
O
Ul
o
OS
to
o
00
00
00
sO
c
c
UJ
sO
Os
U)
UJ
o
Ul
o
^>
~
J
-
.i
-J
-
o.
Os
Os
Os
ON
Os
Os
9|
ON
Os
g
Ui
Ul
Ul
LA
Ul
t
J>
UJ
1O
o
SO
SO
OO
-J
ON
Ul
UJ
UJ
to
—
NO
00
-J
ON
Ul
2
2
UJ
ON
?
7
8
to
s
2
1
UJ
8
2
s
2
3
S
8
LA
ON
"
f
9
NJ
NJ
u.
ON
.
UJ
so
so
SO
NJ
OO
UJ
so
UJ
LA
~
J
-J
--]
^i
-J
ON
ON
ON
ON
Os
Os
ON
ly
i
Ul
t/
l
-J
ON
Ul
4^
UJ
NJ
O
o
SO
00
Ul
UJ
UJ
NJ
o
s
o
00
9
2
s
o
n
5
2
7
6
0
00
00
8
—
to
3
7
6
2
7
4
9
UJ
3
9
Ul
Os
Ul
7
8
O
SO
NJ
o
NJ
UJ
Os
U)
00
UJ
SO
ON
NJ
NJ
ON
Ul
8
2
OO
8
00
7
7
7
6
7
6
7
4
-O
-
7
0
OS
ON
ON
ON
ON
Os
2
s
s
Os
*
f
S
to
8
1
9
1
—
s
jo
3
8
00
6
7
7
7
3
2
7
4
8
Ul
OO
o
00
NO
UJ
LA
OO
NJ
Os
-J
4>
SO
ON
OS
ON
Os
00
OO
U)
Os
s
OO
oo
00
OO
00
00
00
00
-
o.
-~.i
~-
l
-1
ON
ON
8
~J
OS
Ul
UJ
NJ
o
00
-j
ON
LA
UJ
NJ
NJ
^-
O
sO
OO
9
4
5
0
0
5
0
6
5
9
2
1
1
8
7
2
4
8
3
0
9
3
7
1
4
3
3
4
9
6
5
5
8
6
2
2
6
8
5
7
4
9
8
1
3
8
7
8
9
4
3
8
0
0
0
7
4
1
4
0
2
0
7
2
7
4
3
4
1
4
0
9
0,8
0
NO
NO
§
8
9
00
00
00
8
6
00
00
00
00
00
8
0
-
o.
7
7
7
6
7
5
7
4
7
3
7
0
7
0
^_
,
1
NJ
to
to
UJ
UJ
UJ
41
.
4=
-
Ul
Ul
LA
ON
ON
-
.i
00
00
SO
sO
o
SO
1
1
SO
Os
1
UJ
UJ
-J
to
s
^1
O
°
Ul
NJ
UJ
Ul
Ut
-J
NO
NJ
70
v
n
sn
sn
00
OO
00
OO
00
00
00
00
00
00
00
-0
-1
-1
~-
l
^1
Ul
U)
NJ
SO
00
~J
Os
Ul
Ul
J>
UJ
to
o
00
ON
Ul
2
UJ
8
0
8
8
2
6
8
4
4
8
6
2
8
8
1
6
6
8
9
1
7
3
9
6
9
5
5
9
7
4
9
9
3
0
1
2
0
3
1
0
5
0
0
6
9
0
8
9
1
0
8
1
2
8
1
4
8
1
6
8
1
8
8
2
0
8
8
2
2
2
4
9
0,6
0
NO
SO
SO
OO
OO
00
OO
00
OO
00
OO
00
-j
00
-J
Os
00
-J
Os
Ul
JA
NJ
o
NO
OO
\
Tablica 5. Wartości krytyczne rozkładu F Snedecora
a = 0,10
S
1
2
3
4
5
6
7
8
9
10
15
20
30
50
100
200
500
i
39,9
49,5
53,6
55,8
57,2
58,2
58,9
59,4
59,9
60,2
61,2
61,7
62,3
62,7
63,0
63,2
63,3
63,3
1
2
8,53
9,00
9,16
9,24
9,29
9,33
9,35
9,37
9,38
9,39
9,42
9,44
9,46
9,47
9,48
9,49
9,49
9,49
2
3
5,54
5,46
5,39
5,34
5,31
5,28
5,27
5,25
5,24
5,23
5,20
5,18
5,17
5,15
5,14
5,14
5,14
5,13
3
4
4,54
4,32
4,19
4,11
4,05
4,01
3,98
3,95
3,94
3,92
3,87
3,84
3,82
3,80
3,78
3,77
3,76
3,76
4
5
,06
3,78
3,62
3,52
3,45
3,40
,37
,34
,32
,30
,24
,21
,17
,15
,13
,12
,11
,10
5
6
3,78
3,46
3,29
3,18
3,11
3,05
3,01
2,98
2,96
2,94
2,87
2,84
2,80
2,77
2,75
2,73
2,73
2,72
6
7
,59
,26
,07
2,96
2,88
2,83
2,78
,75
,72
,70
,63
,59
,56
,52
,50
,48
,48
,47
7
8
,46
,11
2,92
,81
,73
,67
,62
,59
,56
,54
,46
,42
,38
,35
,32
,31
,30
,29
8
9
,36
,01
,81
,69
,61
,55
,51
,47
,44
,42
,34
,30
,25
,22
,19
,17
,17
,16
9
10
,28
2,92
,73
,61
,52
,46
,41
,38
,35
,32
,24
,20
,16
,12
,09
,07
,06
,06
10
11
3,23
2,86
2,66
2,54
2,45
2,39
2,34
2,30
2,27
2,25
2,17
2,12
2,08
2,04
2,00
1,99
1,98
1,97
11
12
,18
,81
,61
,48
,39
,33
,28
,24
,21
,19
,10
,06
,01
1,97
1,94
,92
,91
,90
12
13
,14
,76
,56
,43
,35
,28
,23
,20
,16
,14
,05
,01
1,96
,92
,88
,86
,85
,85
13
14
,10
,73
,52
,39
,31
,24
,19
,15
,12
,10
,01
1,96
,91
,87
,83
,82
,80
,80
14
15
,07
,70
,49
,36
,27
,21
,16
,12
,09
,06
1,97
,92
,87
,83
,79
,77
,76
,76
15
16
3,05
2,67
2,46
2,33
2,24
2,18
2,13
2,09
2,06
2,03
1,94
1,89
1,84
1,79
1,76
1,74
1,73
1,72
16
17
,03
,64
,44
,31
,22
,15
,10
,06
,03
,00
,91
,86
,81
,76
,73
,71
,69
,69
17
18
,01
,62
,42
,29
,20
,13
,08
,04
,00
1,98
,89
,84
,78
,74
,70
,68
,67
,66
18
19
2,99
,61
,40
,27
,18
,11
,06
,02
1,98
,96
,86
,81
,76
,71
,67
,65
,64
,63
19
20
,97
,59
,38
,25
,16
,09
,04
,00
,96
,94
,84
,79
,74
,69
,65
,63
,62
,61
20
22
2,95
2,56
2,35
2,22
2,13
2,06
2,01
1,97
1,93
1,90
1,81
1,76
1,70
1,65
1,61
1,59
1,58
1,57
22
24
,93
,54
,33
,19
,10
,04
1,98
,94
,91
,88
,78
,73
,67
,62
,58
,56
,54
,53
24
o
-
5
NO
00
ON
Ul
UJ
r
o
1
J>
Ul
ON
-
J
S
to
3
2
5
9
NO
NO
6
1
7
1
u
,
UJ
UI
Ul
ON
NO
to
8
9
8
o
$
i
t
7
9
i
Ul
Ul
o
UJ
UJ
4i
Ul
O
N
NO
—
to
Ui
NO
7
1
00
ON
0
7
UJ
Ul
4
1
5
9
'(
O
ON
UJ
UJ
?&.
Ui
ON
NO
„
to
UJ
ON
6
3
2
IO
5
3
Ńo
UJ
NO
to
Ul
UJ
UJ
Ui
ON
NO
l
to
-
8
3
3
fe
S
UJ
NO
0
5
0
1
UJ
°
UJ
UJ
_^
ON
00
l t
to
8
8
to
3
7
5
8
00
^1
to
00
9
5
s
s
"U
J
M
UJ
UJ
4,
21
4,
88
6,
09
8,
89
19
,4
23
7
9
1
0
1
^
o
Ul
o
to
UJ
O
N
oo
19
,4
23
9
00
te
9
5
S
u
i
7
3
u
i
B
s
8
5
to
UJ
O
N
00
t
to
8
8
S
00
3
9
ON
00
o
7
7
8
00
,
7
5
2,
85
2,
98
S
,
3
5
3,
64
4,
06
4,
74
5
,
9
6
8,
79
19
,4
24
2
o
to
to
UJ
-
u
Ul
00
^_
24
4
2
3
Ul
8
§
s
9
1
7
4
"JJ»
to
2,
74
2,
86
,
0
3
,
2
4
,
5
3
3,
96
4,
64
5,
87
8,
71
19
,4
24
5
*
to
IO
UJ
Ul
00
to
8
7
0
8
3
$
2
0
9
2
s
2
6
9
ON
to
to
UJ
Ul
00
_
24
7
6
7
g
4
7
s
5
8
B
6
7
00
to
to
UJ
Ul
00
?
8
s
u
i
2
3
g
S
00
o
O
NO
00
ON
Ul
UJ
r
o
X
o o
8
i
2
0
0
1
0
0
cc
o
g
Ul
o
•
UJ
o
to
OC
to
ON
t
to
to
7
1
a
7
3
7
6
5
.
3
)
8
1
00
oo
oc
9
1
to
to
UJ
UJ
UJ
UJ
UJ
L
i
?
4^
Ui
Ul
to
UJ
ON
NO
NO
o
to
to
„
„
't
o
00
o
u
,
00
o
UJ
00
NO
—
1
,
to
9
4
t
Z.
6
0
0
0
2
8
0
6
3
-J
?**?
J__,
to
8
5
00
ON
88
1
9
2
is
aa
8
05
1
s
Ul
7
7
NO
°
oo
UJ
00
Ul
s
93
1
00
8
0
1
ON
~.
l
00
o
c
00
NO
NO
S
-J
t
o
UJ
Ul
00
NO
to
-J
UJ
r
*
r
r
-
-4
J
-J
-J
00
00
oo
NO
NO
OO
-j
00
O
UJ
Ul
-J
o
UJ
00
o
to
6
3
66
1
7
0
-J
7
4
7
6
79
1
00
Ul
00
oo
00
s
6
1
6
3
s
7
1
7
3
7
6
oo
to
00
ON
o
,
4
9
,
5
0
1,
52
1
,
5
6
,
5
7
,
6
0
,
6
3
1,
66
1
,
7
2
,
7
4
,
7
6
1
5
2
0
:
4
2
?
46
1
4
9
Ul
Ul
Ui
61
1
6
7
s
7
1
s
ta
UJ
00
4
2
?
4
8
°
Ul
6
1
UJ
8
5
o
2
6
2
8
3
1
3
5
3
8
4
1
?
4
8
5
5
5
7
S
S
o
M
,
2
1
1,
24
,
2
9
,
3
2
,
3
6
,
3
9
1,4
3
,
5
1
,
5
3
,
5
5
0
0
1
? _.
to
pa
l
ro
to
to
UJ
UJ
Ul
Ul
o
UJ
O
ON
00
UJ
00
°
UJ
^_
.
Ul
, i
1 1
to
to
UJ
UJ
UJ
4^
4^
Ul
o
-J
NO
8
S
to
3
3
UJ
00
S
8
-/i
2
0
0
1
0
0
s
Ul
o
to
00
to
ON
1
CO
TT
l/l
NO
—
00
ON
o
es
ćs
CN
cs
cs
CN
ć
s
O
CO
es
co
CO
NO
co
00
co
00
n-
8
,
3
9
,
3
3
2,
28
,
2
3
ON
\D
es
o
B
0
5
s
0
1
$
S!
9
1
8
9
|
8
7
8
5
t
eo
oo
00
s
7
9
es
1 '
X
00
4
1
3
5
S
CN
CN
cs
00
m
es
o
0
7
0
5
S
0
2
g
ON
ON
9
7
NO
ON
cs
ON
9
0
00
00
8
7
8
6
S
co
00
8
2
es
es
cs
™~
™—
in
4
4
00
co
3
3
2
5
ćs
oo
NO
co
-
s
0
7
0
5
s
s
0
1
ON
9
7
9
5
9
3
9
2
ON
00
8
8
8
7
5
5
00
4
2
es
cs
co
3
3
ON
es
p.
co
09
2
S
8
0
5
s
01
1
8
!
W
$
1^
cs
9
1
es
es
cs
es
1 '
8
ro
00
9
00
CO
co
00
n
es
o
oo
NO
r,
co
CN
o
s
B
S
co
e
8
00
es
es
cs
es
c
s
7,
ON
00
CO
co
cs
co
O
co
es
J
s
CN
cs
es
o
cs
ON
00
NO
cs
-
s
00
8
s
3
s
es
es
es
es
,
7
1
.
ON
9
cs
2,
37
•
,
3
2
,
3
0
,
2
8
2,
27
,
2
5
,
2
4
,
2
2
,
2
1
ON
r-
ę
es
o
,
0
9
00
CN
es'
r-
O
S
ON
l/l
u
-
00
V)
es
ą
r>
CO
NO
co
cs
CO
CO
o-
00
CN
t~
es
S
co
CN
cs
o-
oo
t—
NO
»
es
es
cs
es
es1
00
s
7
1
1
6
1
oc
5
1
4
9
ą
4
2
R
CO
NO
CO
1/1
CO
3
3
eo
00
es
NO
2
5
2
4
CO
cs
2
2
2
1
es
es
cs
es
es
n
CO
es
O
00
co
NO
CO
co
co
eN
co
CO
o
o,
(N
es
cs
cs
es
es
0
3
9
6
O
8
5
8
1
7
7
7
4
p
6
8
ą
6
2
s
5
9
r-
m
co
V")
K
4
9
4
8
ą
4
5
4
3
4
2
4
1
cs
es
es
CN
es
Ol
00
-
8
O
ON
9
3
o
8
7
8
4
8
2
8
0
7
8
7
6
7
4
7
3
7
1
7
0
s
6
7
6
5
6
3
6
2
6
1
5
9
oc
r-
r-
eo
CS
es
cs
es
es
-
ON
s
o
a
ro
o
t— ©
2
0
3
o
ON
ON
00
ON
9
6
9
5
co
ON
9
2
O
8
8
8
7
8
5
s
8
3
8
2
8
1
8
0
co
co
CS
CN
es
es
00
7
4
6
8
6
3
ON
5
5
5
2
4
9
4
7
ą
4
2
o
3
9
3
7
3
5
3
4
3
3
3
2
2
9
2
8
iq
2
2
2
1
2
0
eo
co
CO
co
CO
-
,
6
7
,
6
0
,
5
4
ON
m
-
00
>n
es
co
00
cs
*
co
cs
CN
ON
CN
o
co
es
co
Tf
ro
NO
CO
00
co
*
*
9
00
40 — Metodologia badań..
625
to
s
o
NO
00
ON
Ul
4-
Ul
to
-
1
,
5
2
2,
63
,
7
5
2,
92
,
1
3
,
4
3
3,
86
4,
54
5,
79
8,
65
19
,5
24
9
H
to
t
o
UJ
LA
00
,
24
9
5
1
6
1
7
4
s
t
o
4
1
Ul
UJ
?
to
to
UJ
Ul
00
, ,
24
9
to
Ul
NO
7
2
00
NO
o
8
3
5
2
7
6
8
u,
2,
58
,
7
1
2,
87
,
0
9
,
3
9
3,
82
4,
50
5,
75
8,
62
19
,5
25
0
*
to
t
o
Ul
LA
00
05
3
UJ
4
7
5
7
3
8
!
s
UJ
00
00
5
Ś
7
5
S
u.
2,
55
t
o
Ul
Ul
8,
60
19
,5
25
1
UJ
Ul
fc
S
8
k
E
7
3
to
t
o
UJ
4^
LA
o
o
Ul
UJ
8
2
5
2
te
&
Ul
NO
u,
,
4
1
2,
52
,
6
5
2,
81
,
0
3
,
3
3
3,
76
4,
45
5,
71
8,
59
19
,5
25
1
2,
51
,
6
4
2,
80
UJ
?u
Ul
8,
58
19
,5
25
2
*
s
3
2
7
5
c
l
,
3
8
2,
49
,
6
2
2,
79
o
,
3
0
3,
74
4,
43
5,
69
8,
57
19
,5
25
2
s
to
t
o
UJ
-
t-
Ul
00
t .
to
oo
U)
ON
4
7
s
7
7
NO
NO
t
g
4
1
6
7
Ul
ON
LA
to
to
to
UJ
Ul
OO
t .
to
l .
UJ
Ul
&
Ul
NO
7
6
9
7
2
1
7
1
4
1
5
5
LA
UJ
8
,
3
2
2,
43
,
5
6
a
'
2,
95
,
2
5
3,
69
4,
39
5,
65
8,
54
19
,5
25
4
2
0
0
to
to
UJ
Ul
00
25
4
Ul
Ul
5
5
7
2
$
k
§
5
3
7
?
Ul
Ul
Ul
to
to
UJ
Ul
00
!
,
to
1
3
0
S
7
1
9
3
2
3
3
3
7
3
5
3
Ul
5
s
o
NO
00
ON
Ul
Ul
to
u o
8
5
0
0
3
0
0
00
3
1
5
0
1
2
5
1
0
0
00
o
s
Ul
o
1
,
8
4
,
8
5
,
8
6
,
8
7
3,8
9
,
9
0
,
9
2
,
9
4
3,
96
4,
00
,
0
3
UJ
U)
8
8
0
1
0
3
2
8
3
0
9
|
-
LA
oo
,
6
0
,
6
1
,
6
2
,
6
3
2,6
5
,
6
6
,
6
8
,
7
0
,
7
2
2,
76
,
7
9
UJ
,
3
7
.
3
8
,
3
9
"
ś
*
Ul
,
4
4
,
4
6
,
4
9
2,
53
,
5
6
-
,
2
1
,
2
2
,
2
3
,
2
4
2,2
6
,
2
7
,
2
9
UJ
,
3
3
2,
37
,
4
0
Ul
,
2
1
2,
25
,
2
8
ON
o
—
t
o
UJ
ON
"
*
NO
,
0
1
,
0
2
,
0
3
,
0
4
2,0
6
,
0
7
,
0
8
,
1
0
,
1
3
2,
17
-J
,
0
6
2,
10
UJ
00
9
5
NO
00
8
0
1
s
00
00
,
8
9
,
9
0
,
9
1
1,
93
1
,
9
4
,
9
6
1,
97
,
0
0
2,
04
1
,
0
7
NO
8
3
2
8
5
00
ON
00
9
1
9
3
9
5
8
o
7
5
7
6
7
7
7
8
8
0
1
E
S
8
3
5
8
8
8
9
2
1
to
6
9
7
0
7
1
7
2
7
6
-o
-o
3
8
2
86
1
8
9
6
5
8
7
1
-0
to
7
5
7
7
82
1
00
Ul
ON
S
6
1
S
?
3
NO
7
3
78
1
00
00
LA
Ul
00
Ul
NO
ON
8
?
a
a
7
0
7
5
°
8
00
01
0
0
5
3
0
0
00
3
1
5
0
1
2
5
1
0
0
S
s
ss
co
Ul
NO
IX
oo
ON
R
ĆM
C
M
a
R
s
O
Cl
CM
TT
CO
00
1
00
Tt
2
1
co
B
0
1
S
!
8
8
a
81
7
8
I
7
6
7
3
|
i
6
7
s
3
6
2
ON
5
7
CO
_
4
9
00
4
5
ii
2
2
§
0
2
2
ON
9
3
ON
00
?
82
1
8
0
LL
7
5
7
3
71
1
ON
NO
6
7
U")
NO
3
6
1
1
5
9
5
6
5
3
/->
wo
CN
?
4
9
R
2
6
ON
fN
07
2
0
2
1
s
5
Ń
g
8
5
3
S
00
76
1
7
4
7
3
g
67
1
8
s
6
1
5
9
5
7
1
5
5
5
5
0
6
0
8
0
1
2
7
^
08
2
0
3
9
9
1
-
s
s
N
O
0
0
2
C
M
S
78
1
NO
7
4
7
3
|x
s
8
3
6
2
6
1
-H
K
5
7
3
1
,
3
0
2
2
NO
CN
0
6
0
2
1
9
8
9
5
92
1
8
9
8
4
8
2
80
1
7
9
P
7
5
7
4
71
1
8
6
7
6
5
6
2
1
6
1
6
0
5
9
2
4
00
12
2
8
s
0
0
1
94
1
9
1
88
N
O
8
4
82
1
oo
P
s
|x
6
9
6
8
NO
NO
65
1
NO
3
9
6
1
3
3
2
5
ON
CM
s
0
5
0
1
9
8
1
95
1
9
2
8
8
8
8
6
•—i
2
8
2
8
0
7
9
p
:
?o
7
3
r-
s
6
7
66
1
6
5
3
6
2
3
4
2
7
O
CM
15
2
o
8
0
3
9
9
1
9
6
1
r
f
O
N
ON
O
N
0
0
00
m
00
8
4
CM
00
8
1
ON
7
7
1
7
3
6
9
00
NO
6
7
NO
6
4
NO
co
8
2
2
CN
CM
00
0
5
0
1
1
98
1
93
9
1
8
9
87
1
8
6
00
8
3
8
1
79
1
7
5
7
3
7
2
70
1
s
6
7
m
00
Cl
3
1
a
19
2
ID
0
7
3
01
1
8
6
Z
9
2
8
GO
00
8
7
8
5
8
4
82
1
8
0
7
8
7
6
7
4
co
7
2
7
0
ON
3
2
2
6
21
2
NO
IN
0
8
0
5
CM
g
0
0
1
9
7
9
5
9
3
ÓN
00
8
5
83
1
7
9
7
7
s
?
?
7
2
«
4
1
3
3
2
7
22
2
p.
CO
o
0
7
CN
3
0
1
99
1
9
7
K
93
1
9
1
g
00
00
r~
00
85
1
8
2
8
1
7
9
7
7
NO
7
5
7
4
7
3
4
2
_
ON
CN
fN
ON
f
0
8
0
5
2
0
3
00
1
9
8
g
95
1
9
3
9
1
g
ON
?
3
CM
00
>—?
00
ON
78
1
7
7
NO
P
IN
4
4
3
7
3
1
25
2
2
1
co
o
CN
B
2
02
0
0
1
9
8
95
1
9
5
9
3
9
2
9
1
88
1
00
8
3
81
?
P
7
8
fl
CM
CN
c
o
Ul
NO
00
ON
ĆM
R
8
s
»
00
CM
*
CN
CO
co
00
CO
CN
00
627
to
-
o
OO
OS
Ol
UJ
to
-
1
NO
1
0
?
2
1
2
UJ
ON
to
&
NO
00
40
UJ
UJ
6
5
o
ON
U)
to
Ul
to
Ol
ON
00
NO
o
Ul
o
o
3
0
50
0
to
8
2
1
ON
6
6
5
5
5
NO
Ul
o
00
o
Ol
ON
ON
-j
GO
NO
to
9
1
2
9
NO
NO
Z
u.
Ul
Ul
«
Ol
NO
4
5
7
8
-J
Ol
to
Ul
Ul
Os
-J
NO
-
5
Ś
to
oo
8
56
41
6
7
*
4
2
00
Ol
Ol
o
-J
to
Ol
Ol
ON
-4
00
g
Ol
2
8
Oi
Ul
3
2
8
UJ
o
;
o
Ol
(O
UJ
Ol
Ul
ON
00
1
0
o
i
2
7
NO
NO
Oi
3
UJ
g
U)
-J
Ń
o
4
7
-4
to
NO
UJ
Ol
Os
00
1
0
Ol
t
J
$
59
?
S
8
ON
ó
o
s
Ol
o
*
?
4,
74
,
0
6
5,
47
,
0
3
6,
84
8,
10
10
,3
14
,8
27
,5
99
,4
59
8
00
4,
63
4,
94
,
3
5
5,
91
6,
72
7,
98
10
,2
14
,7
27
,3
99
,4
60
2
NO
O\
ON
1
0
1
4
to
-o
s
$
-
K
oo
Ol
o
!
8
1
6
2
2
3
Ol
t
o
•"
4*
Ol
ON
-o
NO
1
4
$
ON
„
4
0
-
o
S
6
7
4
7
Z
L
00
NO
*
*
s
4,
29
4,
60
8
5,
56
6,
36
7,
60
9,
77
14
,2
26
,9
99
,4
61
4
3,
97
4,
21
,
5
2
4,
92
5,
48
6,
27
7,
52
9,
68
14
,2
26
,8
99
,4
ON
oś
w
Oi
ON
-j
NO
1
4
2
6
«
O\
9
1
u
&
S
N
4
1
2
1
4
5
ON
i—.
o
o
3.
86
4,
10
,
4
1
4,
81
5,
36
6,
16
7,
40
9,
55
14
,0
26
,7
99
,4
62
1
o
1
3
-
3
NO
00
-
J
ON
Ol
UJ
H
-
o
0
10
00
5
0
0
3
0
0
2
0
0
1
5
0
1
2
5
1
0
0
8
8
Ol
o
1
i ,
1,
72
1
,7
6
-2
22
5
5
ON
5
8
8
6
1
a
6
5
ON
X
Ol
bO
Ol
UJ
Se
5
5
Ol
-J
5
9
s
6
3
6
5
°
7
4
Ol
5
1
5
2
?
?
55
1,
5
7
5
8
6
1
ON
UJ
68
1,
7
2
oo
NO
o
-
Ul
Ot
Ol
NO
ON
to
3
,4
6
,
4
7
,
4
8
,
5
0
1,
52
1
??
'
,
5
5
,
5
7
,
6
0
1,
65
1
,6
9
3
0
3
4
2
4
5
4
8
5
5
5
2
5
3
8
s
,3
9
,
4
1
,
4
2
,
4
3
1,
46
,
4
8
,
4
9
,
5
2
,
5
4
1,
59
,
6
3
a
n
1,
57
1
,
6
1
4
5
5
0
o -J
o
00
Ś
Ul
Ul
J
NO
Ol
to
fai
te
4
1
4
5
Ol
Ul
ON
8
,_,
8
bo
UJ
UJ
Ul
NO
-
t
o
Ol
00
UJ
7-/1
00
| .
00
bJ
ta
3
2
Ul
Ol
Ul
3
9
4
1
4
5
°
Se
,2
4
,
2
6
=
1,
32
1
,
3
9
,
4
3
oo
,5
2
2
00
1
Ń
o
2
1
2
3
to
ON
2
9
UJ
3
4
3
8
44
1
48
UJ
o
ś
Ń
o
22
1
2
5
3
1
?
?
41
1
X
8
g
-
o
!
Ńo
B
IO
00
3
2
$
8
10
00
5
0
0
3
0
0
00
2
1
5
0
1
2
5
1
0
0
8
8
Ul
o
I
1
CO
!
t
?O
NO
00
ON
o
Ol
Ol
O
l
Ol
co
OJ
CN
CM
00
Ol
o
co
CO
r
o
c
o
00
ro
*
00
6
6
iż-!
3
7
o
?
NO
8
8
z
8
8
8
3
|
7
8
7
4
1
70
8
6
3
s
5
7
|
R
4
3
?
co
Ol
co
o
00
co
Ol
Ol
Ol
CM
CN
(N
r-
NO
in
4
2
co
2
1
c
o
0
5
ON
9
3
00
00
co
00
75
7
2
00
SO
6
5
6
3
s
$
—
00
4
5
4
2
4
0
CO
5
3
co
Ol
OJ
Ol
CN
CM
7
8
6
2
ON
P
;
2
7
2
Ol
0
5
g
s
9
4
ON
81
7
8
7
5
7
2
6
9
6
6
6
2
00
u-,
5
1
9
4
6
4
2
4
0
—
r
o
CO
co
Ol
Ol
CM
CM
7
0
5
6
4
5
NO
Ol
00
ON
CM
2
4
CM
1O
?
*
?3-
o
—
NO
CO
2
3
-
o
9
3
*n
00
00
7
2
Ng
3
t—
•T)
ro
m
4
9
4
5
4
2
ON
co
3
4
ON
Ol
2
5
Ol
00
Ul
Ol
O
(
S
NO
u-i
*
n
m
0
7
8
6
00
NO
co
4
0
2
9
00
O
02
9
5
00
00
C
M
0
0
77
CM
r-
3
g
NO
m
5
0
o
3
5
co
2
8
2
5
2
2
2
—
00
oo
00
c"
r-
1
r
o
T
T
u"
>
NO
00
fl
Ol
Ol
Ol
co
3
CM
NO
CM
r-
OJ
00
Ol
i
OI
co
r
o
oo
ro
i
i
629
1
2
3
4
5
6
7
8
9
10
12
14
16
18
20
50
,17
,06
,20
,72
,41
,19
,02
,89
,79
,70
,56
,46
,38
,32
,27
50
60
7,08
4,98
4,13
3,65
3,34
3,12
2,95
2,82
2,72
2,63
2,50
2,39
2,31
2,25
2,20
60
80
6,96
,88
,04
,56
,26
,04
,87
,74
,64
,55
,42
,31
,23
,17
,12
80
100
,90
,82
3,98
,51
,21
2,99
,82
,69
,59
,50
,37
,26
,19
,12
,07
100
125
,84
,78
,94
,47
,17
,95
,79
,66
,55
,47
,33
,23
,15
,08
,03
125
150
,81
,75
,92
,45
,14
,92
,76
,63
,53
,44
,31
,20
,12
,06
,00
150
200
6,76
4,71
3,88
3,41
3,11
2,89
2,73
2,60
2,50
2,41
2,27
2,17
2,09
2,02
1,97
200
300
,72
,68
,85
,38
,08
,86
,70
,57
,47
,38
,24
,14
,06
1,99
,94
300
500
,69
,65
,82
,36
,05
,84
,68
,55
,44
,36
,22
,12
,04
,97
,92
500
1000
,66
,63
,80
,34
,04
,82
,66
,53
,43
,34
,20
,10
,02
,95
,90
1OOO
oo
,63
,61
,78
,32
,02
,80
,64
,51
,41
,32
,18
,08
,00
,93
,88
oo
Liczby w
pierwszy
m
wierszu
(dfi =1)
należy
pomnoży
ć przez
10
c =
0,01
22
24
26
28
30
35
40
45
50
60
80
100
200
500
i
622
623
624
625
626
628
629
630
630
631
633
633
635
636
637
1
2
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
99,5
2
3
26,6
26,6
26,6
26,5
26,5
26,5
26,4
26,4
26,4
26,3
26,3
26,2
26,2
26,1
26,1
3
4
14,0
13,9
13,9
13,9
13,8
13,8
13,7
13,7
13,7
13,7
13,6
13,6
13,5
13,5
13,5
4
5
9,51
9,47
9,43
9,40
9,38
9,33
9,29
9,26
9,24
9,20
9,16
9,13
9,08
9,04
9,02
5
6
7,35
7,31
7,28
7,25
7,23
7,18
7,14
7,11
7,09
7,06
7,01
6,99
6,93
6,90
6,88
6
7
6,11
6,07
6,04
6,02
5,99
5,94
5,91
5,88
5,86
5,82
5,78
5,75
5,70
5,67
5,65
7
8
5,32
5,28
5,25
5,22
,20
,15
,12
,09
,07
,03
4,99
4,96
4,91
4,88
4,86
8
9
4,77
4,73
4,70
4,67
4,65
4,60
4,57
4,54
4,52
4,48
,44
,42
,36
,33
,31
9
10
,36
,33
,30
,27
,25
,20
,17
,14
,12
,08
,04
,01
3,96
3,93
3,91
10
11
4,06
4,02
3,99
3,96
3,94
3,89
3,86
3,83
3,81
3,78
3,73
3,71
3.62
3,60
li
J
c
o
Vi
NO
00
O
N
8
ĆN
CO
CN
s
CN
1
CN
CO
a
00
CO
oo
!
R
8
8
7
p
4
9
4
2
co
ć
o
2
1
P
.
CO
o
S
S
0
1
8
9
1
|
3
g
7
8
|
Ul
CO
1
oi
Ol
Ol
OJ
i i
'^H
R
3
8
ON
0
3
8
9
00
r-
s
ON
I/I
5
1
3
8
3
3
2
8
2
4
ON
NO
Ol
s
0
6
0
3
9
8
g
r
o
8
6
8
3
8
0
7
8
7
5
co
c
o
o
i
ol
Ol
CM
1 '
R
4
1
2
2
8
9
2
8
1
-
6
2
48
4
2
3
6
3
2
CN
CO
2
vO
CO
o
S
s
9
8
1
o
00
8
5
8
2
o
00
7
8
Ol
Ol
Ol
OJ
O)
R
4
7
2
7
-
8
7
6
00
VD
s
00
4
2
3
7
3
3
2
9
2
2
ON
NO
co
g
3
8
s
9
1
ON
8
6
3
CN
Ol
CN
OJ
Ol
g
4
9
3
0
8
8
9
ON
O
co
NO
5
?
9
3
6
3
2
8
2
5
ON
NO
-.
8
0
3
8
S
N
8
8
8
Ol
Ol
O)
Ol
5
4
00
0
5
9
3
CO
00
r
-
6
7
6
1
V.
o
V,
4
5
9
vO
CO
co
co
2
9
2
6
CO
CN
2
1
NO
Ol
0
8
0
5
S
a
9
5
9
3
5
7
3
8
2
2
0
8
9
7
2
8
7
7
8
s
5
8
2
CO
4
8
4
0
CM
CO
3
3
o
Ol
"O
CN
20
2
NO
Ol
g
NO
0
3
1
0
1
a
Ol
Ol
CN
Ol
Ol
ON
"O
4
0
2
4
o
a
ó
o
c
o
r-
67
NO
Ul
V,
4
2
ON
CO
v>
co
3
2
O
CO
r--
Ol
2
2
00
a
s
s
0
3
o
g
Ol
Ol
Ol
Ol
Ol
*
"
6
2
4
3
co
s
g
s
7
6
6
9
s
5
8
5
4
4
9
4
5
4
2
3
8
3
5
3
3
3
0
a
2
1
r
-
?
g
g
8
s
0
2
9
CO
CN
Ol
Ol
Ol
Ol
NO
4
6
o
co
r-
0
5
g
00
o
CO
6
7
CN
5
7
CO
V,
4
9
4
5
4
2
ON
CO
NO
CO
ON
CM
2
5
2
1
00
vi
co
o
0
8
S
ci
co
CN
Ol
Ol
CM
OJ
O
5
1
3
5
ĆM
o
8
9
2
8
4
78
7
2
6
7
6
2
5
8
5
4
5
0
4
7
4
1
3
9
3
4
3
0
ą
CO
2
0
00
r
i
CO
CM
co
CN
Ol
Ol
Ol
Ol
7
2
co
V,
CO
2
4
Ol
S
8
7
o
00
7
4
6
9
s
6
0
5
6
5
3
4
9
4
6
4
1
3
6
3
2
2
9
2
6
2
3
2
0
00
NO
CN
co
CN
CN
Ol
Ol
Ol
8
•T
)
NO
O
o
5
Vi
0
5
g
-
00
co
00
7
2
6
7
co
NO
ON
V,
CN
4
9
ON
co
Vi
CO
CN
ro
2
8
NO
Ol
2
3
Ć
N
ON
i-
CO
CN
CM
Ol
Ol
OJ
s
00
5
9
4
3
2
9
00
s
8
C
N
ON
86
O
00
7
5
7
0
s
6
2
5
8
5
5
5
2
4
9
4
7
4
2
00
co
3
5
3
2
2
9
2
6
2
4
Ol
Ol
c
o
co
Ol
Ol
CN
Ol
Ol
3
,
8
2
CN
NO
4
6
CO
co
2
2
C
N
0
3
2
,
9
6
,
9
0
2,
84
7
4
7
0
VD
NO
6
2
ON
Ul
NO
1/1
CO
V)
5
1
2,
46
,
4
2
,
3
8
,
3
5
,
3
3
2,
30
,
2
8
,
2
6
co
Ol
y
N
CO
V,
I—
OO
ON
o
?
Ol
CN
CN
CN
s
V>
CN
Ol
00
CN
cN
I
Ol
co
*
|
oo
ro
Ol
s
00
631
N
&
T2.
i
?
I
2
?I
I
n
1
R
5
I
?a
i
o
8
0
0
0
1
5
0
0
3
0
0
00
3
1
5
0
1
2
5
1
0
0
8
LA
o
1
^_
,
0
7
SI'
3
33'
8
3
8
8
7
8
9
3
9
6
OO
0
2
,
7
9
00
,
8
3
1,8
9
,
9
2
,
9
4
1,
98
,
0
3
2,
12
,
1
8
t .
.
8
2,
08
,
1
5
7
6
i
S
00
Ul
a
9
1
.
,
M
to
7
2
7
4
*
00
to
oo
LA
00
S
9
7
1
0
5
2
to
Lo
7
0
•
79
1
es
8
«
S
o
7
4
s
8
$
0
5
1,
94
1
,
0
1
4
0
4
6
1
a
6
6
s
a
7
6
§
5
5
8
O
s
I
O
66
1
d
7
6
o
o
9
0
1
Ul
to
Ul
Os
5
9
6
3
s
7
3
S
9
5
,
4
7
,
5
0
,
5
2
,
5
5
1,
58
1,
39
'
,
6
5
,
6
9
,
7
5
1,
84
1,
,
9
1
s
oo
u
>
Ul
o
o
o
*
UJ
s
-J
oo
,
3
6
,
3
8
,
4
1
1,
48
1
,
5
2
,
5
5
,
6
0
,
6
6
1,
75
1
,
8
2
1
0
0
2
K
00
LO
a
3
9
UJ
4
7
5
2
5
8
6
8
7
6
LA
5
,
2
3
,
2
8
1,3
3
,
3
8
,
4
1
,
4
7
,
5
3
1,6
3
,
7
1
5
0
0
,
0
0
,
1
1
,
1
6
H
1,2
8
,
3
3
,
3
7
,
4
3
,
4
9
1,
60
,
6
8
8
8
0
0
0
1
5
0
0
3
0
0
00
3
O
SI
1
2
5
1
0
0
§
s
LA
O
Tablica 6a. Wartości krytyczne statystyki *> testu serii Walda-Wolfowitza
«Nl2
2
3
4
m
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
2
2
2
2
2
2
2
2
2
2
3
4
' 2
es
es
es
es
2
3
2
3
2
3
2
3
es co
2
3
2
3
eo
co
3
n 4
3
4
3
4
3
4
3
4
5
6
2
es
es
es
co
3
3
t,
3
3
3
3
3
4
3
4
4
4
4
4
4
5
4
5
4
5
' 4
5
4 a
5 t
Ul Ul
5
6
5
6
7
2
2
3
3
3
4
U
4
5
5
5
5
5
6
6
6 ?
6
6
6
8
2
3
, 3
3
's r
4
4
1
5
5
5
6
6
< 6
6
6
7 *,
7
7
7
9
2
3
3
4
?i
4
5
> ir
5
5
6
6
6
7
7
7
7 »
8
8
8
10
2
3
3
4
5
5
5
6
6
7
7
i )
7
j 8
8
8
8
9
11
2
3
4
4
J i
5
5
6
6
*)> I
7
7
7
' 8
8
8
9
9
9
9
12
2
2
3
4
4
•"»,&
5
6
6
7
i i
i ?
7
7
8
i
8
8
9
f
9
9
10
10
13
2
2
3
4
5
5
6
6
7
i /
, \
7
8
8
9
9
, 9
iorł1
10
10
10
14
2
2
3
4
5
5
6
E
7
7
i *
Iii
8
8
9
9
9
10
10
11
11
15
2
3
3
4
5
1
6
6
7
7
i**
8
8
9
9
10
J< io
11
11
11
12
16
2
3
4
4
5
6
6
7
8
8
9
9
10
10
' 11
U f',»
11
12
12
17
2
3
4
4
5
6
7
7
8
9
9
10
10
11
?w u
11
12
12
13
18
2
3
4
5
5
6
7
8
8
9
9
10
10
11
11
12
12
13
13
19
2
3
4
5
6
6
7
8
8
9
10
10
11
11
12
12
13
13
13
20
2
3
4
5
6
6
7
8
9
9
10
10
11
12
12
13
13
13
14
Tablica 6b. Wartości krytyczne statystyki k" testu serii Walda-Wolfowitza
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
2
3
4
9
9
5
9
10
10
11
11
6
7
9
10
11
11
12
12
13
12
13
13
14
13
14
13
14
13
14
15
15
15
8
11
12
13
14
14
15
15
16
16
16
16
17
17
17
17
17
9
13
14
14
15
16
16
16
17
17
18
18
18
18
18
18
10
13
14
15
16
16
17
17
18
18
18
19
19
19
20
20
11
13
14
15
16
17
17
18
19
19
19
20
20
20
21
21
12
13
14
16
16
17
18
19
19
20
20
21
21
21
22
22
13
15
16
17
18
19
19
20
20
21
21
22
22
23
23
14
15
16
17
18
19
20
20
21
22
22
23
23
23
24
15
15
16
18
18
19
20
21
22
22
23
23
24
24
25
16
17
18
19
20
21
21
22
23
23
24
25
25
25
17
17
18
19
20
21
22
23
23
24
25
25
26
26
18
17
18
19
20
21
. 22
23
24
25
25
26
26
27
19
17
18
20
21
22
23
23
24
25
26
26
27
27
20
17
18
20
21
22
23
24
25
25
26
27
27
28
o
8
o
1
t
OS
_l
g
co
Os
e
t
ID
OS
i
s
-
m
o
c
o
Ol
„
c
o
8
§
o
8
co
o
3
ID
o
o
§
i
2
Ol
c
o
ID
t—
o
o
o
o
?
Ol
Ol
Ol
CO
Ol
s
o
o
o
o
o
O
o
o
o
o
O
o
O
o
o
O
o
o
o
o
O
o
o
o
o
00
o
00
o
00
0
2
8
0
B
o
oo
00
o
o
Ol
oo
CM
OO
co
00
-
00
[?>
00
OS
OS
co
Os
?
1
19
03
ID
Ć
M
o
1
s
8
i
00
o
s
2
CM
CO
to
Ol
0,
21
Ol
ol
CO
CM
0,
24
o
o
o
o
o
o
o
o
o
o
o
o
o
O
O
O
O
o
o
o
O
o
o
o
o
o
o
o
CS
co
ON
co
SO
Os
CM
8
r
-
r
-
r
-
r
-
r
-
r
-
1
0
7
r
-
r
-
00
00
OC
as
O
o
o
8
8
e
t
8
t—
O
8
CM
c
o
ID
SO
h
-
00
Os
Ol
Ol
CO
CM
CN
o
o
o
o
o
o
o
o
O
o
o
o
o
O
o
O
O
o
o
O
o
O
o
O
O
i
s
o
to
S
o
so
SO
SO
2
co
g
00
so
CO
r-
sO
OS
Ol
00
9
s
8
ir
>
8
g
o
g
i
3
8
s
?
2
'—'
OJ
CO
2
SO
r
-
00
Os
Ol
Ol
CO
Ol
Ol
o
o
o
o
o
o
o
o
o
o
o
o
"
O
o
o
o
o
O
o
o
O
o
o
o
O
o
ID
g
o
o
o
_
CM
co
ID
r
-
00
ID
5
?
cn
to
16
65
oo
sn
Ol
f»
ID
Os
00
OS
00
|
8
8
o
CM
o
co
o
o
00
o
$
o
T-<
CO
r
-
00
Os
0,
20
0,
21
o
i
o
o
o
o
o
o
o
O
o
o
o
o
O
O
O
o
o
o
o
o
O
O
O
o
s
o
s
8
_
_
CM
co
3
13
48
o
ID
Ol
ID
ID
"D
oo
ID
•
Z
ID
tO
Os
TT
r-
?
I
8
g
o
s
co
O
o
O
00
o
s
y
CM
??»
ID
tO
r
-
o
o
OS
Ol
Ol
o
j
CM
'
©
o
o
o
o
o
o
o
o
o
o
o
o
O
o
o
O
O
o
o
o
3
o
O
O
o
a
e
o
o
CS
co
00
es
00
Os
CO
00
co
r
n
co
co
co
r
o
ro
CO
co
co
c
o
co
1
5
4
9
ID
s
o
8
o
o
CO
o
2
s
8
O
fe
o
?^
CM
co
i
j
o
o
OS
es
"
CM
Ol
Ol
co
Ol
o
o
o
o
o
o
o
o
O
o
o
o
O
O
o
o
o
o
O
o
o
O
O
o
o
§
o
CM
cs
o
o
es
r
—
oo
CO
00
co
oj
CM
CM
es
CM
rM
CM
es
1
0
2
CS
CM
CM
co
co
co
co
Tf
SO
o
X
O
CM
O
R
o
O
O
O
^^
Ol
CO
2
2
r
-
00
2
es
CM
o
i
ol
o
o
O
O
o
o
o
o
O
O
o
o
o
O
o
o
O
o
o
o
o
o
*
O
o
O
o
o
o
o
o
„
.
Ol
es
co
ID
sO
00
OS
es
9
r
-
8
g
00
CM
p
.
CO
8
8
o
R
o
o
R
8
O
CM
c
o
1
5
;
tO
1
7
:
00
Os
o
Ol
0,
21
<
o
l
0,
23
!
o*
o
o
o
o
o
o
o
o
o
o
O
O
O
o
o
o
o
o
o
o
o
O
00
0
1
0
1
0
0
0
2
0
0
8
co
O
1
05
01
i
1
o
0
8
0
2
09
02
10
03
11
05
90
31
13
08
14
09
15
11
16
14
17
17
18
20
19
23
20
27
2
1
3
2
2
2
3
7
Ol
o
o
o
o
O
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
g
g
o
o
s
o
o
o
1
0
0
1
1
0
1
2
0
1
3
0
1
4
0
s
1
7
0
1
8
0
1
9
0
00
3
2
1
0
2
2
0
2
3
0
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
I ?
635
9C9
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
4
9
0
4
8
0
o
k
4
5
0
UJ
o
4
2
0
o
8
3
9
0
3
8
0
3
7
0
3
6
0
3
5
0
3
4
0
3
3
0
3
2
0
3
1
0
8
2
9
0
2
8
0
2
7
0
2
6
0
o
2
4
0
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
3
6
1
5
2
3
0
51
01
4
9
7
3
48
47
47
22
4
5
9
9
4
4
7
7
4
3
5
6
42
36
41
18
40
01
3
8
8
4
3
7
6
9
36
54
35
41
s
to
oc
3
3
1
7
32
06
30
95
29
86
2
8
7
7
27
69
26
61
25
54
i
00
,00
0
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
3
7
4
5
2
4
3
5
1
1
4
4
9
8
6
48
60
47
35
4
6
1
1
4
4
8
9
4
3
6
8
42
48
41
30
4
0
1
2
3
8
9
6
3
7
8
0
36
66
35
52
34
39
3
3
2
8
32
17
31
06
29
97
28
88
27
79
2
6
7
2
25
65
24
58
,001
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Ul
00
-J
5
2
5
6
5
1
2
6
4
9
9
9
48
72
47
47
4
6
2
3
45
01
4
3
8
0
42
60
41
42
4
0
2
4
3
9
0
7
3
7
9
2
36
77
35
64
34
51
3
3
3
9
32
28
31
17
30
08
2
8
9
8
27
90
2
8
9
2
25
75
24
69
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
4
0
0
5
2
7
9
5
1
3
9
50
11
48
85
47
60
4
6
3
6
4
5
1
3
4
3
9
2
42
72
41
53
4
0
3
6
3
9
1
9
3
8
0
3
36
89
??
??
34
62
3
3
5
0
32
39
31
28
30
19
2
9
0
9
28
01
26
93
25
86
24
80
i
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
4
1
3
5
2
8
2
5
1
5
2
5
0
2
4
48
97
47
72
4
6
4
8
4
5
2
6
4
4
0
4
42
84
41
65
4
0
4
7
39
31
38
15
37
00
35
86
34
73
3
3
6
1
32
50
31
39
30
29
0
2
6
2
28
12
2
7
0
4
25
97
24
90
,00
4
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
<—>
5
4
2
7
5
2
9
5
5
1
6
5
5
0
3
7
49
10
47
84
4
6
6
0
4
5
3
8
4
4
1
6
42
96
41
77
4
0
5
9
3
9
4
2
3
8
2
6
37
12
35
97
34
84
3
3
7
2
32
61
31
50
30
40
29
31
28
23
27
15
26
08
250
1
,005
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Ul
5
3
0
8
5
1
7
8
5
0
4
9
49
23
47
97
4
6
7
3
4
5
5
0
4
4
2
9
43
08
41
89
40
71
3
9
5
4
3
8
3
8
37
23
36
09
34
96
3
3
8
4
32
72
31
61
30
51
t
o
28
33
2
7
2
6
26
18
251
1
,00
6
O
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
4
5
3
u,
UJ
to
51
91
5
0
6
2
49
35
47
09
4
6
8
5
4
5
6
2
4
4
4
1
43
20
42
01
4
0
8
3
3
9
6
6
3
8
5
0
37
34
36
20
35
07
3
3
9
5
32
82
31
72
30
62
2
9
5
3
28
44
2
7
3
6
26
29
25
22
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
i
5
3
3
4
5
2
0
4
5
0
7
5
49
48
48
22
4
6
9
7
4
5
7
4
4
4
5
3
43
32
42
13
4
0
9
4
3
9
7
7
38
61
37
46
36
32
35
18
3
4
0
6
32
94
31
83
30
73
2
9
6
4
28
55
27
47
26
40
??
?2
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
5
4
8
0
5
3
4
7
?
1
2
?
5
0
8
8
49
61
48
35
4
7
1
0
4
5
8
7
4
4
6
5
43
44
42
25
4
1
0
6
3
9
8
9
3
8
7
3
??
??
36
43
35
30
3
4
1
7
33
05
31
95
30
84
SO
Ul
28
66
2
7
5
8
26
50
25
43
o
00
r
—
O
NO
ro
00
1/1
NO
O
ON
ro
co
CN
NO
NO
ro
r-
ON
in
ro
ON
NO
CO
8
0
8
NO
NO
o
CO
o
5
6
5
7
5
8
s
6
1
co
NO
3
8
6
7
6
9
7
0
7
2
?
?
7
5
f-
r--
ON
00
3
OO
00
9
2
ON
9
7
8
!
o
o
©
©
o
O
o
©
o
o
o
©
o
o
©
O
©
o
o
O
o
©
©
O
©
o
I
m
5
7
3
6
5
8
7
4
6
0
1
3
61
55
62
99
6
4
4
6
6
5
9
4
6
7
4
6
69
00
70
57
72
18
7
3
8
1
75
48
77
18
78
93
80
71
8
2
5
4
8
4
4
2
86
34
88
32
9
0
3
5
9
2
4
5
94
61
96
84
51
66
O
o
©
©
©
©
©
o
©
©
©
©
o
©
©
©
©
o
o
©
©
©
©
o
o
o
r-
(N
ON
wi
ON
vi
CM
Ul
ro
NO
ro
ro
ON
CM
8.
5
5
8
5
7
2
5
9
9
6
1
4
6
2
8
6
4
3
6
5
7
6
7
3
6
8
8
7
2
0
r-
7
5
3
7
7
0
7
8
7
5
0
8
8
2
3
8
4
2
8
6
1
8
8
1
9
0
1
9
2
2
9
4
3
9
6
6
68
6
O
o
©
c
o
©
©
o
o
o
o
©
©
©
©
©
o
©
o
o
©
©
©
©
©
©
Ą
55
73
5
7
0
9
5
8
4
6
5
9
8
5
61
27
62
70
6
4
1
6
6
5
6
5
6
7
1
5
68
69
70
26
71
85
7
3
4
8
75
14
76
84
78
58
8
0
3
5
8
2
1
7
3
OO
85
95
87
92
8
9
9
4
9
2
0
2
9
4
1
7
96
39
98
68
©
o
o
©
©
©
©
o
©
©
©
©
©
o
©
©
©
©
o
©
©
o
©
o
©
©
i
5
6
0
6
9
5
8
3
2
t—
1
1
2
95
2
S
5
5
0
7
0
0
0
1
0
1
6
9
3
3
2
4
9
7
6
6
7
8
4
0
0
1
7
1
9
9
3
8
5
5
7
6
7
7
2
9
7
3
1
8
1
3
9
5
6
1
6
8
4
5
ui
ui
Ul
i/>
NO
NO
NO
NO
NO
r-
r^
t—
r
—
t—
oo
OO
oo
oo
00
00
ON
ON
ON
ON
o
O
o
©
©
©
O
©
O
O
©
©
O
©
©
©
o
o
©
o
o"
o
o
©
O
O
O
r-
oo
00
r-
00
ro
©
ro
a
1
NO
CN
ro
ro
CN
o
n
00
ro
co
m
00
CN
00
Ul
Ul
Ul
ON
CN
to
OO
ON
CN
ro
oo
ro
NO
OO
ro
Ul
r~
ON
co
00
U1
1/1
VI
NO
NO
NO
NO
NO
NO
NO
r-
[—
r-
00
00
oo
00
00
ON
ON
ON
ON
o"
©
O
©
©
©
o
©
o
©
©
©
©
o
©
o
o
©
O
©
©
©
©
©
O
O
1
5
3
3
|
8
0
5
ro
i
60
84
2
2
7
3
7
2
5
2
0
6
6
7
0
8
2
3
OO
5
1
3
7
2
9
9
3
6
3
3
8
0
5
00
ON
1
6
2
3
4
7
5
3
7
7
3
2
ro
ro
ON
1
3
9
3
5
2
5
7
1
7
9
9
Ul
!/1
ui
NO
NO
NO
NO
NO
r^
r-
r-
r~
t-
oo
00
00
00
00
ON
ON
ON
ON
©
O
©
©
o
©
O
o
o
©
©
O
©
©
©
o
O
©
O
©
O
©
©
©
©
O
8
5
2
0
6
5
4
7
9
1
6
2
6
60
70
2
1
3
3
5
8
5
0
5
6
6
5
5
S
OO
9
6
3
1
2
1
2
8
3
4
4
7
6
1
6
7
8
8
9
6
4
1
4
4
3
2
8
5
1
8
7
1
2
9
1
2
1
1
8
3
3
0
5
4
9
7
7
5
Ul
u-.
1/1
ui
NO
NO
NO
NO
NO
r-
r-
00
00
00
oo
00
ON
ON
ON
ON
©
O
©
©
©
©
©
©
©
O
©
o
©
©
O
©
©
©
©
o
o
o
O
O
O
O
6
4
1
r-
Ul
NO
Ul
OO
ON
ro
O
oo
©
CN
ui
r-
»
Ul
Ul
Ul
NO
NO
t—
f-
r-
00
00
00
00
ON
ON
ON
ON
O
o
O
©
©
o"
©"
©
o
©
©
©
©
o
©
©
©
O
©
©
O
©*
o
©
O
O
O
R
©
o
©
ro
o
O
ul
c
i
B
O
-
©
ro
o
o
o
°
s
8
©
©
ro
°
o
*O.
ui
1/1
NO
NO
NO
'O
NO
NO
^
o
NO
r-
r-
r-
O
o
©
O
©
o"
©
©
©
O
o
©
©
©
O
©
©
©
o
©
©
©
o
©
o
o
637
8?9
p © p o p
"NO VO *NO "NO
O
O
c> o p p o
\o Ńo *NO
2 tO ł-*
O O
pppp ©
©? §
00 00 00
•vi
o
©
p p
p p p
p p
p
^o ^o "bo ^o
*>J Vi
Vi vi
w ro — o
NO oo
vi o\
o o o ©
o ©
o ©
K
8 ? 8
M Ul H
w \o oo
s g
ui
W
i
*? * u u w w to — — — O
vi to -4 Ul NO Ul to 00 Ul tO VD
>i to »- m UJ UJ O\ >— vi ot vi oo
Ul M \O 00 H- 4*. >— tO O 00 © O\
tO O Ul -P*.
N) « 00 Is)
U> Ul 00 >—>
Os Ui Ul ^. 4^
Os ^ U> -J tO
L/l Ul U» -J ON
v© Os -fc. U\
K> »— .—
N-
to to to i-
"vi Ul «• *VO
Ul Ul tO vi
00 O vi tO
vi vi U> i—
o
o
vi
O
N
Ul
Ul
vi
vi
Ul
Ul
© UJ 00
UJ to NO tO
i— „. to UJ
00 ON vi
| L _ __
Q
ON UJ p
vi C3i
U K) S
ON ©
© NO •-?
00 Ul
8
-h. 00
O Ul Ul
UJ vi
vi Ul
P P
00 -J Os Os Ul -^
O\ Os 00 O -^ 00
4-* •— 00 Ul O0
L/l i—' VO W U)
4^ U)
OJ 00
85 S
o o
to »-
Ul NO
O
vi Ul
tO S \O
UJ vi UJ
Ul M v)
4k
o
00 „
to ui
tO Vi
ON Ul +k łk UJ UJ UJ
— Ul ^O •& NO •(» O
Ul N— UJ H- UJ NO 00
vi UJ vi Ul 00 00 NO
K> to — — —
UJ © ON UJ ©
4^ *—• NO 00 ^J
NO — tO 00 00
S28
o ui to oo
JO tO tO tO M
J
NO ^ ^-* O ^0
\c 5 co - oo
+> U Ji t> Ul
Ul O\ v] O vi
vi O\ CJN Ul
NO
NO
tO
00 NO tO Ul
tO O\ tO vi O
00 vi ON Ji. tO
tO N> W -
5
to
St
Ul
r $ g P po
"N) N) O« In IA
« S Sg S
"
^ ^ W U
LA O Ui — H
(>) OO O\
OOWOO
--J 4^ —
0O sl O\ Ul Ul
O t— U) OS i—
H- S) O\ VO O
^O \O O\ 00 W
85
W W N) W M h- N- >• ?—
^Tyi^o^D^o oo Vi a bi
ui ui ^ ui to i—* ro *». -J
L^N) LA V^^ ^^^ ^^^ ^^A ^^ L^N) ^^
UI ji. V UJ u> to
>— 91 M Ol IO 00
ON M to vi 4^ UI
o oo 4-* O NO vi
to to — — —
ł. - 00 Ul U
vO 4^ — O '—
O -t* vj vj to
O
NO U>
N) |O tO tO M N-* H-• )— h— •— I—» I—» I—» I—II—
00 Ul "lO O "^O 00 "-J OS Ul Ul V V *W U» ło
O ^O sj NJ W tJ S) Ul OO tO Os i—> sl N) 00
O oo ru ui OJ i— *o •—• to ?—» sj si H »o ^
ts>00\OOsU> OsUiOUt-^J O •-* -^ O Ul
to
ON
to*-.— *- oopo
vi 4 UJ 4^
00 NO 00 ?-•
Ul 00 tO vi
00 00 00 NO
Tablica 8. Krytyczne wartości r
'
0,1
0,05
—
0,02
0,01
—
0,001
1
0,98769
0,99692
0,999507
0,999877
0,9999988
2
,90000
,95000
,980000
,990000
,99900
3
,8054
,8783
,93433
,95873
,99116
4
,7293
,8114
,8822
,91720
,97406
5
,6694
,7545
,8329
,8745
,95074
6
0,6215
0,7067
0,7887
0,8343
0,92493
7
,5822
,6664
,7498
,7977
,8982
8
9
,5494
,5214
,6319
,6021
,7155
,6851
,7646
,7348
,8721
,8471
10
,4973
,5760
,6581
,7079
,8233
11
0,4762
?
0,5529
0,6339
0,6835
0,8010
12
,4575
,5324
,6120
,6614
,7800
13
14
15
,4409
,4259
,4124
,5139
,4973
,4821
,5923
,5742
,5577
,6411
,6226
,6055
,7603
,7420
,7246
16
0,4000
0,4683
0,5425
0,5897
0,7084
17
,3887
,4555
,5285
,5751
,6932
18
,3783
,4438
,5155
,5614
,6787
19
,3687
,4329
,5034
,5487
,6652
20
,3598
,4227
,4921
,5368
,6524
25
0,3233
0,3809
0,4451
0,4869
0,5974
?
30
,2960
,3494
,4093
,4487
,5541
35
,2746
,3246
,3810
,4182
,5189
40
,2573
,3044
,3578
,3932
,4896
3 8
s
-J
o
c
to
00
Os
s
C
OC 3^ 00
S 8 fc fe fe
JS ^1 M o O N> \O w
fe
o
p
k>
1
o
VJ
U
)
Ln
i
7\
00
o
to
O
-
J
0
0
»
-
J
H- Lft 00 \O 00
OJ
Tablica 9. Współczynniki rbi — tablice Flanagana
Proporcja odpowiedzi zgodnych z kluczem w górnej grupie 27%
01
02
04
06
08
10
12
14
16
18
20
22
24
26
28
30
32
34
36
38
40
42
44
46
48
50
01
0
11
23
30
35
40
43
46
49
51
53
55
57
59
61
62
63
65
66
67
68
69
70
71
72
72
02
-
11
0
12
19
25
30
34
37
40
43
46
48
50
51
53
55
56
58
59
61
62
63
64
66
67
68
04
-
23
-12
0
08
14
19
23
26
30
33
36
38
40
42
44
46
48
49
51
53
54
56
57
58
60
61
06
-
30
-19
-4)8
0
06
11
15
19
23
26
29
31
33
36
38
40
42
44
45
47
48
50
52
53
55
56
08
-
35
-25
-14
-
06
0
05
09
13
17
20
23
25
28
30
32
35
37
38
40
42
44
45
47
49
51
52
10
-
40
-30
-19
-
11
-05
0
04
08
12
15
18
21
23
26
28
30
32
34
36
38
40
41
43
45
47
48
12
-
43
-34
-23
-
15
-09
-04
0
04
07
11
13
16
19
21
24
26
28
30
32
34
36
38
39
41
43
45
14
-
46
-37
-26
-
19
-13
-08
-04
0
03
07
10
12
15
18
20
22
25
27
29
31
33
34
36
38
40
42
16
-^t9
-40
-30
-
23
-17
-12
-07
-03
0
03
06
09
12
14
17
19
21
24
26
28
30
31
33
35
37
39
18
-
51
-^3
-33
-
26
-20
-15
-11
-07
-03
0
03
06
08
11
13
16
18
20
23
25
27
28
30
32
34
36
20
-
53
-46
-36
-
29
-23
-18
-13
-10
-06
-03
0
03
06
08
11
13
15
17
19
22
24
26
27
29
31
33
22
-
55
-48
-38
-
31
-25
-21
-16
-12
-09
-06
-03
0
03
06
08
10
12
15
17
19
21
23
25
27
29
31
24
-
57
-50
-^0
-
33
-28
-23
-19
-15
-12
-08
-06
-03
0
03
05
08
10
12
14
16
18
20
22
24
26
28
26
-
59
-51
-41
-
36
-30
-26
-21
-18
-14
-11
-08
-06
-03
0
02
05
07
09
12
14
16
18
20
22
24
26
28
-
61
-53
-44
-
38
-32
-28
-24
-20
-17
-13
-11
-08
-05
-02
0
02
04
07
09
11
13
15
17
19
21
23
30
-
62
-55
-46
-
40
-35
-30
-26
-22
-19
-16
-13
-10
-08
-05
-02
0
02
04
07
09
11
13
15
17
19
21
32
-
63
-56
-4%
-
42
-37
-32
-28
-25
-21
-18
-15
-12
-10
-07
-04
-02
0
02
04
07
09
11
13
15
17
19
34
-
65
-58
-49
-
44
-38
-34
-30
-27
-24
-20
-17
-15
-12
-09
-07
-04
-02
0
02
04
06
09
11
13
15
17
36
-
66
-59
-51
-
45
-40
-36
-32
-29
-26
-23
-19
-17
-14
-12
-09
-07
-04
-02
0
02
04
06
08
11
13
15
38
-
67
-61
-53
-
47
-42
-38
-34
-31
-28
-25
-22
-19
-16
-14
-11
-09
-07
-04
-02
0
02
04
06
08
11
13
40
-
68
-62
-54
-
48
-44
-40
-36
-33
-30
-27
-24
-21
-18
-16
-13
-11
-09
-06
-04
-02
0
02
04
06
08
10
42
-
69
-63
-56
-
50
-
4Ś
-41
-38
-34
-31
-28
-26
-23
-20
-18
-15
-13
-11
-09
-06
-04
-02
0
02
04
06
08
44
-
70
-64
-57
-
52
-41
-
A3
-39
-36
-33
-30
-27
-25
-22
-20
-17
-15
-13
-11
-08
-06
-04
-02
0
02
04
06
Proporcja odpowiedzi zgodnych
z
kluczem
w dolnej grupie 27%
$
sO
GO
s
4^
ts
s
oo
OO
oo
Os
OC
oo
to
00
o
*
Os
to
o
s
s
2
Os
to
s
Ul
oc
Ul
Os
Ul
Ul
to
Ul
o
?
-
9
3
-
9
2
-
9
1
-
9
0
-
89
1
oo
oo
-
8
7
-
8
7
-
8
6
-
85
-
84
-
8
3
-
8
3
-
8
2
-82
-
8
1
-
8
0
-
79
-
7
8
-78
-
7
7
-
7
6
-
7
5
-
7
4
-
73
-
72
-
7
2
-
71
o
-
9
2
-
9
1
-
9
0
-
8
8
-
8
7
-
86
-
8
5
-
8
4
-
8
3
-
82
-
81
-
8
0
-
8
0
-
7
9
-78
-
7
7
-
7
6
-
75
-
7
4
-73
-
7
3
-
7
2
-
7
1
-
7
0
-
69
-
68
-
6
7
-
6
6
8
h
-
9
0
i
oc
oc
-
8
6
-
8
4
-
83
-
8
2
-
8
1
-
8
0
-
78
-
77
-
7
6
-
7
5
-
7
4
-73
-
7
2
-
7
1
-
7
0
-
6
9
-68
-
6
7
-
6
6
-
6
4
-
6
3
-
62
-
61
-
6
0
-
5
8
t
-
9
0
-
8
8
-
8
6
-
8
4
-
8
2
-
81
-
8
0
-
7
8
-
7
7
-
76
-
74
-
7
3
-
7
2
-
7
1
-70
-
6
8
-
6
7
-
6
6
-
6
5
-64
-
6
2
-
6
1
-
6
0
-
5
9
-
57
-
56
-
5
5
-
5
3
S
-
8
9
-
8
7
-
8
4
-
8
2
-
81
-
79
-
7
7
-
7
6
-
7
5
-
73
-
72
-
7
0
-
6
9
-
6
8
-66
-
6
5
-
6
4
-
6
3
-
6
1
-60
-
5
9
-
5
8
-
5
6
-
5
5
-
53
-
52
-
5
1
k
o
00
-
8
8
-
8
6
-
8
3
-
8
1
-
7
9
-
77
-
7
6
-
7
4
-
7
2
-
71
-
70
-
6
8
-
6
7
-
6
5
-64
-
6
3
-
6
1
-
6
0
-
5
8
-57
-
5
6
-
5
4
-
5
3
-
5
1
-
50
^
8
-
4
7
-
4
5
o
-
8
7
-
8
5
-
8
2
-
8
0
-
7
7
-
76
-
7
3
-
7
2
-
7
0
-
69
-
67
-
6
6
-
6
4
-
6
3
-61
-
6
0
-
5
8
-
5
7
-
5
5
-54
-
5
2
-
5
1
-
1
9
OC
k
-
45
-
4
3
-
4
1
to
-
8
7
-
8
4
-
8
1
-
7
8
-
7
6
-
74
-
7
2
-
7
0
-
6
8
-
67
-
65
-
6
3
-
6
2
-
6
0
-59
-
5
7
-
5
6
-
5
4
-
5
3
-51
-
5
0
-
1
8
-
1
7
^
5
-
13
^
12
k
-
3
8
-
8
6
-
8
3
-
8
0
-
7
7
-
7
5
-
72
-
7
0
-
6
8
-
6
7
-
65
-
63
-
6
1
-
6
0
-
5
8
-57
-
5
5
-
5
3
-
5
2
o
s
-
-49
-
4
1
^
5
-
4
A
h
k
-
39
-
3
7
-
3
5
oś
-
8
5
-
8
2
-
7
8
-
7
6
-
7
3
-
71
-
6
9
-
6
7
-
6
5
-
63
-
61
-
6
0
-
5
8
-
5
6
-54
-
5
3
-
5
1
-
1
9
k
-41
k
UJ
k
-
3
9
-
38
-
36
-
3
4
-
3
2
00
-
8
4
-
8
1
-
7
7
-
7
4
-
7
2
-
70
-
6
7
-
6
5
-
6
3
A
s
-
60
-
5
7
-
5
6
-
5
4
-52
-
5
1
-
1
9
-
4
7
-
1
6
k
z
v
-
-
4
0
-
3
9
-
3
7
-
35
-
33
-
3
1
-
2
9
8
-
8
3
-
8
0
-
7
6
-
7
3
-
7
0
-
68
-
6
6
-
6
3
-
6
1
-
60
-
57
-
5
6
-
5
4
-
5
2
-50
k
-
4
7
-
1
5
^
1
3
zv
-
k
-
3
8
-
3
6
-
3
4
-
33
-
31
-
2
9
-
2
7
to
to
-
8
3
-
8
0
-
7
5
-
7
2
-
6
9
-
67
-
6
4
-
6
2
-
6
0
-
58
-
56
-
5
4
-
5
2
-
5
0
-48
k
k
LO
-
1
1
-39
-
3
7
-
3
6
-
3
4
-
3
2
-
30
-
28
-
2
6
-
2
4
g
-
8
2
-
7
9
-
7
4
-
7
1
-
6
8
-
65
-
6
3
-
6
0
-
5
8
-
56
-
54
-
5
2
-
5
0
o
o
-46
k
k
to
k
-
3
9
-37
-
3
5
-
3
3
-
3
2
-
3
0
-
28
-
26
-
2
4
-
2
2
to
Os
-
8
2
-
7
8
-
7
3
-
7
0
k
-
64
-
6
1
-
5
9
-
5
7
-
54
-
52
-
5
0
-
1
8
-
4
6
k
Z
V
~
-
4
0
-
3
9
-
3
7
-35
-
3
3
-
3
1
-
2
9
-
2
7
-
26
-
23
-
2
1
-
1
9
S
o
-
8
1
-
7
7
-
7
2
-
6
8
-
6
5
-
63
-
6
0
-
5
7
-
5
5
-
53
-
51
k
-
4
6
-
1
4
zv
-
o
v
-
-
3
8
-
3
7
-
3
5
-33
-
3
1
-
2
9
-
2
7
-
2
5
-
23
-
21
-
1
9
-
1
7
Ul
o
-
8
0
-
7
6
i
-
6
7
-
6
4
-
61
-
5
8
-
5
6
-
5
3
-
51
k
-
4
7
-
4
5
z
v
-
k
-
3
8
-
3
7
-
3
5
-
3
3
-31
-
2
9
-
2
7
-
2
5
-
2
3
-
21
-
19
-
1
7
-
1
5
u>
to
-
7
9
-
7
5
-
7
0
-
6
6
-
6
3
-
60
-
5
7
-
5
4
-
5
2
-
19
-
41
-
1
5
i
UJ
-
1
1
-39
-
3
7
-
3
5
-
3
3
-
3
1
-29
-
2
7
-
2
5
-
2
3
-
2
1
-
19
-
17
-
1
5
-
1
3
t
-
7
8
-
7
4
-
6
9
-
6
5
-
61
-
58
-
5
5
-
5
3
-
5
0
i
00
k
k
-
3
9
-37
-
3
5
-
3
3
-
3
1
-
2
9
-27
-
2
5
-
2
2
-
2
1
-
1
9
-
17
-
15
-
1
3
-
1
1
Ul
Os
-
7
8
-
7
3
-
6
8
-
6
4
-
6
0
-
57
-
5
4
-
5
1
-
1
9
-
47
k
k
-
3
9
-
3
7
-35
-
3
3
-
3
1
-
2
9
-
2
7
-25
-
2
2
-
2
0
i
i
i
i
i
-
0
8
u>
00
00
Os
Ul
UJ
-
-
7
7
-
7
3
-
6
7
-
6
2
-
5
9
-
56
-
5
2
-
5
0
-
1
7
-
15
-
42
-
4
0
-
3
7
-
3
5
-33
k
-
2
9
-
2
7
-
2
5
-22
-
2
1
-
1
8
-
1
6
-
1
4
-
12
-
10
-
0
8
-
06
i
-
7
6
-
7
2
-
6
6
-
6
1
-
5
8
-
54
-
5
1
i
00
-
4
5
k
k
-
3
8
-
3
6
-
3
3
-31
-
2
9
-
2
7
-
2
5
-
2
2
-20
i
i
i
i
i
-
08
-
0
6
-
0
4
00
Os
to
o
-
7
5
-
7
1
-
6
4
-
6
0
-
5
6
-
53
k
-
4
7
k
k
-
39
-
3
6
-
3
4
-
3
2
-29
-
2
7
-
2
5
-
2
3
-
2
1
-18
-
1
6
-
1
4
-
1
2
-
1
0
-
08
-
06
-
0
4
-
0
2
*
-
7
4
-
7
0
-
6
3
-
5
9
-
5
5
-
51
k
OC
k
Z
P
~
-
39
-
37
-
3
4
-
3
2
-
3
0
-27
-
2
5
-
2
3
-
2
1
i
i
i
i
-
0
8
-
06
-
04
-
0
2
o
SO
Os
to
o
-
7
3
-
6
9
-
6
2
-
5
7
-
5
3
-
50
k
Os
k
UJ
k
-
38
-
35
-
3
3
-
3
0
-
2
8
-26
-
2
3
-
2
1
i
1
1
i
1
-
0
8
-
0
6
-
04
s
o
s
00
sD
Ul
t
o
o
l
-
6
8
-
6
1
-
5
6
-
5
2
k
oo
k
h
-
3
9
-
36
-
33
-
3
1
o
o
-
2
6
-23
-
1
9
-
1
7
-
1
5
-13
1
o
-
0
8
-
0
6
-
0
4
-
02
o
s
2
-/o -75 -74 -73 -72
s
P
roporcj
a
odpowi
edzi
zgodny
ch z
klucze
m w
górnej
grupie
27%
52
54
56
58
60
62
64
66
68
70
72
74
76
78
80
82
84
86
88
90
92
94
96
98
99
73
74
75
76
77
78
78
19
80
81
82
82
83
83
84
85
86
87
87
88
89
90
91
92
93
69
70
71
72
73
73
74
75
76
77
78
79
80
80
81
82
83
84
85
86
87
88
90
91
91
62
63
64
66
67
68
69
70
71
72
73
74
75
76
77
78
80
81
82
83
84
86
88
90
91
57
59
60
61
62
64
65
66
67
68
70
71
72
73
74
76
77
78
80
81
82
84
86
88
90
53
55
56
58
59
60
61
63
64
65
66
68
69
70
72
73
75
76
77
79
81
82
84
87
89
50
51
53
54
56
57
58
60
61
63
64
65
67
68
70
71
72
74
76
77
79
81
83
86
88
46
48
49
51
52
54
55
57
58
60
61
63
64
66
67
69
70
72
73
76
77
80
82
85
87
43
45
47
48
50
51
53
54
56
57
59
60
62
63
65
67
68
70
72
74
76
78
81
84
87
40
42
44
45
47
49
50
52
53
55
57
58
60
61
63
65
67
68
70
72
75
77
80
83
86
38
39
41
43
45
47
48
49
51
53
54
56
58
60
61
63
65
67
69
71
73
76
78
82
85
35
37
39
40
42
44
46
47
49
51
52
54
56
57
60
61
63
65
67
70
72
74
77
81
84
33
34
36
38
40
42
43
45
47
49
50
52
54
56
57
60
61
63
66
68
70
73
76
80
83
30
32
34
36
37
39
41
43
45
46
48
50
52
54
56
58
60
62
64
67
69
72
75
80
83
28
30
32
33
35
37
39
41
42
44
46
48
50
52
54
56
58
60
63
65
68
71
74
79
82
26
27
29
31
33
35
37
39
40
42
44
46
48
50
52
54
57
59
61
64
66
70
73
78
82
23
25
27
29
31
33
35
37
38
40
42
44
46
49
51
53
55
57
60
63
65
68
72
77
81
21
23
25
27
29
31
33
35
37
38
40
42
45
47
49
51
53
56
58
61
64
67
71
76
80
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
52
54
57
60
63
66
70
75
79
17
19
21
22
25
27
29
31
33
35
37
39
41
43
46
48
50
53
55
58
61
65
69
74
78
15
16
18
20
22
25
27
29
31
33
35
37
39
42
44
47
49
51
54
57
60
64
68
73
78
12
14
16
18
21
22
25
27
29
31
33
35
37
40
42
45
47
50
52
56
59
62
67
73
77
10
12
14
16
18
20
22
25
27
29
31
33
36
38
40
43
45
48
51
54
58
61
66
72
76
08
10
12
14
16
18
21
23
25
27
29
32
34
36
39
41
44
47
49
53
56
60
64
71
75
06
08
10
12
14
16
19
21
23
25
27
30
32
34
37
39
42
45
48
51
55
59
63
70
74
04
06
08
10
12
15
17
19
21
23
26
28
30
33
35
38
40
43
46
50
53
57
62
69
73
Proporcja odpowiedzi zgodnych z kluczem w dolnej grupie 27%
es es —< o ON
t-- f- r~- NO
NO m cn es ~H
ON
NO NO NO NO
N
O VI
vi cn -H
m o cn —i o
cn cn es -«
3 tn es
oo
ON
00 t> NO
\Q NO *O
-" O 00
NO NO VI
NO NO
NO
W!
?
— ON 00
NO
S 9
K 8
O
N
e
s
o
-
"
O es
7
Tt 00
N
O
c
n
O
N
e
s
e
s
—
ON
7
2 2 s
8
es o oo
vj cn
-
0
6
— ON
VI Tt
cn en cn
cn cn es
77
2 8 3
3 ° 3,
°3^
?77
cn o
o
O cn
i
$
oo NO cn -H oo
ts es ts ts ^H
Tt ^ ON NO cn
es es — —? -H
es O
cn en
oo NO
es es
9\
00
«O
cn
cn
cn
r- ^t CN ON ^o
cn '—' oo ^ cn
~ ^ o o o
?{ g
22 !2 2
2 S
t-
-
c
n
c
n
cn
cn
c
n
00
es
NO Tt
es es
e
s
O
N
c
n
CN
cn
s
es
Vj
cn co
ts es
00
O
cn
I
=? 7
c
n
O
N
7
7
r
-
c
n
t
s
^
ON O
t
—?< cn
I I
7
NO t—
es cn
ON
i
7
cn cn i~—
7 7 7
-
5
3
f- NO Tt
es ts es
es ON r--es
— —i
v>cn —H
oo NO tn
o
cnNOOc
noo
^"--
OO°
t-
ON
-
21
-
2
4
-
2
6
-
2
9
-
31
-
34
-
3
7
-
4
0
-
4
3
-
41
-
51
-
5
5
-
6
0
-
6
7
-
7
2
i
i
1
i
1
644
Tablica ,0. WSp«raynniki * _
SD ^
ON ON ON
ON ON ON
4\ Ui Ol
N] OO \O
-J -J -J
-J -J
O H- (O
UJ +».
Ui Ul Ul Ul Ul
4^ Ń O s] Ul
— IO Ui UJ -t-
OV ^ H- \D ^J
ONONONONO
NONV1V1V1
V1
v)vlvlvlvl
UlO\vlvlOO
NOO^-*-tO
UJ45.UIUIO
N
UltOOOOON
45.tOOOOON
45.IOOOOON
Ui Ui Ui UIUIUIUIUIONONONONOS
U) 4^. Ui ON --J -J, oo ^o ^5 ^3 H-> to UJ
©Os 4^ tO O OO ON UJ >—' >O sj Ui W
. -J 00 OO NO © H-
^slUlWi-^>JUiW >-* M3 --J
Ul Ul Ui Ul Ui Ui
to UJ Ui -U Ui ON
U> •—' \O -sj Ul U)
3 23
UlO\^^ \O O
i— ^- Ul Ui (—' \O
ON ON ON ON ON ON OS ON O\
K>UJ?.UIUION
-J00\© -
JUIUJ"—'^O-
JONJ^tO
Ul Ul UlUiUiUłUlUlUlUlUlON
d\ ^^ tO *** ^D ^J Uł UJ ^^ ^D vi Ui
ON ON O^ O\ >— N) U) U>
+». to o oo
J 0
i-» O
Ul Ul UlUlUlUlUtUtUlUlUlUl
Q N)U^UU9]00\O
ON ON ON ON Os i* Ul Ul ON -J
to O oo -j ui
O^ Os --J -^J -»J
OO \O Q Q >—' ^ N) O ^ 00
ON ON Ul
ON 4^ t>)
*?*
4^ UiUiUiUlUtUiUiUiUtUl
\O Q ?—'»S>tOUJ4>UiON--J-J
U» Ul ON ON Os ON ON 00 v?> Q i—
tO tO U)
s] Ul ( |O M \O \]
ON ON ON ON -J
'? 00 \D Q 00 -J ON
4>. 4^ 4* 4^
-sj oo MD \O
UJ to o oo
Ul Ul Ul
-J 00 vfl 4^.
Ui ?—
ON OI ON ON
ON I— to UJ
Ł ui
Oi Ul 4i
M M
MD O0 -J Ul
?k4*.4> ^^-UUUlUlUlUl
UlUlOs -JOO^OO1—' >—'tOUJ
O \O 00 ONUiUJtOOsO-JON
Ul >—' O NO -J
ON ON ON ON Ł K) UJ UJ
UJ — o NO
Oi ON ON ON ON
Ł Ui ON ~J oo vi ON UI 4* to
§
UlUlUl
UlUt
UlUlUl
UlUlUl
ON ON
>—' Ni OO
--4
ON ON ON
Ul ON vi
UJ tO —
UlUlUlUlUlUlUlUl
UJ45.UlONvlOOOONO
ON ON ON ON OI — to
UJ 4^ ui
Ul 4i. UJ tO "-
4* 4* 4^ 4— 4—
— — to UJ i^-
O NO 00 ON Ui
4u 4^. 45. 45.
45. ui ui
Ol v) 00 00 iO
^5 ""^ UJ Is) O
NO 00 vi Ul
UIUIUIUIUI
UIUIUIUION
ONONONONO
N
tOUJ45.UlU
lONvlOONO
O u S> U U
I
45. UJ to O
O
O
v
l
O
N
U
l
U
J
t
O
?
—
O
N
O
0
0
s s ~
4
%
45. Ul
% s
UlUlUl
UlUlUl
UlUlUl
Ul
ONONO
NONON
>—
tOUJUJ4
5.UlONv
lOONO
Ol— ?— tO
UJ IOH-
ONOvlO
NUl45.
UJtO
K-
ONOOO
V]
Ul
Ul
Ul
Ul
Ul
Ul
Ul
Ul
Ul
Ul
vi oi
- O IO OOvlONUl45.
tO'— ONO
45.45.U1U1U1U1U1U1
U1U1 UIUIUIONON
00 ^O ^y ^"^ tO UJ ^. ui
ON ON ^^ 00 ^0 ^^ ^^
00v)^UlłiWtO»-
O^ OOOO^OONUI
t .^ f .^ t.j f.^ ^ .j ^^^ ^^^ »^^ 4^5> 4^
UlONvl 00 NO O — tO UJ S
oooo-j oi ui 5 w M >- o
4^ 4^ Ul ON O0 vi
4i. 4^ 4^ UI UI UI Ul UI Ul UI
Ul Ul Ul Ul
-ooovoo^-tou>4^4^<-ft
ON-JOO\O
OiUi^WWW-o^OO
-J-JOsUi
UJ UJ WWW^*-^*>^^^
UlON --400\00>— ?— IOU>4XU|
Uiiifc ^WW^O^OOOOO^ON
4*. ON U
45. 45. 45. Ul Ul Ul Ul Ul
lOONOOtOUJ
Ul Ul Ul Ul Ul
Ul Ul Ul Ul
U O i 00
O^śjÓO^^OO^WW 4^. Ui
MWHO«OOOONJON Ul Ul
W W 4^ W W W !jj W 41 41 4> 4^.
U 4^ Ul 0\-J0000^O^WW
4^U)tO tOH-ONOOOOO^JONUi
45.45.45.45.45.45.UIUIUIUI
U0^»*lOONW
O\O00--4--JONUl4^UJUJ tOi—
U) UJ UJ UJ UJ U) UJ UJ UJ 4^ 4^ 4^ ^.
tOUJ4^. UiUlON-JOO^OO'—'tOUi
to 1— o
4=» 4^- 4^ Ui Ui Ui Ui Ui Ui Ui Ui N4
00 ^O O H (O W f Ul O\ NJ VOOO-
J^JONUI Ul 4^ Oi UJ tO
W Uł UJ UJ UJ UJ UJ UJ UJ UJ 4^ 4^ ^
— — ro ui4^uiON-JooNOOh-tsj
ONOOO 00-JO\^UI^-^WWH-
4>4>4>4^-4^4^4^4^UiUi
UtUiUiUiUi
u55u>(ji^oo\oo«-
touJ4^uiON
i-O^0000>4aO\UlA
4^U)UJtOtO
4^ 4^ 4^ 4^ 4^
? UJ 4*- ui
00 -^ sj
tO K- H! O NO
Is) UJ Ui Ui U) UJ Ui 'JJ Ui UJ UJ -U 4i.
\0 O >—» S>U)4^UION-~JOO\OOI—'
00 ij vi o\ 01 ui *? ?
4i. 4^ 4^. Ui Ui Ui Ui Ui Ul
ON OS
O ON 00
CO CO CO
CO
S S B
CN O OO
v~t CO NO
W> CO CN
—i
O O
oooooooooooooor^c^-
ĆN CN
CO CO CO CN CN CN CN CN
CO CO CO CO
CN CN CN
00 Os Os O
" o * oś
" 8 Os 00
NO
NO m rt
co CN -H
ON O — — CN
M O OS 00
t- NO
co c4 *-<
r--r--r-
-
oooooOQO
X h vo
f
oo o> o\
o
{O CN »i «—
< CO CO CO
CO
s
—i os CN
O
1
JQ S 3
2 3
coeoeoeoeoeoco eococoeNcseNescNcses es es es
^^ o oo *o r- 05 ^t co
S
~* es co Tt
mcommcn
3
co es *-* o ON oo
co co co co es es
* CO CN CN
— O
OS OO
OS O CN
— « O
* t t
CO
eocoeo
eocoeN
es
escses
esescs
eS'-'^^
-H
CO ^
CO CN
ON O -—'
CS CO oo
oo r- *O
Ti
CO CO CO
CO CO
$ a a
co co co
cs
eSeseN
eseNes
cNeSeN
*^ ^
r- ON
co
5-
^O ^C* r*^
00 ON ^^ ^H
^^
co co co
co co co
co co
cococo
coeses^
H —
ONOO
coeses
escses
csescs
es
o es co vi v© oo ON
r- oo co co
co
O O ON ON oo r-00
t~* >/") ^t CO CN fN CS
CN CN CN O\ '—' CO \O
OO ? CO CO CN ^
O
4
^O
OOOCSCOIO^O
OOON-—'CS
^ś^n ^r ^^i ^^* ^r
^^r ^^i ^^« C^J c j ^
i
eocoeoeo
cococoeo
eoeo
3
7
3
3
6
4
3
5
5
3
4
6
3
3
7
3
2
7
3
1
7
3
0
8
2
9
8
2
8
8
2
7
7
3
9
2
3
8
3
3
7
5
3
6
6
3
5
7
3
4
8
2
2
9
3
2
9
3
2
0
3
1
0
3
0
0
4
1
2
4
0
3
3
9
5
3
8
7
3
7
8
3
6
9
3
6
0
3
5
2
3
4
3
3
3
3
3
2
4
O
s
r
M
00
CM
CM
rN
a
CO
CN
CN
IN
Os
647
8
O
=> S o
"?J vi --J -J 00 00
Ul vi 00 NO O i—
NO O i— UJ Ui ON
UI ON vi 00
O i— UJ S
to to
t
o
t
o
t
o
t
o
t
o
S
^JNDOi
—
tO4
^Ul
ON^
J00
O\ O
E vi
NO>
—
UJ&?
>.Ul
ON
NO
2 i S w
1— i— ON -J ON
NO O Ul Ul
ON 00
-o. ~J ~J
t Ul »
.-10$.
O O O i—
i— >—
uJUioo
otoui
IO NO tO
tO ?— 00
— i— tO
tO tO 00
NO Q tO
U>
U) ON 35
i— UJ
to to
4^ Ul
Ui ON
--J v] vi vi vi vi
U> ?>. Ui ON vi NO
t\> ^ UI N] vO ^
S
O O O i— i— Ul
~J NO i— tO -J i—
tO tO O ON
-J v> vi v] vi ~J
to to
8 C
-J ~J ~J -J -
o.
W w Ul O\
s] ON 00 O
tO Ul
i i
OtO*>.ON~J
NO^-
tO^UlON-
jNO
tOtoŁoo
Ui —
UiSuJ-
JNOtO
vj -o. -J -J --J ~J
© .— UJ -t^- m ON
O* 00 O to *. ON
O •— UJ Ul NO UJ
ON O
ON -J -J O
NO Q to UJ
-J ND i— U>
8
ON ON ~0 ~) -J -J
00 NO O i— N> -U
O tO ^ ~J NO tO
s
g s
28 83
NO ~J *>? O
o o o
So Ul i—
O -^ oo O O t—
s
ON ON ON -»J ^J
-J 00 NO O IO
>— ^ ON 00 »—
ON ON ON ~J -J -J
O\ ~J 00 Q •— to
W m 00 O UJ ON
o 2 S 2 S
to
ON to ~j to
o o o
O i— UJ -t^.
ON i— Ul
o o
ul o
00 ON NO
o o
Ul ~J
NO UJ
to u!
00 NO
ON NO
O O
ON 00 —
00 O
ON ON
ON Ui
ON 00
4*- -J »—
ui ^i ob
NO UJ ON
o
U
l
U
l
S 2
NO UJ
2 S
*» 00
o S
Ul ON
ON NO
2 S
;— Ui
o o
ON ^ ON ON ON ON
- w w m a >J
to t_* oo ^- Lft oo
ON ON ON ON ON
i- W ^ Ul -sj
^J O W -J O
O\ ON ON ON
to u) 4^- O
tO Ul 55 N>
co o r-
oo r- m
m w> m
'—
o
-H o os oo r-
—i — —i —'
O O r** so ID
*r co CN
m v~> »n
NOWO
coco
S
CO ~
CO CN
oo r*
ID ID
oo t— NO
V) ^"
CO CN •—<
O ON
iri in m
ic t
N « -
???
-H ^H O
O O O
Q CN —<
Q ON OO
f- NO ^
^ ^" CO
CO CO
CO
s
CN i—' ON
oo
ON 00 NO
VI
»n in >n
»n
m in in
»n »o
N -i -<
-
— o o
o o o
o
co o) ^^
^? ON oo
t^-"^ ^f
^h ^ co
co co
ONr-NOTfCN ^QOOr-NO»OIOrfCOCO
m^tcooł'—? ©oŃf-NOin^corN'—<©
NONONONONO NO»n»o»oin»oiov^»oir)
~- ~ —* Q ©
o o
CN ^-<
8 8
co co
8
K S?
o o o
CO CN ^^ rr
?* •*
ID CO CN O
CO CO CN
CN
»n TJ- co CN
io in in
io
o o
co CN
- r^
*O NO
CO —
^
3
NO
NO
COCO
CNCN
-H r-
i —
i—' O
5 co
ID ID
n
N
M
^
H
H
NO
io
in
D
CO
r
o
CM
CM
_
5
9
0
o
o
o
o
o
o
^_
— CN
CN
CM
P
R
1
OO
sO
s
s
CO
CM
SO
3
s
00
ID
ID
ID
ID
ID
*
ro
ID
CM
ID
o
ID
Os 00
s
7
3
8
7
2
7
7
1
6
7
0
5
6
9
4
6
8
3
6
7
3
6
6
2
6
5
2
6
4
1
6
3
1
6
2
0
6
1
0
6
0
0
5
9
0
5
8
0
5
7
0
5
6
0
5
5
0
5
4
0
5
3
1
5
2
1
5
1
1
CN CM
O Os
4
8
2
4
7
3
7
4
7
7
3
6
7
2
5
7
1
4
7
0
4
6
9
3
6
8
2
6
7
2
6
6
1
6
5
1
6
4
1
6
3
0
6
2
0
6
1
0
6
0
0
5
9
0
1
58
0
5
7
0
5
6
0
[
5
5
1
5
4
1
5
3
1
5
2
2
CN CO
ID ID
4
9
3
|
4
8
3
5
CO
CM
8
Os
o
o
r
-
sO
ID
•
r
o
CN
_
o
OS
o
c
SO
r
o
CM
M O
OS
CC
a
s
Os
Ó
s
00
c
c
c
c
o
c
OO
00
c
c
OO
OC
00
r
-
r-
.
r-
SO
649
4-* 4^ 4- 4-» 4-
- w u 5 ui
ON ON ON UJ i-
Ul
tOtOlOtOtOtOtOtOUJ Ul UJ UJ UJ UJ
UlUJ4^UlONvlOONOO *- tO UJ -fc- Ul
UJ UJ UJ
s) 00 ^O
)— O O
4- 4-- •— to
CC -J
4i -t- +* Ui ON vi Ui Ui 4>
tototototototototo UJUJUJUJUJUJUJUJUJUJ
ON OS ON O^ L/i L/i 4^ 4^ 4^ UJ UJ tO *•* ^^ ^^ CT*? ^Q 00 00
UJUJUJ
tOUJUJ
UJ
00
O\
UJ UJ UJ
UJ UJ
— torotototototoro K>N)U>UJUJUJUJUJUJU>
VO O •—' W W Ji Ul O\ 'J OO^OOH[OW^UIO\
UJ UJ 00 SD L/t 4^
to to to to to
S
O\ -J 00 \Q \O
^O 00 00
to to to
O0 00 sj
UJ UJ UJ UJ UJ
«- K> UJ 4> L/l -J
-J ON OŃ LA
UJ UJ UJ M
M w O\
Ul Lft
UJ Ul 4-
UJ UJ 00 NO UJ
tO
to to to to to
touJUJUJUJ
0OSJUJ
UJ
UJ UJ Ui ON
UJ UJ
UJ UJ vi 00
to to
______ to toto tOtOfOlOlOtOtOUJUJUJ
4^ Ul ON vi 00 NO O "~ NJ UJ 41 Ul ON ^ 00 NO O — tO
00 00 00 00 00 ~^J ^-] ^*J ^O ON ON ON Ul ^-/t '—'i 4-^ 4-* 4-* UJ
UJ UJ
to to to to UJ UJ UJ
UJ UJ
UJ 4-
to to
UJ UJ UJ UJ UJ Ul ON
vi 00 \Q
tototo
tototo
tototo
uj
i—
tOUJ4
>UiO\-
J00\0O
ui L/I 4-
4- 4- UJ
UJ r-o ro
to
UJ UJ UJ
UJ 4^ L/l
ON -J
H- ^- N-t
O
M u M
^o o *-
4i. UJ UJ
t
o
W
4i
Ul
C
^
vi
00
NO
Ul
Ul
Ul
Ul
1.
t\
Ul
Ul
4^
A s] Q0
H 4- 4^
2
>— to UJ t
4^ ^
UJ UJ UJ UJ UJ UJ
—
IOUJ*>.UION
_ »~ H~ » oo
to
to
tOtOtOtOtOtOtOtOtO
tO UJUJUJUJUJUJUJ
t
o
UJ
t
o
to
to
UJ
Ul
UJ
U
J
U
l
t
o
ON
to
vi
IO
00
o
t
o
g
Q
4^
00O
OtO
UJUl
UJUJUJ
tOSJtO
NJtO
to to UJ
UJ UJ UJ
oo NO o
*- to UJ
H- H' k-
O O O
vi OO NO O —
OOOO tOU4UlON
lOO
UJUJUJUJUJUJUJUJUJ UJtOtO
to to to to
o ?-* to UJ
S
S 8 3
tO N) tO
IO tO UJ UJ
UJ UJ
SS85
UIONV10O8O»- tOUJ J>Ul5Ń
_tototototototo»- ___
to to to to
vi 00 NO O — tO UJ
S 8 o
? S $ S So
Ul ON vi O0
to to to to
s
M M W
885
ONvlOONOO^-
tO UJ J> Ul O- vi
M W
NJtOtOtOtOt
OtOtO
8
gŚS
^S
tototototototobo
o o
o
8
2 a
§ 1
s
S8S
tM _ ,H „ o
8 3 8 S S
m
CJ v i v j «* j "^r ^ T) r* J tN ^^
O ON OO t*1"" Mp *Ó ^" Cl CS *•?* <3
T^ ^^ »"H ^^ <^^ ^^i ^^ f^i (^^ ^S g^^ ^^i <^^
^^ l^} ^^ ^CJ ł^ ^^ O\ QQ ^^p ^O 4^1 Tf C**l eS *^ c^i
oo r**"* vo ^^i ^^ co es *^H ^^ QN C*^ ^p ^*) ^f co es ^*^ ^^
^^ ^^ ^™< ^H ^^ ^^ ł^H ^H <^5 ^^^ ^^ ^^ <^^ ^^ <^^ f^^
^^i ^^^i ^^r ^r ^^" ^T c^^ c^^ e^^ T^"H ^^^ [j"\ ^Q ^^^ ^^^ ^^r e^ł
^j^ oo r^^ \^jj ^^^ ^^* c^j e^ł ^"^ * j fj% oo ^^? i^ j ^y c^^ e*N ^™^ ^ ^
^^ F*H ^M ^H ^^ ł^H ^H ^^ ^^ ^^ ^^ f^^ ^^ f^S ^^) ^^ ^}
^^\ oo j1"^ V^*J ^^^ ^^r (^i e^ł ^m^ ~~j - ^j^ oo ^^^ ^* j ^y c^^ e^^ ^^ (i ^
_^„„„ — „„_„ oooooooo
30 oo oo oo oo oo oo r^^ ^^^ ^f^ ^^^ ^^^ ^^^ c^^ ^^ ^|^ oo ^^^ ^^^ e^^
r^ t"i ^^ QO r^* ^D ^^ ^^ co es ^^ ^^ os oo r***^ ^D ^f co es ^^ c?
CM CM — -^—<-H — -->—< — ^ — OOOOOOOO
^^ Os oo r*^ ^D ^o ^^ co es ^^ ^^ ^^ oo t*'1** ^o ^*i ^^* co es ^^ c^
co co co co co co co co co co es es es es es es es es es es
3 S
r- co ?* co
651
NO NO
J> Ul
OO NO
4^.4>4^
4>4^4^.
LALA
UJ4^LA
ON--
4000^-
H- N> UJ
Ul ON OO
© Ni
LA LA LA
LA LA
Ui 4^ ON
-J OO ON
v© w 4^
~J
4^ 4^. 4^ 4^. LA
LA ON -J NO O
ON --J NO >-> Ui
a
LA LA LA LA LA
LA W g U, ON
-J
4 4 4
^- tO UJ
Ni UJ LA
Ul Ul Ul
i- U f
NO to J>.
UJ Ui UJ Ui UJ
O H- tO UJ 4*.
Ui 4^ 4^ LA ON
tO Ui UJ UJ UJ
vO Q i— to Ui
UJ 4^ LA LA ON
3
UJ
ON
xc
Ui 4> NO O
O •—'
t t. ^
t *.
5 Ul -J
OO NO UJ Ul
^1 00 O tO J>
J> J> Ji
J>
IO UJ -U
OS
oi oo M>
H.
Ul
Ul
Ul
Ul
ON
Ul -
*J 00
NO
*"*
-j
o -
U -
o «
Ul Ul Ul Ul
Ul Ul Ul
« to u> J> ON
-J oo
O UJ ON NO tO
ON *O
u> u>
UJ
UJ J>
ON
00 NO
O
UJ
Ul
o
to UJ u> u>
VO O ?— IO
J> Ul ON ~-l
U)
to
00
IOU)U>
X©©>—
100NO
UJ U> -J 00
i— IO
UJ UJ ON -O.
— UJ
Ui UJ LA
ON
to ?.
5
-J
J> ?&. J>
Ul ^ CO
U) ? J> -fe.
J> .fe. ? \O
o — UJ J>
Ul ON
ON 00 NO ~
UJ ON 00
5
Ui Ui UJ
LALALALAL
ALALALA
Oi—? Ni 4i. LA
ON 00 NO
(O J> ^1 - łi
vj — 'ji
LA LA LA
LA -J O0
NO UJ -J
LA LA LA
O t— UJ
ON NO tO
4^ LA LA LA
LA
NO •—'
tO Ui.
LA -J O
4^. --4
i—»
o i
O0 O UJ
ON
4^ LA LA
LA LA LA
LA
00 O •—
tO 4*. LA
-J *O N>
LA v?) Ui
-0 H-
tOtOtOIOtOU)UJUJ
J^UOlOOOtO
Ui Ui UJ Ui Ui 4^. LA ON
Ui LA ON O0
4*.
LA 4^
4^ LA LA LA LA LA
vO O Ni UJ 4^. ON Ui -J
— LA NO Ui
o ?
Ui
UJUiUJ
UiUiUi
Ui4>-|^
tOUi4^
LA-
JOO\©
ONi
4^4^4^,
4^.LALA
LALA
'JI ^1 X
C - N) -
U 'N/I 00
H Ul 00
N) O\ •-
LA
N> NJ tO łO N> UJ
4^- <-A ON 00 NO O
tO U) ^ 6 ->J CO \Q
O\vl00\00-W^
ui Ui UJ ui UJ UJ UJ ui
-^ 4^
M-tOUJLAON-
JOO^O'—'tO
4^ON00ON)4^0N00
— 4i.
UJ UJ UJ UJ UJ UJ UJ 4^ 4^.
HK)^UIÓ\-
VJ00O|-' -
JO0OtO4^.--
Jv©tOLA
4^
to
-U 4- 4-
LA ON -J
O UJ ON
4^ LA ON
Ul Ul Ul Ul
2 00 tO ^
Ul Ul Ul
*- to UJ O -fe. NO
tO tO tO tO Ni Ni Ni
^J 00 NO O *- Ui 4^
4^ Ł Ji Ji UJ J>
Ul -J tO Ul NO UJ
O
4^
?^J ^O tO LA 00 N-
i— tOlONitOtONltO
NOO^-N>4^LAON-J
0>--J00\0ON>UJ4^.
OONOO^—
UJ4^.LAON ON--
J00NO'—'NJUJLA
to to UJ UJ UJ UJ UJ UJ
UJ UJ
00 NO ^~* NJ Ui 4^ Ul "-J
00 NO
ONOOONJ4i.ONOO'
— 4^-J
NJ tO UJ UJ UJ UJ UJ UJ UJ
UJ -JOOO^-
NiUi^ON-JOO ON
00 O N> 4i.
4^ 4^ 4^. O0
tO ON
-fc. J>
^1 NO
NO UJ
4i. 4^ O Ul
Ui Ul
o ui
i-* •—i i— Ni N> N> N> NJ
to
ON
?— H M w K) ^ fj [O
ON -J 0© Q >—' N> Ui *
•O 00 NO O •—' NJ *"
\O O ^-
ON
N>
O •— UJ
Ui
UJ ON
-J
ON NO
N> N) NJ UJ
UJ UJ ON ^J
N© O ?— N>
-J VO ^- Ui LA -4
tO tO tO N> UJ UJ UJ UJ
UJ UJ
LAONOONDO^^UJ^
LA-J
-JNOI—'UiONOOi—
UiONO
Ui UJ
Ui UJ
Ni UJ
4i- ON
W ji sj O
NiNJNiNiNJNiUJU
iUJUi UJLAON-
400N0'— NiUJLA
OOONi4>'ONvOtOLA
OO>—
a
LA NO
UJ J> NO H- --J O
U) J> 00 O 00
K)
Ui Ui
J>
"— U) ON O
6
ON ~1 IO -J
-U 4i Ui ON
UJ 00
Ul
4
9
2
5
0
7
4
8
3
4
9
9
4
7
5
4
9
1
J> J>
3 23
_ — — to
-J 00 NO O
O •—' UJ LA
NJ tO NJ NJ tO
tO UJ UJ UJ UJ
Ni4^U»O
N--
JłOQi—
'Ni-^-
OOONJ4
^--
JONJUiN
ONi
Ui Ui
UJ J>
NO —
00 UJ
&o UJ
J> J>
Ul -J
NO Ul
§ 8 3 8 1 i °
oj -H —, — o O
^ Vi ^" ^ O C
co o) —"OO^odr^^io^-moJ •—•o
^^ ^-HOOOOOOOO O
^^ c^ o^ oł ^i ^^ ^~* ^^ ^ _i'j ^^ ^^>
Tf- *owi"^-cool-H©o\ooc^
O ^5 O »O Tf ro
O O O
O
^^«« OOOOO
^HOCtOO ^'Ol/I^CO -
H-HOO OOOOO
o o o
O\ 00
o o
o
"O
O
o
O
o
-H O
O
oooo
oo
^^
oo
"J Ol Ol
?3 fM
Ol
Ot
»
o
s
§1
(
N
—
—
—
-
H
O
O
>
?
>
v
>
1
-
c
i
<
N
—
i
o
i
_H _ « —
-H O OO
t--»oi/-
)tm(M
— O
«««^
QO
OOOO
OO oo
r-
~to>o^c
o oi--
ooŃoor^
«__rt —
^ „ ^
-H O O
O
o o
S o
o o
s s
o o
Ol
Ol
Ol Ol Ol Ól
-H r-. -H
O O O
V
D
U
l
O O O O
m (S —< o
o o
O
s
o o
g O
(N CM ul
*t
m w H
o
oo
— o
O
o o
S g
2
5 a
„ „ ^
^ Q
^J- co ol
-H o
Ol Ol Ol
Ol Ol
—• O O
W N "-1
M M CS
3
"o T
ci rt
rn o
O O O
O O O
O 1^ vo
m TT co
o) —
i
i
o
s
o o
(NJ ^H r~> —I —.
Ol Ol Ol Ol Ol
2 g
" co
° m ol •"-" S
N N (S M M
0 o o
Cl M H
01 Ol O)
8 R S
o o o o\ oo r-
o o o o
»n TJ co ol
o o
-i O
S R
o o
-H o
to to
O Ot 00
to
653
ON©
LO LO UO
i—' LO Ul
^D *>? O
N^tOLOLOLOLOUOLO
OtO^U]O
t-O t J to
tOtOU>U)U>
W^W <100Q U>
HMHMMMtOtJ tOtOtOtOLOLOLOLOLOL04^
H^ LO 4^ tjf^ ^^J OO r'' j ^^ t'J 4^ t^^\ ^ ^ y^^ ? ^^ ^^^ f*|^ 00 '' *^
^-^^-^-^ H-^-IO tOtOtOtOtOU>LOLOLOLOLO
O — ^- — — — — — tOtOtOtOtOtOLOLOLOLOLO
OO^Ot—tOLOUlONOO ^O^^tO^ONOO^Ot—i w Ui sj
SC — — _ — _ — ^^tOtOtOtOtOtOLOLOLOLO
35 © ?— (O 4^ Ul »J 00©i—'LOUi^J00©tO4^ON
LO
OOO©'-1'—'•—'>— •—'"—'"— tOtOtOtOtOLOLOUi
OO©©©«—>i—'H- i—»ł—'i— tOlOtOtOtOtOLOLO
00 ^i^— ^P^ 00 ^ij ^^^ i Ł ^^ ^^ 00 L/l ^^^ i^^^ 00 ^^J ^w.,1 00 * t - ^ t ^
oocooooooooocooo o \o
łOLO^UiON-JOO^O ©i—'
NitOtOtOtOLOLOLO L
4^UION00*O©I—'LO -j
WUl-JOWO\^W ó\ O
totototototoLou> w w
W^Uis]00\O^tO LOUi
tO
tO
LO
(OtONłtONitOtOLO
tOLOU0J\00
N> tO tO tO tO tO tO
i—* (sj 4^. Ul O\ GO vO
tO tO tO tO LO
'00 \O •—'
Ui OO M ^ sj M U)
^©>— LO4>Ul-Jwu
LOUtCOH-^OOH-Ul
— — ro to [O to to to (O
OO^CtOLO^ON-J NO
tOUtOO'— ^ OO •-'Ul ©
— — ro to to to
-O. 0O \Q i— tO LO Ul
N) Ul X >- 4^ 00 M
— — — t J
* 8
-O 00 © i—» LO Ul
Ui \O 4^- O Ui ©
uiO
ONH-ONtO-JLO©-O LO
LO t>J LO -P^ 4i- 4^ |^
LOLOLOLO4^4^4^4^
LOUIONOO©*—'LOUI
COL0004i.©ONLO^-
LO LO LO -t» ^ J^ 4^ L/1
'•^J ^O ^^ tO p-- (^ ^O Ui
i—' 00 Ul (O »—•
LO LO 4^
oo \o ^-
tO vo O\
I
U>U>U>4^-^-
OV00VOU)
LO '-*J LO LO LO 4^. 4^ tO
LO Ul --0 ^D © tO tO 00
Ul LO H- \O 00
s
?
i
o
6
o
0
2
0
0
3
0
f
O
4
1
i
o
0
1
0
0
2
0
0
3
0
-U
to
c
0
1
0
0
2
0
Co
o
0
1
0
i
o
a
S
*
co
a
1
Ul
o
Ul
Ul
LA
to
Ul
LO
LA
LO
Ul
Ul
LA
Ut
Ul
o\
Uł
O\
Ul
Ul
Ul
00
Ul
oo
Ul
vo
Ul
a 2 <=>
i
O O o
3S
S 2
O o
§3 lig
3 3 3 s
« 5 m M « O
O O O O
ON 00 O
O
O g
o oo
o o
TJ- co «—.
8 S 5
1- to M N N) S)
W L>\ NC |J (> C
|i \C ^ OONWOOO-^JCTN^OO
OOOOOO
O1—' MHi-Mi-iKJWtJto
^ ^ j ?? ^ ^.^ f j ^ [ ^f^ ^^^
OO y^^ ^"^ t"^^ ^^^ ^^^ "'"J ^^5 ^^* f^^ f^^ — l j
U)O\\OW-
JNJ-JN) OO^t—'00-^J«-AL/iOS--J
OOOO
OOO MMk-MN-wiotOW
OJ -J O '-'i
sD -t- ^O LAtOSJN>
O ^ tO ^
Ol >J 00 O^^WL/i —] \O ^^ V>) <./!
UJ -J >—•
CTN H-» ^ tO^O^-^SlbOtOUON
OO
OO
O O^-^-^-H-K-K>ION)
O^-*bJ-
^t-/i—J OOO^-^-^^ONi-f^
łi OC
W X
W ^O O\ ^ i-'O^OONJUt
r^^N.
^^ł
^^
^^ <^i ^^ ^i— — t*^ i-^— —^ ^J ^J
O i~~
tO -ti '-
-/i -~j O — tO -t^ ON 00 — '-»->
4^-
^C
4^ -
O ONKJOOO--J-^JOOOI>J
O
O
O
OOO«—1^-k|—?^-*|—'to
O
"—>
UJ
^ ^-J^Oi—' U ^OOQ^--^ONOOO
ł
J
\
"
^
-
^
J
-
^
N
ł
O
^
O
O
|
"
—
^
^
O
O
O
O
Q
O
^
—
^
-
H
-
N
-
H
-
O
^
^
O
J
?
&
^
^
0
0
^
5
t
O
^
"
^
J
^
O
O
N
t
o
^
o
s
i
u
i
w
y
i
^
H
o
s
OOOOO>—ti—
'»—*^-
O
ł
-
W
U
i
N
j
^
h
-
W
W
i
O
O
O
N
U
J
N
-
O
O
*
—
'
U
J
-
J
U
J
NO
l ,
O O
O O —
" O >—
W Ul ~J
O tO
00 ~J
~J OO
?- ON
O O O O "-O
— LO ON 00 g
o
o to
to
a s
i
Tablica lla. Wartości krytyczne
S współczynnika zgodności W
Kendalla
a = 0,05
Tablica 11 b. Wartości
krytyczne S współczynnika
zgodności W Kendalla
a = 0,01
N
3
4
5
6
7
3
4
5
6
7
3
64,4
103,9
157,3
3
75,6
122,8
185,6
4
49,5
84,4
143,3
217,0
4
61,4
109,3
176,2
265,0
5
62,6
112,3
182,4
276,2
5
80,5
142,8
229,4
343,8
6
75,7
136,1
221,4
335,2
6
99,5
171,1
282,4
422,6
8
48,1
101,7
183,7
299,0
453,1
8
66,8
137,4
242,7
388,3
579,9
9
54,0
—
—
—
—
9
75,9
—
—
—
—
10
60,0
127,8
231,2
376,7
571,0
10
85,1
175,3
309,1
494,0
737,0
12
71,9
—
—
—
—
12
103,5
—
—
—
—
14
83,8
—
—
—
—
14
121,9
—
—
—
—
15
89,8
192,9
349,8
570,5
864,9
15
131,0
269,8
475,2
758,2
1129,5
16
95,8
—
—
—
—
16
140,2
—
—
—
—
18
107,7
—
—
—
—
18
158,6
—
—
—
—
20
119,7
258,0
468,5
764,4
1158,7
20
177,0
364,2
641,2
1022,2
1521,9
-
?
42 — Metodologia badań..
Literatura
?
Abell P.
(1975).
Modele w
socjologii
,
Warszaw
a, PWN.
Ackoff R.
L. (1969),
Decyzje
optymaln
e w
badaniac
h
stosowan
ych,
Warszaw
a, PWN.
Adler T.
(1993),
APA, two
other
groups to
revise test
standards
, "The
APA
Monitor",
24 (9),
24-25.
Adorno
T. W.,
Frenkel-
Brunswik
E.,
Levinson
D. J.,
Sanford
R. N.
(1950),
The
authorito
rian
perso-
nali
ty, New
York,
Norton
Library.
Adorno
T. W.,
Frenkel-
Brunswik
E.,
Levinson
D. J.,
Sanford
R. N.
(1969),
The
authorito
rian
perso-
nali
ty,
Ne
w
Yor
k,
Nor
ton
Libr
ary.
Aebli H.
(1982),
Dydaktyk
a
psycholog
iczna
(wyd. 2.),
Warszaw
a, PWN.
Aiken L.
R.
(1974),
Some
simple
computati
onal
formulas
for
multiple
regressio
n,
„Educatio
nal and
Psy
chologica
l
Measure
ment",
34, 767-
769.
Aiken L.
S. West
S. G.
(1991),
Multiple
regressio
n: Testing
and
interpreti
ng
interactio
ns,
Newbury
Par
k,
CA,
Sag
ę
Ajdukiew
icz K.
(1965),
Logika
pragmaty
czna,
Warszaw
a, PWN.
Alwin D.
F. (1974),
Approach
es to the
interpreta
ńon of
relationshi
ps in the
mulritrait-
mulńmeth
od matrix,
w:
H.
L.
Cost
ner
(red.
),
Soci
olog
ical
met
hod
olog
y
197
3-
197
4 (s.
106-
127)
,
San
Fran
cisc
o:
Jose
y-
-
Bass.
American
Psycholo
gical
Associati
on (1973),
Ethical
principles
in the
conduct
of
research
with
human
part
icip
ants,
Was
hing
ton.
DC,
Aut
hor.
American
Psycholo
gical
Associati
on, APA
(1992),
Ethical
principles
of
psycholog
ist and
code of
conduct,
.America
n
Psycholo
gist", 47,
1597-
1611.
American
Psycholo
gical
Associati
on, APA
(1985a),
Standard
y dla
testów
stosowan
ych w
psycholog
i
i
pedagogi
ce
(„Bibliote
ka
Psycholo
ga
Praktyka"
, T. I.),
Warszaw
a, Poi.
Tow.
Psychol.
American
Psycholo
gical
Associati
on, APA
(1985b),
Standards
for
education
al and
psycholog
ical te
stin
g, (wyd.
4.)
Washingt
on, DC,
APA.
American
Psycholo
gical
Associati
on, APA
(1994),
Publicatio
n manuał
of the
American
psycholog
ica
Ass
ocia
tion
(wy
d.
4.),
Was
hing
ton,
DC,
Aut
hor.
American
Psycholo
gist
(1965),
Special
issue:
Testing
and
public
policy,
20, No.ll.
Amsterda
mski S.
(1983a),
Między
historią a
metodą,
Warszaw
a, PIW.
Amsterda
mski S.
(1983b),
Nauka a
porządek
świata,
Warszaw
a, PWN.
Kwas.\as\
K..
^.V)%1),
Psycholog
ical testing
(wyd. 5.\
New
YOIVL,
Macmitta
n.
Anderson
G. L.
(1971),
Istota i
metody
psycholog
ii
wychowa
wczej, w.
Ch. B.
SVinnet
(te&.\
Ps>cVi
log
ia
wychow
awcza
(s. 11-
47),
Warsza
wa,
PWN.
Angoff
W. H.
(1988),
Validity:
An
evolving
concept,
w: H.
Wainer,
H. I.
Braun
(red.),
Test
valid
(s.
19-32).
ffillsdal
e, NJ,
L.
Erlbau
m.
Aranow
ska E.
(1987),
Element
y
zastoso
wań
modelu
wielowy
miarowe
j analizy
wariancj
i
(MANO
YA)
658
badaniach psychologicznych, w: J. Brzeziński (red.), Wielozmiennowe modele statystyczne w ba-
daniach psychologicznych (s. 115-151), Warszawa-Poznań, PWN.
Aronson E. (1995), Człowiek istota społeczna, Warszawa, Wyd. Nauk. PWN.
Aronson E., Carlsmith J. M. (1968), Experimentation in social psychology, w: G. Lindzey, E. Aronson
(red.), The handbook of social psychology, t. 2 (s. 1-79). Reading,MA, Addison-Wesley.
Aronson E., Wilson T. D., Akert R. M. (1994), Social psychology. The heart and the mind, New York,
Harper Collins.
Arystoteles (1956), Etyka Nikomachejska, Warszawa, PWN.
Arystoteles (1983), Metafizyka, Warszawa, PWN.
Asch S. E. (1952), Social psychology, New York, Prentice-Hall.
Asch S. E. (1969), Opinie i nacisk społeczny, w: K. Jankowski (red.), Środowisko a życie psychiczne
(s. 288-302), Warszawa, PWN.
E. Y. (1993), Pygmalion — 25 years after interpersonal expectations in the classroom, w: P.
D. Blanek (red.), (1993), Interpersonal expectations. Theory, research, and applications (s.
125-153). Cambridge, Cambridge University Press. Babad E. Y., Inbar J., Rosenthal R. (1982),
Pygmalion, Galatea, and the Golem: Investigations of
biased and unbiased teachers, .Journal of Educational Psychology", 74, 459-474. Bakan D.
(1966), The test of significance in psychological research, „Psychological Bulletin", 66,
423-437.
Bandura A., Walters R. H. (1968), Agresja w okresie dorastania. Warszawa, PWN. Bańka A. (1994),
Wiarygodność i odpowiedzialność etyczna psychologa jako eksperta, w: J. Brzeziński, W. Poznaniak
(red.), Etyczne problemy działalności badawczej i praktycznej psychologów (s. 185-196),
Poznań, Wyd. Fundacji Humaniora.
Barber T. X. (1976), Pitfalls in human research: Ten pivotal points, New York, Pergamon Press.
Barber T. X. (1991), Pułapki w badanich: dziewięć rodzajów wpływów związanych z osobami badacza
i eksperymentatora, w: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i
pedagogicznych. Wybór tekstów (s. 399-431), Poznań, Wyd. Nauk. UAM. Barber T. X., Silver M.
(1968), Fact, fietion, and the experimenter bias effect, „Psychological Bulletin,
Monograph Supplement", 70 (nr 6, cz. 2), 1-29.
Bartlett M. S. (1947), The use of transformations, „Biometrics," i, 39-52. Bartnik C. S. (1994),
Hermeneutyka personalistyczna, Lublin, Katolicki Uniwesytet Lubelski. Basu D. (1980),
Randomization analysis of experimental data: The Fisher randomization test (with
discussion), .Journal of the American Statistical Association", 75, 575-595.
Batog T. (1994), Podstawy logiki, Poznań, Wyd. Nauk. UAM.
Bechtoldt H. P. (1959), Construct validity: A critiąue, „American Psychologist", 14, 619-629.
Bechtoldt H. P. (1968), Teoretyczne podstawy metod testowych: trafność i prognoza, w: M. Choyno-
wski (red.), „Biuletyn Psychometryczny", T. II (s. 7^f9). Wrocław, Ossolineum. Bell C. R.
(1962), Personality characteristics of volunteers for psychological studies, „British Journal
of Social and Clinical Psychology", 1, 81-95.
Belnap (1963), An analysis of ąuestions; Preliminary report, California. Bentler T. M. (1985), Theory
and implementation of EQS: A structural eąuation program, Los Ange-
les,CA, BMDP Statistical Software. Bernard J. (1994), Od biologii do etyki. Nowe horyzonty
wiedzy, nowe obowiązki człowieka, Warszawa,
Wyd. Nauk. PWN. Berry J. (1969), On cross-cultural comparability, „International Journal of
Psychology", 4, 199—
-128. Berry J. (1980), Introduction to methodology, w: H. C. Triandis, J. W. Berry (red.),
Handbook of
cross-cultural psychology, t. 2, Methodology (s. 1-28), Boston, Allyn, Bacon. Berry J. W.,
Poortinga Y. H., Segall M. H., Dasen P. R. (1992), Cross-cultural psychology: Research
and applications, Cambridge, Cambridge Univerity Press. Berscheid E., Baron R. S., Dermer M.,
Lebman M. (1973), Anticipating informal consent: An empirical
approach „American Psychologist", 28, 913-925.
Beveridge W. J. B. (1963), Sztuka badań naukowych, Warszawa, PZWL.
Bielą A. (1992), Skalowanie wielowymiarowe jako metoda badań naukowych, Lublin, Tow. Nauk.
KUL.
659
Bielą A.
(19
95),
Skal
owa
nie
wiel
owy
mia
row
e w
ana
liza
ch
eko
nom
iczn
ych
i
beh
awi
oral
nyc
h,
Lub
lin
Nor
berti
num
.
Blalock
H. M.
(1975),
Statystyk
a dla
socjologó
w.
Warszaw
a, PWN.
Blan
e
k
P
.
D
.
(
E
d
.
)
(
1
9
9
3
)
,
I
n
t
e
r
p
e
r
s
o
n
a
l
e
x
p
e
c
t
a
t
i
o
n
s
.
T
h
e
o
r
y
,
r
e
s
e
a
r
c
h
,
a
n
d
a
p
p
l
i
c
a
t
i
o
n
s
,
C
a
m
b
r
i
C
a
m
b
r
i
d
g
e
U
n
i
v
e
r
s
i
t
y
P
r
e
s
s
.
Bohm D.
(1961),
Przyczyn
owość i
przypade
k w fizyce
współcze
snej,
Warszaw
a, KiW.
Bore
n
s
t
e
i
n
M
.
,
C
o
h
e
n
J
.
(
1
9
8
8
)
,
S
t
a
t
i
s
t
i
c
a
l
p
o
w
e
r
a
n
a
l
y
s
i
s
:
A
c
o
m
p
u
t
e
r
p
r
o
g
r
a
m
,
H
i
l
s
d
a
l
e
,
L
.
E
r
l
b
a
u
m
.
Bortz J.
(1984),
Lehrbuch
der
empirisch
en
Forschun
g, Berlin,
Springer-
Verlag
Boruch
R.
F.,
La
rk
in
J.
D.
,
W
oli
ns
L.
,
M
ac
Ki
nn
ey
A.
C.
(1
97
0),
Al
te
rn
ati
ve
m
et
ho
ds
of
an
al
ys
is:
M
ult
itr
ait
-
m
ult
im
et
ho
d
da
ta,
..
E
du
ca
tio
na
l
an
d
Ps
yc
ho
lo
gi
ca
l
M
ea
su
re
m
en
t",
30
,
83
3-
85
3.
Box G.
E.
P.
(19
50),
Pro
ble
ms
in
the
ana
lysi
s of
gro
wth
and
wea
r
cur
ves,
,3io
met
rics
", 6,
36 -
389
.
Brehm J.
W.,
Cohen A.
R.
(1962),
Explorati
ons in
cognitive
dissonan
ce, New
York, J.
Wiley.
Brishlin
R.
W.
(1
97
6),
Co
m
pa
rat
ive
res
ea
rc
h
me
th
od
ol
og
y:
Cr
os
s-
cul
tur
al
stu
die
s,
„I
nte
rn
ati
on
al
Jo
ur-
na
l
of
Ps
yc
ho
lo
gy
",
11
,
21
5-
22
9.
Brogden
H.
E.
(1
94
6),
Va
ria
tio
n
in
tes
t
val
idi
ty
wi
th
va
ria
tio
n
in
the
dis
tri
bu
tio
n
of
ite
m
dif
fic
ult
ies
,
nu
m
be
r
of
ite
ms
,
an
d
de
gr
ee
of
th
eir
int
er
co
rr
el
ati
on
,
„P
sy
ch
o
m
etr
ik
a",
11
,
19
7-
21
4.
Brophy
J.
E.
(19
83)
,
Re
sea
rch
on
the
sel
f-
fulf
illi
ng
pr
op
he
cy
an
d
tea
ch
er
ex
pe
cta
tio
n,
,Jo
urn
al
of
Ed
uc
ati
on
al
Ps
yc
hol
og
y",
75,
63
1-
66
1.
Brophy
J.
E.
(19
85)
,
Te
ac
her
-
stu
de
nt
int
era
cti
on,
w:
J.
Du
sek
(re
d.),
„T
eac
her
ex
pe
cta
nci
es"
(s.
30
3--
32
8).
Hil
lsd
ale
,
NJ
,
L.
Erl
ba
um
.
Brzezińs
ka
A.
(19
94)
,
Ks
zta
łce
nie
psy
ch
olo
gó
w:
pyt
ani
a o
rel
acj
ę
na
ucz
ani
a i
jej
wy
mi
ar
ety
czn
y,
w:
J.
Br
zez
ińs
ki,
W.
Po
zn
ani
ak
(re
d.),
Ety
czn
e
pr
obl
em
y
dzi
ała
lno
ści
ba
da
wc
zej
i
pr
akt
ycz
nej
psy
ch
olo
gó
w
(s.
24
1-
26
8),
Po
zn
ań,
W
yd.
Fu
nd
acj
i
Hu
ma
nio
ra.
Brzezińs
ka
A.,
Ko
fta
M.
(19
74)
,
Sta
bili
ty
of
self
-
im
ag
e,
tol
era
nce
to
str
es,
an
d
aw
cie
ty,
„P
oli
sh
Ps
y-
ch
olo
gic
al
Bu
llet
in"
, 5,
3-
10.
Brzezińsk
i J.
(1975a),
Metody
badań
pschologi
cznych w
zarysie,
Poznań,
Wyd.
Nauk.
UAM.
Brzezińs
ki
J.
(19
75
b),
Eks
per
ym
ent
aln
a
kon
trol
a
sku
tec
zno
ści
zab
ieg
ów
psy
cho
kor
ekc
yjn
ych
,
„Pr
zeg
ląd
Ps
yc
hol
ogi
czn
y",
18
(4)
,
55
7-
56
5.
Brzezińs
ki
J.
(19
76)
,
Str
ukt
ura
pro
ces
u
ba
da
wc
zeg
o w
na
uk
ac
h
be
ha
wi
ora
lny
ch,
Wa
rsz
aw
a-
Po
zna
ń,
P
W
N.
Brzezińsk
i J.
(1978a),
Elementy
metodolo
gii badań
psycholog
icznych,
Warszaw
a, Wyd.
Nauk.
PWN.
Brzezińs
ki
J.
(19
78
b),
Me
tod
olo
gic
zne
i
psy
cho
log
icz
ne
wy
zna
czn
iki
pro
ces
u
ba
da
wc
zeg
o w
psy
cho
lo-
gii,
Po
zna
ń,
W
yd.
Na
uk.
U
A
M.
Brzezińs
ki
J.
(19
83)
,
Wa
rto
ść
eks
per
ym
ent
u
pat
ops
ych
olo
gic
zne
go
dla
dia
gn
ost
yki
psy
ch
olo
gic
zne
j,
w:
W.
J.
Pal
uch
ow
ski
(re
d.),
Z
zag
ad
nie
ń
dia
gn
ost
yki
oso
bo
wo
ści
(s.
93-
10
6),
Wr
ocł
aw,
Os
so-
line
um
.
Brzezińs
ki
J.
(re
d.)(
19
84a
),
Wy
bra
ne
zag
ad
nie
nia
z
psy
cho
met
rii
i
dia
gn
ost
yki
psy
cho
log
icz
nej
,
Po-
zna
ń,
W
yd.
Na
uk.
U
A
M
Brzezińs
ki
J.
(19
84b
),
Ba
dan
ie
test
u
psy
cho
met
ryc
zne
go
met
odą
ana
lizy
wa
ria
ncji
, w:
J.
Brz
ezi
ńsk
i
(re
d.),
Wy
bra
ne
zag
adn
ieni
a z
psy
cho
met
rii i
dia
gno
styk
i
psy
cho
log
icz
nej
(s.
9-
45)
,
Poz
nań
,
Wy
d.
Na
uk.
UA
M.
Brzezińs
ki
J.
(19
85a
),
Lin
iow
y
mo
del
kor
ela
cyj
no-
reg
res
yjn
y w
bad
ani
ach
psy
cho
logi
czn
ych
.
Wy
bra
ne
zag
adn
ieni
a,
w:
E.
Pas
zki
ewi
cz,
T.
Szu
stro
wa
(re
d.),
Ma
teri
ały
do
nau
cza
nia
psy
cho
logi
i,
seri
a
III,
t. 4
(s.
9-
38)
,
Wa
rsz
aw
a,
Wy
d.
Na
uk.
P
W
N.
Brzezińs
ki
J.
(19
85
b),
Oc
ena
efe
ktu
eks
per
ym
ent
aln
ego
w
ukł
ad
ach
eks
per
ym
ent
aln
ych
an
aliz
y
wa
ria
n-
cji,
w:
E.
Pas
zki
ew
icz,
T.
Sz
ust
ro
wa
(re
d.),
Ma
teri
ały
do
na
ucz
ani
a
psy
ch
olo
gii,
ser
ia
III,
t.
4.
(s.
89-
99)
,
Wa
rsz
aw
a,
W
yd.
Na
uk.
P
W
N.
Brzezińs
ki
J.
(19
85c
),
Zas
ady
stat
yst
ycz
neg
o
opr
aco
wa
nia
dan
ych
w
psy
cho
log
ii
kli
nic
zne
j,
w:
B.
Wa
-
lig
óra
(re
d.),
Ele
me
nty
psy
ch
olo
gii
kli
nic
zne
j
(s.
10
7-
16
0),
Po
zna
ń,
W
yd.
Na
uk.
U
A
M.
Brzezińs
ki
J.
(19
85
d),
Me
tod
olo
gic
zny
pro
gra
m
psy
ch
olo
gii
int
era
kcy
jne
j,
„R
ocz
nik
i
Fil
oz
ofi
czn
e",
t.
X
X
XII
I,
z.
4:
Ps
ych
olo
gia
,
53-
66.
Brzezińsk
i 3. (Ed.)
(1987a),
Wielozm
iennowe
modele
statystyc
zne w
badaniac
h
psycholo
gicznych
, War-
szawa,
PWN.
Brzezińs
ki J.
(1987b),
Zmienne
jakościo
we w
psycholo
gicznych
zastoso
waniach
modelu
wielokro
tnej
660
regresji liniowej, w: J. Brzeziński (red.), Wielozmiennowe modele statystyczne w badaniach psy-
chologicznych (s. 12-81). Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (red.) (1988), Problemy teorii, rzetelności, konstrukcji i analizy wyników testów psycholo-
gicznych (,,$%YioteYa Psychologa Praktyka", t. U), Warszawa, Wyd. Poi. Tow. Psychol.
Brzeziński J. (1989a), O związkach teorii z praktyką społeczną. Na przykładzie związków teorii psy-
chologicznych z praktyką społeczną, w: J. Brzeziński, K. Łastowski (red.), Filozoficzne i meto-
dologiczne podstawy teorii naukowych (s. 287-305)(„Poznańskie Studia z Filozofii Nauki", t. 11),
Warszawa-Poznań, PWN.
Brzeziński J. (1989b), Eksperymentalne badanie zmian — metodologiczne problemy stosowania prete-
stii zmiennej zależnej, „Przegląd Socjologiczny", 37, 113-139.
Brzeziński J. (1990), O adaptacji kulturowej testów psychologicznych, w: A. Ciechanowicz (red.) Kul-
turowa adaptacja testów (s. 185-202), Warszawa, Poi. Tow. Psychol.; Lab. Technik Diagn.
Brzeziński J. (1991), Zewnętrzne i wewnętrzne uwarunkowania procesu badawczego w psychologii,
„Przegląd Psychologiczny", 34 (2), 329-364.
Brzeziński J. (1993a), Standardowe skale wyników WAIS-R: skala dewiacyjnych ilorazów inteligencji
i skala wyników przeliczonych, w: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R
Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psycho-
logicznej (s. 84-99), Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (1993b), Wiadomości, w: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R
Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psycho-
logicznej (s. 131-164), Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (Ed.) (1993c), Psychologiczne i psychometryczne problemy diagnostyki psychologicznej,
Poznari, Wyd. Nauk. UAM.
Brzeziński J. (1994a), Proces badawczy w psychologii w kontekście świadomości metodologicznej ba-
dacza, w: A. Falkowski, P. Francuz (red.), Model, badanie, eksperyment, analiza danych („Psy-
chologia Matematyczna VI")(s. 5-30), Kraków, Wyd. UJ.
Brzeziński J. (1994b), Etyczny kontekst badań naukowych w psychologii, J. Brzeziński, W. Poznaniak
(red.), Etyczne problemy działalności badawczej i praktycznej psychologów (s. 11-38), Poznań,
Wyd. Fundacji Humaniora.
Brzeziński J. (1994c), Testy psychologiczne i ich użytkownicy — analiza kontekstu etycznego, J. Brze-
ziński, W. Poznaniak (red.), Etyczne problemy działalności badawczej i praktycznej psychologów
(s. 83-101), Poznań, Wyd. Fundacji Humaniora.
Brzeziński J. (1994d), Rozważania o uniwersytecie, w: J. Brzeziński, L. Witkowski (red.), Edukacja
wobec zmiany społecznej (s. 23-47), Toruń, Edytor.
Brzeziński J. (1994e), Problemy metodologiczne związane z ustalaniem trafności zewnętrznej badań em-
pirycznych nad zachowaniem się człowieka w warunkach ekstremalnych, „Ergonomia", 17, 181-193.
Brzeziński J. (19940, Metodologiczny i etyczny kontekst badań nad jakością tycia, w: A. Bańka,
R. Derbis (red.), Psychologiczne i pedagogiczne wymiary jakości życia (s. 11-18), Poznań, Inst.
Psychol. UAM.
Brzeziński J. (red.) (1995a), Z zagadnień diagnostyki psychologicznej, Poznań, Wyd. Fundacji Huma-
niora.
Brzeziński J. (1995b), Całościowe badanie trafności testu psychologicznego metodą analizy macierzy
wielu cech — wielu metod, w: A. Bielą, J. Brzeziński, T. Marek (red.), Społeczne, eksperymen-
talne i metodologiczne konteksty procesów poznawczych człowieka (s. 375-387), Poznań, Wyd.
Fundacji Humaniora.
Brzeziński J. (1995c), Metodologiczne źródła artefaktów w badaniach psychologów społecznych inspi-
rowanych socjologicznymi badaniami opinii publicznej, w: B. Wojciszke (red.), Jacy są Polacy?
Badania opinii społecznej jako źródło wiedzy psychologicznej, („Kolokwia Psychologiczne",
t. 4)(s. 83-111), Warszawa, Wyd. Inst. Psychol. PAN.
Brzeziński J. (1995d), Rzetelność i trafność testów psychologicznych —jak jest i jak być powinno, w:
J. Brzeziński (red.), Z zagadnień diagnostyki psychologicznej (s. 109-123), Poznań, Wyd. Fun-
dacji Humaniora.
Brzeziński J. (1996), Jaki uniwersytet? „Humaniora", Biuletyn, 4, (s. 49-59), Poznań, Wyd. Fundacji
Humaniora
Brzeziński J., Gaul M. (1993), PROFINT 1.0: komputerowy program interpretacji profilu psychome-
trycznego Skal Inteligencji D. Wechslera (WPPSI, WISC-R, WAIS-R), w: J. Brzeziński, E. Hor-
661
regresji liniowej, w: J. Brzeziński (red.), Wielozmiennowe modele statystyczne w badaniach psy-
chologicznych (s. 12-81). Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (red.) (1988), Problemy teorii, rzetelności, konstrukcji i analizy wyników testów psycholo-
gicznych („Biblioteka Psychologa Praktyka", t. II), Warszawa, Wyd. Poi. Tow. Psychol. Brzeziński
J. (1989a), O związkach teorii z praktyką społeczną. Na przykładzie związków teorii psy-
chologicznych z praktyką społeczną, w: J. Brzeziński, K. Łastowski (red.), Filozoficzne i meto-
dologiczne podstawy teorii naukowych (s. 287-305)(,.Poznańskie Studia z Filozofii Nauki", t. 11),
Warszawa-Poznań, PWN. Brzeziński J. (1989b), Eksperymentalne badanie zmian — metodologiczne
problemy stosowania prete-
stu zmiennej zależnej, „Przegląd Socjologiczny", 37, 113-139.
Brzeziński J. (1990), O adaptacji kulturowej testów psychologicznych, w: A. Ciechanowicz (red.) Kul-
turowa adaptacja testów (s. 185-202), Warszawa, Poi. Tow. Psychol.; Lab. Technik Diagn.
Brzeziński J. (1991), Zewnętrzne i wewnętrzne uwarunkowania procesu badawczego w psychologii,
„Przegląd Psychologiczny", 34 (2), 329-364.
Brzeziński J. (1993a), Standardowe skale wyników WAIS-R: skala dewiacyjnych ilorazów
inteligencji i skala wyników przeliczonych, w: J. Brzeziński, E. Hornowska (red.), Skala
Inteligencji WAIS-R Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w
diagnostyce psychologicznej (s. 84-99), Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (1993b), Wiadomości, w: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R
Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psycho-
logicznej (s. 131-164), Warszawa, Wyd. Nauk. PWN.
Brzeziński J. (Ed.) (1993c), Psychologiczne i psychometryczne problemy diagnostyki psychologicznej,
Poznań, Wyd. Nauk. UAM.
Brzeziński J. (1994a), Proces badawczy w psychologii w kontekście świadomości metodologicznej ba-
dacza, w: A. Falkowski, P. Francuz (red.), Model, badanie, eksperyment, analiza danych („Psy-
chologia Matematyczna VI")(s. 5-30), Kraków, Wyd. UJ.
Brzeziński J. (1994b), Etyczny kontekst badań naukowych w psychologii, J. Brzeziński, W. Poznaniak
(red.), Etyczne problemy działalności badawczej i praktycznej psychologów (s. 11—38), Poznań,
Wyd. Fundacji Humaniora.
Brzeziński J. (1994c), Testy psychologiczne i ich użytkownicy — analiza kontekstu etycznego, J. Brze-
ziński, W. Poznaniak (red.), Etyczne problemy działalności badawczej i praktycznej psychologów
(s. 83-101), Poznań, Wyd. Fundacji Humaniora.
Brzeziński J. (1994d), Rozważania o uniwersytecie, w: J. Brzeziński, L. Witkowski (red.), Edukacja
wobec zmiany społecznej (s. 23—47), Toruń, Edytor.
Brzeziński J. (1994e), Problemy metodologiczne związane z ustalaniem trafności zewnętrznej badań em-
pirycznych nad zachowaniem się człowieka w warunkach ekstremalnych, „Ergonomia", 17, 181-193.
Brzeziński J. (1994f), Metodologiczny i etyczny kontekst badań nad jakością życia, w: A. Bańka,
R. Derbis (red.), Psychologiczne i pedagogiczne wymiary jakości życia (s. 11-18), Poznań, Inst.
Psychol. UAM.
Brzeziński J. (red.) (1995a), Z zagadnień diagnostyki psychologicznej, Poznań, Wyd. Fundacji Huma-
niora.
Brzeziński J. (1995b), Całościowe badanie trafności testu psychologicznego metodą analizy macierzy
wielu cech — wielu metod, w: A. Bielą, J. Brzeziński, T. Marek (red.), Społeczne, eksperymen-
talne i metodologiczne konteksty procesów poznawczych człowieka (s. 375-387), Poznań, Wyd.
Fundacji Humaniora.
Brzeziński J. (1995c), Metodologiczne źródła artefaktów w badaniach psychologów społecznych inspi-
rowanych socjologicznymi badaniami opinii publicznej, w: B. Wojciszke (red.), Jacy są Polacy?
Badania opinii społecznej jako źródło wiedzy psychologicznej, („Kolokwia Psychologiczne",
t. 4)(s. 83-111), Warszawa, Wyd. Inst. Psychol. PAN.
Brzeziński J. (1995d), Rzetelność i trafność testów psychologicznych —jak jest i jak być powinno, w:
J. Brzeziński (red.), Z zagadnień diagnostyki psychologicznej (s. 109-123), Poznań, Wyd. Fun-
dacji Humaniora.
Brzeziński J. (1996), Jaki uniwersytet? „Humaniora", Biuletyn, 4, (s. 49-59), Poznań, Wyd. Fundacji
Humaniora
Brzeziński J., Gaul M. (1993), PROFINT 1.0: komputerowy program interpretacji profilu psychome-
trycznego Skal Inteligencji D. Wechslera (WPPSI, WISC-R, WAIS-R), w: J. Brzeziński, E. Hor-
661
n
o
w
s
k
a
(
r
e
d
.
)
,
Z
p
s
y
c
h
o
m
e
t
r
y
c
z
n
y
c
h
p
r
o
b
l
e
m
ó
w
d
i
a
g
n
o
s
t
y
k
i
p
s
y
c
h
o
l
o
g
i
c
z
n
e
j
(
s
.
1
1
1
-
1
5
0
)
,
z
n
a
ń
,
W
y
d
.
N
a
u
k
.
U
A
M
.
Brze
z
i
ń
s
k
i
J
.
,
H
o
r
n
o
w
s
k
a
E
.
(
r
e
d
.
)
(
1
9
9
3
a
)
,
Z
p
s
y
c
h
o
m
e
t
r
y
c
z
n
y
c
h
p
r
o
b
l
e
m
ó
w
d
i
a
g
n
o
s
t
y
k
i
p
s
y
c
h
n
e
j
,
P
o
z
n
a
ń
,
W
y
d
.
N
a
u
k
.
U
A
M
.
Brzezińs
ki
J.,
Hor
no
wsk
a E.
(red
.)(1
993
b),
Ska
la
Inte
lige
ncji
WA
IS-
R
We
chsl
era.
Pol
ska
ada
pta
cj
stan
dar
yza
cja,
nor
mal
izac
ja i
wyk
orz
ysta
nie
w
dia
gno
styc
e
psy
cho
logi
czn
ej,
Wa
rsza
wa,
Wy
d
Nau
k.
PW
N.
Brzezińs
ki
J.,
Ko
wal
ik
S.
(19
93a
),
Mo
del
ują
cy
wyn
iki
bad
ani
a
psy
cho
logi
czn
ego
(dia
gno
styc
zne
g
wpł
yw
oso
by
bad
anej
(pa
cjen
ta) i
bad
acz
a
(kli
nicy
sty),
w:
H.
Sęk
(red
.),
Spo
łecz
na
psy
chol
ogi
a
klin
iczn
a
(s.
269
-
302
),
Wa
rsza
wa,
Wy
d.
Nau
k.
PW
N.
Brzezińs
ki
J.,
Ko
wa
lik
S.
(1
99
3b
),
Ch
ar
akt
er
yst
yk
a
wy
br
an
yc
h
me
to
d
di
ag
no
zy
kli
nic
zn
ej,
w:
H.
Sę
k
(re
d.)
,
Sp
oł
ec
zn
a
ps
yc
ho
lo
gi
a
kli
ni
cz
na
(s.
31
4-
36
4),
W
ars
za
wa
,
W
yd
.
Na
uk
.
P
W
N.
Brzezińs
ki
J.,
Ma
rus
ze
ws
ki
T.
(19
78
a),
Me
tod
a
sęd
zió
w
ko
mp
ete
ntn
ych
i
jej
zas
tos
ow
ani
e w
ba
da
nia
ch
pe
da
go
gic
zny
ch,
„K
wa
rtal
nik
Pe
da
go
gic
zn
y",
23
(1)
,
56
9-
58
7.
Brzezińs
ki
J.,
Ma
rus
ze
ws
ki
T.
(19
78
b),
Me
tod
a
ba
da
nia
zg
od
no
ści
pr
ofil
ów
psy
ch
om
etr
ycz
ny
ch,
„Pr
ze-
glą
d
Ps
yc
hol
ogi
cz
ny
",
11
(3)
,
56
9-
58
7.
Brzezińs
ki
J„
Ma
rus
ze
ws
ki
T.
(19
81)
,
Ni
ep
ar
am
etr
ycz
ne
an
ali
zy
sta
tyst
ycz
ne
w
pr
oto
ide
ali
zac
yjn
ym
mo
del
u
na
uki
,
„K
wa
rta
lni
k
Pe
da
go
gic
zn
y",
26
(1)
,
59
-
75.
Brzezińs
ki
J.,
No
wo
rol
C.
(19
84)
,
An
ali
za
por
ów
na
ń
int
erp
rof
ilo
wy
ch
w
wie
lo
wy
mi
aro
wy
ch
kw
esti
o-
nar
ius
zac
h
(za
sto
so
wa
nie
pro
gra
mó
w
ko
mp
ute
ro
wy
ch
w
jęz
yku
BA
SI
C
ora
z
FO
RT
RA
N
IV)
,
„Pr
zeg
ląd
Ps
yc
hol
ogi
czn
y",
27,
50
1-
51
7.
Brzezińs
ki
J.,
Po
zna
nia
k
W.
(re
d.)(
19
94)
,
Ety
czn
e
pro
ble
my
dzi
ała
lno
ści
ba
da
wc
zej
i
pra
kty
czn
ej
psy
ch
olo
gó
w,
Po
zna
ń,
W
yd.
Fu
nd
acj
i
Hu
ma
nio
ra.
Brzezińs
ki
J.,
Siu
ta
J.
(re
d.)(
19
91)
,
Sp
ołe
czn
y
kon
tek
st
ba
da
ń
psy
cho
log
icz
nyc
h i
ped
ag
ogi
czn
ych
.
Wy
bór
tek
stó
w,
Po
zna
ń,
W
yd.
Na
uk.
U
A
M.
Brzezińs
ki
J.,
Sta
cho
ws
ki
R.
(19
84),
Zas
tos
ow
ani
e
ana
lizy
war
ian
cji
w
eks
per
ym
ent
aln
ych
bad
ani
ach
psy
cho
logi
czn
ych
(wy
d.
2),
Wa
rsz
aw
a,
PW
N.
Brzezińsk
i J.,
Witkows
ki L.
(red.)(199
4),
Edukacja
wobec
zmiany
społeczne
j, Toruń,
Edytor.
Bunge
M.
(1959),
Metascie
ntific
Queries,
Springfiel
d, IL, Ch.
C.
Thomas,
Publisher
.
Bunge
M.
(1962),
Intuition
and
science,
Englewo
od Cliffs,
NJ,
Prentice-
Hall.
Bunge M.
(1967),
Scientific
Research
I. The
search
for
system,
Berlin,
Springer-
Verlag.
Cackows
ki Z.
(1964),
Problemy
i
pseudopr
oblemy,
Warszaw
a, KiW.
Campbell
D. T.
(1957),
Factor
relevant
to the
validity of
experime
nt in
social
settings,
„Psycholo
gical
Bull
etin", 54,
297-312.
Campbell
D. T.,
Stanley J.
C.
(1967),
Experime
ntal and
quasi-
experime
ntal
designs
for
research
on
teac
hin
g,
w:
N.
L.
Gag
e
(red
.),
Han
dbo
ok
of
rese
arc
h
on
teac
hin
g (s.
171
-
246
),
Chi
cag
o.IL
,
Ran
d
McNally.
Campbell
D. T.
(1960),
Recomme
ndations
for APA
test
Standards
regarding
construct,
trait, or
discri-
min
ant
validity,
„America
n
Psycholo
gist", 15,
546-553.
Campbell
D. T.
(1969),
Prospecti
ve:
Artifact
and
control,
w: R.
Rosentha
l, R. L.
Rosnow
(red.),
Arti
fact in
behavior
al
research
(s. 351-
381),
New
York,
Academi
c Press.
Campbell
D. T.,
Fiske D.
W.
(1959),
Converge
nt and
discrimin
ant
validatio
n by the
multitrait
-multi-
met
hod
matrix,
„Psychol
ogical
Bulletin",
56, 81-
105.
Canfield
A. A.
(1951),
The „ten"
scalę — a
modified
C-scale,
„Educati
onal and
Psycholo
gical
Meas-
ure
ment",
11,295-
297.
Carnap
R.
(1959),
The
methodol
ogical
character
of
theoretic
al
concepts,
w: H.
Feigel,
M.
Scriven
(red
.),
Min
nes
ota
Stu
dies
in
the
Phil
oso
phy
of
Scie
nce
s, t.
I (s.
38-
76)
Min
nea
poli
s,M
N,
Uni
ver-
sity
of
Mi
nne
sota
Pre
ss.
Carson
R. C.
(1970),
Interacti
on
concepts
of
personali
ty,
London,
G. Allen
& Unwin
Ltd.
Cattell J.
McK.
(1890),
Mentol
tests and
measure
ments,
„Mind",
15, 373-
381.
Cattel R.
B.
(1971),
Abilities:
Their
structre,
growth,
and
action.
Boston,
Houghto
n Mifflin.
Cattell
R. B.,
Eber H.
W.,
Tatsuoka
M. M.
(1970),
Handboo
k for the
Sixteen
Personal
ity
Factor
Q
u
e
s
t
i
o
n
n
a
i
r
e
(
1
6
P
F
)
,
C
h
a
m
p
a
i
g
n
J
L
,
I
n
s
t
i
t
u
t
e
f
o
r
P
e
r
s
o
n
a
l
i
t
y
a
n
d
A
b
i
l
i
t
y
T
e
s
t
i
n
g
.
C
B
O
S
(
1
9
9
5
)
,
S
e
r
w
i
s
I
n
f
o
r
m
a
c
y
j
n
y
,
n
r
1
,
W
a
r
s
z
a
w
a
,
C
e
n
t
r
u
m
B
a
d
a
n
i
a
O
p
i
n
i
i
S
p
o
ł
e
c
z
n
e
j
.
C
h
ó
w
S
.
L
.
(
1
9
8
8
)
,
S
i
g
n
i
f
i
c
a
n
c
e
t
e
s
t
o
r
e
f
f
e
c
t
s
i
z
e
?
„
P
s
y
c
h
o
l
o
g
i
c
a
l
B
u
l
l
e
t
i
n
"
,
5
2
,
1
0
5
-
1
1
0
.
662
Choynowski M. (1959), Elementy teorii testów psychologicznych, „Przegląd Psychologiczny", 3, 151-
-170.
Choynowski M. (1966), Opracowanie zestawu testów dla prognozy powodzenia w podoficerskich szko-
łach Milicji Obywatelskiej, Wrocław, Ossolineum.
Choynowski M. (1971a), Pomiar w psychologii, w: J. Kozielecki (red.), Problemy psychologii mate-
matycznej (s. 15-42), Warszawa, PWN. Choynowski M. (1971b), Podstawy i zastosowania teorii
rzetelności testów psychologicznych, w:
J. Kozielecki (red.), Problemy psychologii matematycznej (s. 65-118), Warszawa, PWN.
Choynowski M. (red.) (1968), „Biuletyn Psychometryczny", t. II, Wrocław, Ossolineum. Choynowski
M., Dobruszek Z., Kottas A., Leszczyńska E., Manturzewska M, Markowska B., Nowa-kowska M.,
Skrzypek E., Strzałecki A. (1968), Rozwój, założenia i dorobek Pracowni Psychome-trycznej PAN.
Opracowanie testów, w: Choynowski M. (red.), „Biuletyn Psychometryczny", t. II (s. 205-264),
Wrocław, Ossolineum.
Chwalisz P., Kowalik P., Nowak L., Stefański M. (1976), Osobliwości badań praktycznych, w: L. No-
wak (red.), Teoria a rzeczywistość (s. 189-213) („Poznańskie Studia z Filozofii Nauki", t. 1),
Warszawa-Poznari, PWN.
Cialdini R. B. (1994), Wywieranie wpływu na ludzi, Gdańsk, Gdańskie Wydawnictwo Psychologiczne.
Ciechanowicz A. (1990a), Adaptacja kulturowa testów, w: A. Ciechanowicz (red.), Kulturowa adap-
tacja testów (s. 9-30), Warszawa, Poi. Tow. Psychol.; Lab. Technik Diagn. Ciechanowicz A.
(red.)(1990b), Kulturowa adaptacja testów, Warszawa, Poi. Tow. Psychol.; Lab.
Technik Diagn. Cohen J. (1968), Multiple regression as a generał data-analytic system,
„Psychological Bulletin", 70,
426-443.
Cohen J. (1969), Profile similarity coefficient invariant over variable reflection, „Psychological Bulle-
tin", 71, 281-284.
Cohen J. (1983), The cost of dichotomization, „Applied Psychological Measurement", 7, 249-253.
Cohen J. (1988), Statistical power analysis for the behavioral sciences (wyd. 2), Hillsdale, NJ, L. Erl-
baum.
Cohen J. (1988), Współczynnik rcjako miara podobieństwa profilów niezmienna względem odwracania
zmiennych, w: J. Brzeziński (red.), Problemy teorii, rzetelności, konstrukcji i analizy wyników
testów psychologicznych (s. 240-247) („Biblioteka Psychologa Praktyka", t. II), Warszawa, Wyd.
Poi. Tow. Psychol.
Cohen J. (1990), Things I have learned (so far), .American Psychologist", 45, 1304-1312. Cohen J.
(1992), A power primer, „Psychological Bulletin", 112, 155-159. Cohen J. (1994), The Earth is round
(p < .05), „American Psychologist", 49, 997-1003. Cohen J., Cohen P. (1975), Applied multiple
regression/correlation analysis for the behavioral science,
Hillsdale, NJ, L. Erlbaum. Cohen J., Cohen P. (1983). Applied multiple regression/correlation
analysis for the behavioral science
(wyd. 2). Hillsdale, NJ: L. Erlbaum. Cole D. A. (1987), Utility of confirmatory factor analysis
in test validation research, .Journal of
Consulting and Clinical Psychology", 55, 584-594. Cook T. D., Campbell D. T. (1979), Quasi-
experimentation. Design and analysis issues for field
settings. Boston, Houghton Mifflin Co.
Coombs, C. H., Dawes R. M, Tversky A. (1977), Wprowadzenie do psychologii matematycznej. War-
szawa, PWN. Cooper H. M. (1979), Pygmalion grows up: A model for teacher expectation
communication and
performance influence, „Review of Educational Research", 49, 389-410. Cooper H. M. (1985),
Models for teacher expectation communication, w: J. Dusek (red.), Teacher
expectancies (s.135-158), Hillsdale,NJ, L. Erlbaum. Cooper J. (1976), Deception and role-
playing: On telling the good guysfrom the bad guys,, American
Psychologist", 31, 605-610. Costa P. T., Jr„ McCrae R. R. (1992), NEO-PI-R. Professional
Manuał, Odessa, FL, Psychological
Assessment Resources.
Cowles M., Davis C. (1987), The subject matter of psychology: Volunteers, „The British Journal of
Social Psychology", 26, cz. 2, 97-102.
663
Craig J.
R.,
Metze L.
P.
(1986),
Methods
of
psycholo
gical
reseaarc
h (wyd.
2.),
Montere
y, CA,
Bro
oks
/Co
le
Pub
l.
Cronbach
L. J.
(1951),
Coefficien
t alpha
and the
internat
structure
oftests,
„Psycho
metrika",
16, 297-
334.
Cronbac
h L. J.
(1957),
The two
discipline
s of
scientific
psycholo
gy,
„Americ
an
Psycholo
gist", 12,
671
-684.
Cronbach
L. J.
(1971),
Test
validatio
n, w: R.
L.
Thorndik
e (Ed.),
Educatio
nal
measure
ment
(wyd.
2.)(
s. 443-
507),
Washingt
on, DC,
America
n Council
of
Educatio
n.
Cronbach
L. J.
(1975),
Beyond
the two
discipline
s of
scientific
psycholo
gy,
„America
n
Psycholo
gist",
30,
116
-
127
.
Cronbac
h
L.
J.
(1
98
8),
Pr
op
oz
ycj
e
an
ali
tyc
zn
eg
o
po
dej
ści
a
do
oc
en
uz
ys
ki
wa
ny
ch
w
pe
rc
ep
cji
sp
ołe
cz
nej
,
w:
J.
Br
ze
ziń
ski
(re
d.)
,
Pr
ob
le
my
teo
rii,
rze
tel
no
ści
,
ko
nst
ru
kcj
i i
an
ali
zy
wy
nik
ów
tes
tó
w
psy
chol
ogic
zny
ch
(s.
197
-
227
)(,3i
blio
teka
Psy
chol
oga
Pra
kty
ka",
t.
II),
War
sza
wa,
Wy
d.
Poi.
To
w.
Psy
chol
.
Cronbach
L. J.
(1990),
Essential
s of
psycholo
gical
testing
(wyd. 5.),
New
York,
Harper
and Row.
Cronbac
h L. J.,
Gleser G.
C.
(1988),
Szacowa
nie
podobień
stwa
profilów,
w: J.
Brzezińs
ki (red.),
Pro
ble
my
teor
ii,
rzet
elno
ści,
kon
stru
kcji
i
ana
lizy
wyn
ikó
w
test
ów
psy
chol
ogic
zny
ch
(s.
179
—
-
196)(„Bi
blioteka
Psycholo
ga
Praktyka
", t. II).
Warsza
wa,
Wyd.
Poi.
Tow.
Psychol.
Cronbac
h L. J.,
Meehl P.
E.
(1955),
Construc
t validity
in
psycholo
gical
tests,
„Psychol
ogical
Bulletin"
,
52,
281-302.
Cronbac
h L. J.,
Rajaratn
am L.,
Nanda
H.,
Gleser
G. C.
(1972),
The
dependa
bility of
behavior
al
mea
surement
s: Theory
of
generaliz
ability for
scores
and
profiles,
New
York, J.
Wiley.
Crown D.
P.,
Marlowe
D.
(1964),
The
approval
motive:
Studies in
evaluative
dependen
ce, New
York,
J.
Wiley.
Cureton
E. E.
(1950),
Validity,
w: E. F.
Lindąuist
(red.),
Educatio
nal
measure
ment (s.
621-694),
Wa
shington,
DC,
American
Council
of
Education
. Czabała
C, Leder
S.,
Pohoreck
a A.
(1973),
Badania
nad
psychoter
apią
grupową,
w: H.
Wardaszk
o-
-
Łyskows
ka (red.),
Terapia
grupowa
w
psychiatr
ii (s. 181-
209),
Warszaw
a,
PZWL.
Czapińsk
i J.
(1994),
Uziemien
ie
polskiej
duszy,
„Kultura
i
Społecze
ństwo",
38 (3),
17-37.
Czapińsk
i J.,
Górecki,
B.,
Gucwa-
Leśny E.,
Tyszka
T.
(1994),
Polski
generaln
y sondaż
jakości
życia.
War
sza
wa,
Inst
ytut
Stu
dió
w
Spo
łecz
nyc
h.
Damaser
E.
C,
Sho
r R.
R.,
Orn
e
M.
T.
(19
63),
Phy
siol
ogi
cal
effe
cts
dur
ing
hyp
noti
call
y-
reą
uest
ed
em
otio
ns,
„Ps
ych
oso
mat
ic
Me
dici
ne",
25,
334
-
343
.
Darley J.
M.,
Ole
son
K.
C.
(19
93),
Intr
odu
ctio
n to
res
ear
ch
on
inte
rpe
rso
nal
exp
ect
atio
ns,
w:
P.
D.
Bla
nek
(red
.),
Inte
rpe
rso
nal
exp
ect
atio
ns.
The
ory,
res
ear
ch,
and
app
lica
tion
s (s.
45-
63),
Ca
m-
brid
ge,
Ca
mb
ridg
e
Uni
ver
sity
Pre
ss.
Darlingto
n R.
B.
(19
68),
Mul
tipl
e
reg
ress
ion
in
psy
cho
logi
cal
rese
arc
h
and
pra
ctic
e,
„Ps
ych
olo
gica
l
Bul
leti
n",
69,
161
-
182
.
Daszkow
ski
J.
(19
80),
Ana
liza
częs
tośc
i
cyto
wa
ń
pub
lika
cji
(na
prz
ykła
dzie
nau
k
spo
łecz
nyc
h),
„Za
gad
nie
nia
Na
uko
zna
wst
wa"
, 2
(62
),
170
-
182
.
Davis F.
(19
59),
Inte
rpre
tati
on
of
diff
ere
nce
s
amo
ng
ave
rag
es
and
indi
vidu
al
test
scor
es,
.Jou
rnal
of
Edu
cati
onal
Psy
chol
ogy
",
50,
162
-
170
.
Di
Nu
ovo
S.
(19
92),
La
spe
rim
ent
azio
ne
in
psic
olo
gia
app
lica
ta.
Pro
bier
ni
di
met
odo
logi
a e
ana
lisi
dei
dati
,
Mil
an,
Fra
nco
An
geli
.
Dobrusze
k Z.
(19
71),
Do
bór
pra
cow
nik
ów,
w:
J.
Ok
oń
(red
.),
Psy
cho
logi
a
prz
emy
sło
wa
(s.
28-
98),
Wa
rsza
wa,
PW
N.
Domańsk
i C.
(1979),
Statystycz
ne testy
nieparam
etryczne,
Warszaw
a, PWE.
Draper
N. R.,
Smith H.
(1973),
Analiza
regresji
stosowan
a,
Warszaw
a, WNT.
Drozdowi
cz Z.
(1995),
Excellenti
a
universita
s. Szkice o
uniwersyt
ecie,
Poznań,
Wyd.
Fundacji
Humanior
a.
Drwal R.
Ł.
(19
78),
Poc
zuci
e
kon
trol
i
jak
o
wy
mia
r
oso
bow
ości
—
pod
sta
wy
teor
etyc
zne,
tech
niki
bad
awc
ze i
wyn
iki
bad
ań,
w:
E.
Pas
zkie
wic
z
(red
.),
Mat
eria
ły
do
nau
cza
nia
psy
cho
logi
i,
seri
a
DI,
t. 3
(s.
307
-
345
),
Wa
rsza
wa,
PW
N.
Drwal R.
Ł.
(19
81),
Oso
bo
woś
ć
wyc
ho
wa
nkó
w
zakł
adó
w
pop
raw
czy
ch.
Bad
ani
a
nad
fun
kcja
mi
pod
-
kult
ury
zakł
ado
wej,
Wr
ocł
aw,
Oss
olin
eu
m.
Drwal R.
Ł. (1990),
Problemy
kulturowe
j
adaptacji
testów
kwestiona
riuszy
osobowoś
ci, w: A.
Ciecha-
664
nowicz (red.), Kulturowa adaptacja testów (s. 115-138), Warszawa, Poi. Tow. Psychol.; Lab.
Technik Diagn.
Drwal R. Ł. (1995), Adaptacja kwestionariuszy osobowości, Warszawa, Wyd. Nauk. PWN. Duncan
S. D., Rosenthal R. (1969), Vocal emphasis in experimenters instruction reading as unintendent
determinant of subjects responses, „Language and Speech", 11, 20-26. Duncan S. D.,
Rosenberg M. J., Finkelstein J. (1969), The paralanguage of experimenter bias, „So-
ciometry", 32, 207-219. Dunnette M. D. (1963), A notę on the criterion, „Journal of Applied
Psychology", 47, 251-254.
Edwards A. L. (1957), Techniąues of attitude scalę construction, New York, Appleton-Century-Crofts
Inc. Edwards A. L. (1970), The measurement of personality traits by scales and inventories, New
York,
Holt, Rinehart and Winston. Edwards A. L. (1972), Experimental design in psychological
research (wyd. 4), New York, Holt,
Rinahart and Winston.
Edwards W., Lindman H„ Savage L. J. (1963), Bayesian statistical inferences for psychological re-
search, „Psychological Review", 70, 193-242. Ellis H. C. (1992), Graduate education in psychology.
Past, present, and future, „American Psycho-
logist", 47, 570-576. Ellison D. G., Davis R. C, Saltzman I. J., Burkę C. J. (1952), A report on
research on detection of
deception, Bloomington, IN, Dept. of Psychol., Indiana University. Encyklopedia fizyki, t. 1.
(1972), Warszawa, PWN. Endler N. S. (1983), Interactionism: A personality model, but not yet a
theory, w: M. M. Page (red.),
Nebraska Symposium on Motivation 1982: Personality — current theory and research, Lincoln,
NE, University of Nebraska Press. Exner J. E. (1986), The Rorschach: A comprehensive system,
t. 1, Basic foundations (wyd. 2), New
York, J. Wiley. Eysenck H., Eysenck M. (1996), Podpatrywanie umysłu. Dlaczego ludzie
zachowują się tak, jak się
zachowują.?, Gdańsk, Gdańskie Wydawnictwo Psychologiczne.
Ezekiel M. (1945), Methods of correlation analysis, New York, J. Wiley.
Feingold A. (1995), The additive effects of dijferences in central tendency and variability are important
in comparisons between grups, „American Psychologist", 50, 5-13.
Ferguson G. A. (1951), A notę of Kuder-Richardson formuła, „Educational and Psychological Meas-
urement", 11,612-615.
Ferguson G. A. (1976), Statistical analysis in psychology and education (wyd. 4), New York, McGraw-
Hill.
Ferguson G. A., Takane Y. (1989), Statistical analysis in psychology and education (wyd. 6), New
York, McGraw-Hill.
Feyerabend P. K. (1979), Jak być dobrym empirystą? Warszawa, PWN.
Fisher G. (1974), Einfiihrung in die Theorie psychologischer Test, Bern, Verlag Hans Huber.
Fisher R. A. (1925), Statistical methods for research workers, London, Oliver and Boyd.
Fisher R. A. (1935), The design of experiments, Edinburgh, Oliver and Boyd.
Folks J. L. (1984), Use of randomization in experimental research, w: K. Hinkelmann (red.), Experi-
mental design, statistical models, and genetic statistics: Essays in Honor of Oscar Kempthorne
(s. 17-32), Marcel Dekker.
Frank G. (1984), Wechsler enterprise, Oxford, Pergamon Press.
Franus E. (1992), Struktura i ogólna metodologia nauki ergonomii, Kraków, Universitas.
Fraczek A. (1979), Czynności agresywne jako przedmiot studiów eksperymentalnej psychologii społe-
cznej, w: A. Fraczek (red.), Studia nad psychologicznymi mechanizmami czynności agresywnych
(s. 9-32), Wrocław, Ossolineum.
Frederiksen N. (1986), Construct validity and construct similarity: Methods for use in test development
and test wlidation, „Multivariate Behavioral Research", 21, 3-28.
Freedman J. L. (1969), Role playing: Psychology by consensus, ,Journal of Personality and Social
Psychology", 13, 107-114.
J
43 — Metodologia badań...
665
Frenkel-
Brunswik
E.,
Levinson
D. J.,
Sanford
R. N.
(1962),
Osobowo
ść
autorytar
na, w: A.
Malewski
]
(
r
e
d
.
)
,
Z
a
g
a
d
n
i
e
n
i
a
p
s
y
c
h
o
l
o
g
i
i
s
p
o
ł
e
c
z
n
e
j
(
s
.
3
0
3
-
3
2
2
)
,
W
a
r
s
z
a
w
a
,
P
W
N
.
F
r
e
u
n
d
J
.
(
1
9
7
1
)
,
P
o
d
s
t
a
w
y
n
o
w
o
c
z
e
s
n
e
j
s
t
a
t
y
s
t
y
k
i
,
W
a
r
s
z
a
w
a
,
P
W
E
.
Garfield
E.
(1
97
8),
Th
e
10
0
bo
ok
s
m
os
t
cit
ed
by
so
ci
al
sci
en
tis
t,
19
69
-
19
77
,
„
C
ur
re
nt
C
on
te
nt
s:
B
e-
ha
vi
or
al
an
d
So
ci
al
Sc
ie
nc
es
",
37
,
5-
16
.
Gaul M.
(19
89),
Oce
na
traf
noś
ci
test
u za
po
moc
ą
mo
deli
rów
nań
stru
ktur
aln
ych,
„Pr
zegl
ąd
Psy
cho
-i
logi
czn
y",
32
(2),
435
-
449
.
Gaul M.
(1990)
Idealizacy
jne
modele
poznania
naukoweg
o w
psycholog
ii,
Warszaw
a-Poznań,
PWN. i
Gaul M.
(1
99
3a
),
Po
do
bie
ńst
wa
,
w:
J.
Br
ze
ziń
ski
,
E.
Ho
rn
ow
sk
a
(re
d.)
,
Sk
al
a
Int
eli
ge
ncj
i
W
AI
S-
R
W
ec
hsl
er
a.
Po
lsk
a
ad
ap
tac
ja,
sta
nd
ar
yz
acj
a,
no
rm
ali
za
cja
i
wy
ko
rzy
sta
nie
w
di
ag
no
sty
ce
ps
yc
ho
lo
gi
cz
ne
j
(s.
20
5-
22
4),
W
ars
za
wa
,
W
yd
.
Na
uk
.
P
W
N.
Gaul M.
(19
93b
),
Bra
ki w
Obr
azk
ach,
w:
J.
Brz
eziń
ski,
E.
Hor
now
ska
(red
.),
Skal
a
Inte
lige
ncji
WA
IS-
R \
Wec
hsle
ra.
Pol
ska
ada
ptac
ja,
stan
dar
yza
cja,
nor
mal
izac
ja i
wyk
orzy
stan
ie w
dia
gno
styc
e
psy
chol
ogi
czn
ej
(s.
225
-
240
),
Wa
rsza
wa,
Wy
d.
Nau
k.
PW
N.
Gaul M.
(199
3c),
Por
ządk
owa
nie
Obr
azkó
w,
w:
J.
Brz
eziń
ski,
E.
Hor
now
ska
(red
.),
Skal
a
Intel
ig
WAI
S-R
Wec
hsle
ra.
Pols
ka
ada
ptac
ja,
stan
dary
zacj
a,
nor
mali
zacj
a i
wyk
orzy
stan
ie w
diag
nost
)
psyc
holo
gicz
nej
(s.
224
1-
254
),
War
sza
wa,
Wy
d.
Nau
k.
PW
N.
Gaul M.,
Ma
cho
wsk
i A.
(19
87),
Ele
men
ty
ana
lizy
ście
żek,
w:
J.
Brz
eziń
ski
(red
.),
Wie
loz
mie
nno
mo
dele
stat
ysty
czn
e w
bad
ani
ach
psy
chol
ogic
zny
ch
(s.
82-
112
),
Wa
rsza
wa-
Poz
nań,
PW
N.
Gaul M.,
Za
krz
ew
ska
M.
(19
93)
,
Ch
ara
kte
rys
tyk
a
am
ery
kań
ski
ej i
pol
ski
ej
pró
by
sta
nd
ary
zac
yjn
i
nor
mal
iza
cyj
nej,
w:
J.
Brz
ezi
ńsk
i,
E.
Hor
no
ws
ka
(re
d.)
Ska
la
Inte
lige
ncji
WA
IS-
R
We
chs
ler
a.
Pol
ska
ada
pta
cja,
sta
nda
ryz
acj
a,
nor
mal
iza
cja
i
wy
kor
zyst
ani
e w
dia
gno
sty
ce
psy
cho
log
icz
nej
(s.
107
-
118
).
Wa
rsz
aw
a,
Wy
d.
Na
uk.
PW
N.
Gerstman
n S.
(1972),
Rozmowa
i wywiad
w
psycholo
gii,
Warszaw
a, PWN.
Giedymi
n J.
(19
62)
,
Hi
pot
ezy
,
me
tod
olo
gia
opi
so
wa,
wyj
aśn
ian
ie,
„K
wa
rta
lni
k
his
tor
ycz
ny"
,
LX
IX,
z.
4,
91
7-
92
2.
Giedymin
J. (1964),
Problemy
,
założenia,
rozstrzyg
nięcia,
Poznań,
PTE.
Gilly M.
(1987),
Nauczyci
el-uczeń.
Role
instytucjo
nalne a
reprezent
acje,
Warszaw
a, PWN.
Goćkows
ki J.
(1981),
Tezy o
uniwersy
tecie,
„Teksty",
2, 5-37.
Goćkows
ki J.,
Kisiel P.
(red.)(19
94),
Patologia
i terapia
życia
naukowe
go,
Kraków,
Universit
as.
Goćkows
ki J.,
Pigoń K.
(red.)(19
91),
Etyka
zawodow
a ludzi
nauki,
Wrocław,
Ossoline
um.
Goldberg
er A. S.
(1975),
Teoria
ekonomet
rii,
Warszaw
a, PWE.
Góralski
A.
(19
80)
,
Me
tod
y
opi
su i
wni
osk
ow
ani
a
stat
ysty
czn
ego
w
psy
cho
log
ii i
ped
ago
gic
e
(w
yd.
2),
Wa
rsz
aw
a,
PW
N.
Greenwal
d
A.
G.,
Pra
tka
nis
A.
R.,
Lie
ppe
M.
R.,
Ba
um
gar
dne
r
M.
H.
(19
86),
Un
der
wh
at
con
diti
ons
doe
s
the
ory
obs
tru
ct
res
ear
ch
pro
gre
ss?,
„Ps
ych
olo
gic
al
Re
vie
w",
93,
216
-
229
.
Greenw
oo
d J.
D.
(19
91)
,
Gr
ani
e
rol
i
jak
o
str
ate
gia
eks
per
ym
ent
aln
a w
psy
cho
log
ii
spo
łec
zne
j,
w:
J.
Brz
ezi
ńsk
i, J.
Siu
ta
(re
d.),
Spo
łec
zny
kon
tek
st
bad
ań
psy
cho
log
icz
nyc
h i
ped
ago
gic
zny
ch.
Wy
bór
tek
stó
w
(s.
18
3-
20
9),
Po
zna
ń,
Wy
d.
Na
uk.
UA
M.
Greń J.
(1975),
Statystyk
a
matematy
czna.
Modele i
zadania.
Warszaw
a, PWN.
Greń J.
(1984),
Statystyk
a
matematy
czna.
Modele i
zadania.
Warszaw
a, PWN.
Greń J.
(1987),
Statystyka
matematy
czna.
Podręczn
ik
programo
wany,
Warszaw
a, PWN.
Guilford
J. P.
(1954),
Psychom
etric
methods
(wyd. 2.),
New
York,
McGraw-
Hill.
Guilford
J.
P.
(19
64)
,
Po
dst
aw
ow
e
met
ody
stat
yst
ycz
ne
w
psy
cho
log
ii i
ped
ago
gic
e
(w
yd.
2.),
Wa
rsz
a-
wa,
PW
N.
Guilford
J.
P.
(19
88),
Teo
ria
test
ów
psy
cho
logi
czn
ych
,
Rze
teln
ość
i
traf
noś
ć
po
mia
rów
,
Tw
orz
eni
e
test
u,
w:
J.
Brz
ezi
ńsk
i
(re
d.).
Pro
ble
my
teo
rii,
rzet
eln
ośc
i,
kon
stru
kcji
i
ana
lizy
wy
nik
ów
test
ów
psy
cho
log
icz
nyc
h
(„B
ibli
ote
ka
Psy
cho
log
a
Pra
kty
ka"
, t.
II),
Wa
rsz
aw
a,
Wy
d.
Poi
.
To
w.
Psy
cho
l.
Guilford
J.
P.,
Fru
cht
er
B.
(19
78)
,
Fu
nda
me
nta
l
stat
isti
cs
in
psy
cho
log
y
and
edu
cati
on,
Ne
w
Yo
rk,
Mc
Gra
w-
Hill
.
Guion R.
M.
(1980),
On
trinitaria
n
doctrines
of
validity,
„Professi
onal
Psycholo
gy", 11,
385-398.
Gulliksen
H.
(1950),
Theory of
mental
tests,
New
York, J.
Wiley.
Gunst R.
F.,
Ma
son
R.
L.
(19
80)
,
Re
gre
ssi
on
ana
lysi
s
and
its
app
lica
tio
n.
A
dat
a
ori
ent
ed
app
roa
ch,
Ne
w
Yo
rk,
Ma
rce
l
De
kke
r.
666
Gustafson L. A., Orne M. T. (1965), Effects of perceived role and role success on the detection of
deception, , Journal of Applied Psychology", 49, 412—417.
Guttman L. (1945), A basie for analyzing test-retest reliability, „Psychometrika", 10, 255-282.
Guttman L. (1950), Rozdziały: 2, 3, 6, 8, 9 w: A. Stouffer (red.), Measurement andpredietion. Studies
in social psychology in World War II, t. 2, Princeton,NJ, Princeton University Press. Guzzo R.
A., Jackson S. E., Katzell R. E. (1986), Meta-analysis analysis, w: L. L. Cummings, B. M.
Staw (red.), Research in organizational behavior, t. 9, Greenwich, CT, JAI Press.
Harris M. J. (1993), Issues in studying the mediation of expectancy effects: A taxonomy of expectancy
situations, w: P. D. Blanek (red.), Interpersonal expectations. Theory, research, and applications (s.
350-378), Cambridge, Cambridge University Press. Harris M. J., Rosenthal R. (1985), The mediation of
interpersonal expectancy effects: 31 meta-analyses,
„Psychological Bulletin", 97, 363-386. Hathaway S. R., J. C. McKinley (1963), Minnesota
Multiphasic Personality Inventory — Manuał, New
York, The Psychological Corporation.
Hawkins J. D., Nederhood B. (1994), Podręcznik ewaluacji programów profilaktycznych. Nadużywanie
substancji uzależniających i inne problemy społeczne, Warszawa-Olsztyn, Poi. Tow. Psychol.,
Pracownia Wydawnicza.
Hays W. L. (1973), Statistics for social sciences (wyd. 2.), New York, Holt, Rinehart and Winston.
Hays W. L. (1981), Statistics (wyd. 4.), New York, Holt, Rinehart and Winston. Hedderson J. (1991),
SPSS/PC + madę simple, Belmont, CA, Wadsworth Hellwig Z. (1960), Regresja liniowa i jej
zastosowanie w ekonometrii, Warszawa, PWE. Helmstadter C. (1970), Research concept in human
behayior: Education, psychology, sociology, New
York, Appleton-Century-Crofts.
Hempel C. G. (1968), Podstawy nauk przyrodniczych, Warszawa, WNT.
Henkel R. E., Morrison D. E. (red.)(1970), The significance test controversy, London, Butterworths.
Herrnstein R. J., Murray Ch. (1994), The belle curve. Intelligence and class structure in American life,
New York, Free Press.
Hessen S. (1931), Podstawy pedagogiki. Warszawa, Nasza Księgarnia. Hollander M., Wolfe D. A.
(1973), Nonparametric statistical methods, New York, J. Wiley. Holley J. W., Guilford J. P. (1964), A
notę on the G index of agreement, „Educational and Psychological Measurement", 24, 749-753.
Hope K. (1968), Methods of multwariate analysis, London, University of London Press. Hornowska
E. (1989), Operacjonalizacja wielkości psychologicznych. Założenia — struktura — konsekwencje,
Wrocław, Ossolineum.
Homowska E. (1993a), Słownik, w: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R
Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psycho-
logicznej (s. 168-182), Warszawa, Wyd. Nauk. PWN.
Homowska E. (1993b), Rozumienie, w: J. Brzeziński, E. Hornowska (red.), Skala Inteligencji WAIS-R
Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w diagnostyce psycho-
logicznej (s. 192-204), Warszawa, Wyd. Nauk. PWN.
Hornowska E. (1993c), Skala Inteligencji Davida Wechslera w świetle teorii inteligencji, w: J. Brze-
ziński, E. Hornowska (red.), Skala Inteligencji WAIS-R Wechslera. Polska adaptacja, standary-
zacja, normalizacja i wykorzystanie w diagnostyce psychologicznej (s. 21-48), Warszawa, Wyd.
Nauk. PWN.
Hornowska E. (1995), Stronniczość testów psychologicznych — mit czy rzeczywistość? w: A. Bielą, J.
Brzeziński, T. Marek (red.), Społeczne, eksperymentalne i metodologiczne konteksty procesów
poznawczych człowieka (s. 359-374), Poznań, Wyd. Fundacji Humaniora. Hornowska E.,
Paluchowski W. J. (1987), Rysunek postaci ludzkiej według Goodenough-Harrisa
(DAMT). Wyniki badań dzieci polskich, Poznań, Wyd. Nauk. UAM.
Hornowska E., Paluchowski W. J. (1993), Technika badania ważności pracy, w: J. Brzeziński (red.),
Psychologiczne i psychometryczne problemy diagnostyki psychologicznej (s. 105-119), Poznań,
Wyd. Nauk. UAM. Hoshmand L. T., Polkinghorne D. E. (1992), Redefining the science-practice
relationships and profes-
sional training, „American Psychologist", 47, 55-66. Hoyt C. (1941), Test reliability
estimated by analysis of variance, „Psychometrika", 6, 153-160.
667
Hoyt C,
Stunkard
C. L.
(1951),
Estimatio
n of test
reliabilit
y for
unrestric
ted item
scoring
methods,
„Ed
ucational
and
Psycholo
gical
Measure
ment",
12, 756-
758.
Hoyt C,
Krishnai
ach P. R.
(1960),
Estimatio
n of test
reliabilit
y by
anałysis
of
variance,
.Journal
of j
Exp
erimental
Educatio
n", 28,
17-24.
Hubbard
J. P.,
Clemans
W. V.
(1972),
Metodyka
egzaminó
w
testowych
w
kształceni
u lekarzy,
Warsza- I
wa,
PZWL.
Huck S.,
Sandler
H. M.
(1973), A
notę on
the
Solomon
4-group
design.
Appropri
ate
statistical
anałysis, I
.Jo
urnal of
Experim
ental
Educatio
n", 42,
54-55.
Hulin C.
L.,
Drasgow
F.,
Parsons
C. K.
(1983),
Item
response
theory.
Applicati
on to
psycholo
gical
mea
surement,
Homewo
od.IL,
Dow
Jones-
Irwin.
Hultsch
D. F.,
Hickey
T.
(1978),
External
validity
in the
study
ofhuman
developm
ent:
Theoretic
al and\
met
hodologiz
ed issues,
„Human
Develop
ment",
21, 76-
91.
Hunter J.
E.,
Schmidt
F. L.
(1990),
Methods
of meta-
analysis.
Correctin
g error
and bras
in
research j
find
ings
,
Ne
wbu
ry
Par
k,
CA,
Sag
ę.
Joreskog
K. G.,
Sórbom
D.
(1989),
LISREL 7
users
reference
guide,
Mooresvi
lle, IN
Scientific
Sof-j
twa
re, Inc.
Joreskog
K. G.,
Sorbom
D.
(1995),
USER 8;
Structural
eąuation
modeling
with the
SIMPLIS
command
]
lan
gua
ge,
Chi
cag
o,
IL,
SSI
,
Sci
enti
fic
Sof
twa
re
Inte
rnat
ion
al
and
Gro
nin
gen
,
The
Net
herl
and
s,
Pro
GAMMA
. Jackson
D. N.
(1969),
Multimet
hod
factor
anałysis
in the
evaluatio
n of
converge
nt and
discrimin
vałi
dity,
„Psychol
ogical
Bulletin",
72, 30-
49.
Jackson
D. N.
(1975),
Multimet
hod
factor
anałysis:
A
reformul
ation,
„Multiva
riate
Behavior
al Re-j
sear
ch", 10,
259-275.
Jahoda
M.,
Deutsch
M, Cook
S. W.
(1965a),
Skale
nominaln
e,
porządko
we,
interwało
we i
ilorazowe
, ?
w:
S.
No
wa
k
(red
.),
Met
ody
bad
ań
socj
olo
gicz
nyc
h.
Wy
bór
teks
tów
(s.
274
-
278
),
Wa
rsza
wa,
PW
N. Jahoda
M,
Deutsch
M., Cook
S. W.
(1965b),
Ustalanie
związków
przyczyno
wych w
badaniac
h nieeks-
I
pery
men
taln
ych,
w:
S.
No
wak
(red.
),
Met
ody
bad
ań
socj
olog
iczn
ych.
Wyb
ór
tekst
ów
(s.
561-
571)
, ]
War
sza
wa,
PW
N.
Jakubow
ska U.
(1993),
Czynnoś
ci
badawcz
e w
psycholo
gii i
pedagog
ice.
Zarys
problem
atyki,
Byd-
goszcz,
Wyd.
WSP.
Jakubow
ski J. S.
(1983),
Element
y
klasyczn
ej teorii
trafności
testów
psycholo
gicznych
, w: W.
J. Palu-
cho
wski
(red.), Z
zagadnie
ń
diagnosty
ki
osobowoś
ci (s. 223-
247),
Wrocław,
Ossolineu
m.
Jamieson
D.W.,
Lydon J.
E.,
Stewart
G., Zanna
M. P.
(1987),
Pygmalio
n
revisited:
New
evidence
for
stud
ent
expectanc
y effects
in the
classroo
m,
.Journal
of
Education
al
Psycholo
gy", 79,
461-466.
Jankowsk
i K.
(1972),
Hipisi w
poszukiw
aniu
ziemi
obiecanej
.
Warszaw
a, KiW.
Janowski
A.
(1974),
Eksperym
ent
badania
zjawisk
wychowa
wczych
jako
technika,
w: R.
Wroczyńs
ki,
T.
Pilch
(red.),
Metodolo
gia
pedagogi
ki
społeczne
j (s. 183-
217),
Wrocław,
Ossolineu
m.
Jaworows
ka A.,
Michalićk
a M.
(1978),
Zastosow
anie
niektóryc
h testów
nieparam
etrycznyc
h w bada-
nich
psy
chol
ogic
zny
ch i
ped
ago
gicz
nyc
h,
w:
L.
Woł
osz
yno
wa
(red
.),
Mat
eria
ły
do
nau
cza
nia
psyc
hologii,
seria III,
t. 3 (s.
749-753),
Warszaw
a, PWN.
Jaworows
ka A.,
Szustrow
a T.
(1990),
Ogólne
problemy
kulturowe
j
adaptacji
testów, w:
A.
Ciechano-
wic
z
(red
.)(1
990
),
Kult
uro
wa
ada
ptac
ja
test
ów
(s.
31^
7).
War
sza
wa,
Poi.
To
w.
Psy
chol
.;
Lab
.
Tec
hnik
Diagn.
Jaworows
ka A.,
Szustrow
a T.
(1991),
Podręczni
k do Testu
Matryc
Ravena.
Wersja
Standard
(1956).
Pols
ka
stan
dar
yzac
ja
198
9
(5;1
1-
15;
11),
War
sza
wa,
Prac
own
ia
Test
ów
Psy
chol
ogic
zny
ch
Poi.
To
w.
Psy
chol
.
Jensen A.
R.
(1980),
Bias in
mental
testing,
New
York,
Free
Press.
Johnson
R. F. Q.
(1991),
Pułapki
w
badaniu:
wywiad
jako
model
przykład
owy, w:
J.
Brzezińs
ki,
J.
Siut
a
(red
.),
Spo
łecz
ny
kont
ekst
bad
ań
psy
chol
ogic
zny
ch i
ped
ago
gicz
nyc
h.
Wy
bór
teks
tów
(s.
433-450),
Poznań,
Wyd.
Nauk.
UAM.
Johnstone
D. J.
(1989),
On the
necessity
for
random
sampling,
„The
British
Journal
for the
Philosoph
y
of
Science",
40,
443^157.
Jurgense
n C. E.
(1968),
Tablice
współczy
nników
phi, w:
Choyno
wski M.
(red.),
Biuletyn
Psychom
e-
try
czn
y, t.
II
(s.
189
-
202
),
Wr
ocł
aw,
Oss
oli
neu
m.
668
Jurkowski A. (1990), Adaptacja testów słownikowych, w: A. Ciechanowicz (red.)(1990), Kulturowa
adaptacja testów (s. 77-91), Warszawa, Poi. Tow. Psychol.; Lab. Technik Diagn. Jussim L.
(1986), Self-fulfilling prophiecies: A theoretical and integrative review, , .Psychological Review",
93, 429-445.
• Kaiser H. F. (1958), The varimax criterion for analytic
rotation in factor analysis, „Psychometrika",
23, 187-200. Kalleberg A. L., Kluegel J. R. (1975), Analysis ofthe multitrait-multimethod matrix:
Some limitations
and an alternative, .Journal of Applied Psychology", 60, 1-9. Kamiński S. (1992), Nauka i
metoda. Pojęcie nauki i klasyfikacja nauk, Lublin, Tow. Nauk. KUL. Kaufman A. S. (1976a), Do
normal children have flat profiles? „Psychology in the schools", 13,
284-285. Kaufman A. S. (1976b), A new approach to the interpretation of test scatter on the
WISC-R, , Journal
of Learning Disabilities", 9, 160-168. Kaufman A. S. (1976c), Verbal-Performance IQ
discrepancies on the WISC-R, „Journal of Consulting
and Clinical Psychology", 44, 739-744. Kelman H. C. (1967), Human use ofhuman subjects: The
problem ofdeception in social psychological
experiments, „Psychological Bulletin", 67, 1—11.
Kendall M. G. (1970), Rank correlation methods (wyd. 4.), London, Ch. Griffin. Kenny D. A.,
Kashy D. A. (1992), Analysis ofthe multitrait-multimethod matrix by confirmatory factor
analysis, „Psychological Bulletin", 112, 165-172.
Kerlinger F. N. (1964), Foundations of behavioral resarch, New York, Holt, Rinehart & Winston.
Kerlinger F. N. (1986), Foundations ofbehavioral research (wyd. 3.), New York, Holt, Rinehart and
Winston. Kerlinger F. N., Pedhazur E. (1973), Multiple regression in behayioral research, New
York, Holt,
Rinehart and Winston.
Kimble G. A. (1984), Psychology's two cultures, „American Psychologist", 39, 833-839. Kinsey A.
C, Pomeroy W. B., Martin C. E. (1948), Sexual behavior in the human małe, Philadelphia,
Saunders. Kinsey A. C, Pomeroy W. B., Martin C. E., Gebhard P. H. (1953), Sexual behavior
in the human
female, Philadelphia, Saunders.
Kirk R. E. (1968), Experimental design: Procedures for the behavioral sciences, Belmont, CA, Brooks
Kirk R. E. (1982), Experimental design: Procedures for the behavioral sciences (wyd. 2.), Belmont,
CA, Brooks.
Kmita J. (1973), Wykłady z logiki i metodologii nauk, Warszawa, PWN.
Kmita J. (1976), Szkice z teorii poznania naukowego, Warszawa, PWN.
Kofta M. (1979), Samokontrola a emocje. Warszawa, PWN.
Kofta M„ Malak B. (1983), Psychologiczne przestanki podatności na manipulację, „Nowiny Psycho-
logiczne", 3(10), 6-18. Kofta M., Brzeziński J., Ignaczak M. (1977), Analizapsychometryczna
Kwestionariusza Poczucia Winy,
„Studia Psychologiczne", 15, z. 1, 93-113. Kohn P. M., Hunt R. W., Davis C. A., Cowles P. M.
(1981), Volunteering in principle, volunteering
infact, and experience seeking, „The Psychological Record", 32, 205-213. Komorita S. S.,
Graham W. K. (1965), Number of scalę points and the reliability of scales, „Educa-
tional and Psychological Measurement", 25, 987-995. Kołakowski L. (1993), Po co
uniwersytet? Tekst wykładu wygłoszonego na konferencji „Dylematy
szkolnictwa wyższego", zorganizowanej przez Institut fur Wissenschaften vom Menschen (w
Wiedniu) w Warszawie, w czerwcu 1993 roku. Komitet Etyki w Nauce PAN (1994), Dobre
obyczaje w nauce. Zbiór zasad i wytycznych, Warszawa,
PAN. Kopaliński W. (1988), Słownik wyrazów obcych i zwrotów obcojęzycznych (wyd. 16.),
Warszawa,
Wiedza Powszechna. Kosnarewicz A. (1989), Kilka uwag o dystynkcji kontekst odkrycia —
kontekst uzasadniania, w:
J. Brzeziński, K. Łastowski (red.), Filozoficzne i metodologiczne podstawy teorii naukowych
(s. 275-285) („Poznańskie Studia z Filozofii Nauki", t. 11), Warszawa-Poznaii, PWN.
669
Kostrzew
ski J.
(1963),
Wiek
obojga
rodziców
a
choroba
L.
Downa,
„Polski
Tygodnik
Lekarski"
, U
117
5-1180.
Kostrzew
ski J.
(1970),
Wprowad
zenie do
Skali
Inteligenc
ji D.
Wechsler
a dla
Dzieci od
5 do 15
lat,
War
szawa-
Łódź,
Wyd.
PTHP.
Kostrzew
ski J.
(1976),
Użyteczn
ość
badań
psycholog
icznych
dla
rewalidac
ji, w: J.
Kostrzew
ski (red.),
Z
zag
adn
ień
psy
chol
ogii
dzie
ci
umy
sło
wo
upo
śled
zon
ych,
t. 1
(s.
77-
103
),
War
sza
wa,
Wy
ższa
Szk
oła
Pedagogi
ki
Specjalne
j.
Kostrzew
ski J.
(1985),
Testy
inteligenc
ji culture-
fair, w: A.
Ciechano
wicz
(red.),
Kulturow
a
adaptacja
test
ów (s. 49-
75),
Warszaw
a, Poi.
Tow.
Psychol.;
Lab.
Technik
Diagn.
Kotarbińs
ki T.
(1972),
Pojęcia i
zagadnie
nia
metodolo
gii,
„Studia
Filozofic
zne",
1(74), 5-
12.
Kowalik
S. (1981),
Upośledz
enie
umysłowe
a rozwój
społeczny
,
Warszaw
a, PWN.
Kowalik
S. (1984),
Zasady
interpreta
cji skali
Wechsler
a w
praktyce
diagnosty
cznej, w:
J.
Brzezińsk
i
(red
.),
Wyb
ran
e
zag
adni
enia
z
psyc
hom
etrii
i
diag
nost
yki
psyc
holo
gicz
nej
(s.
151
-
180
),
Poz
nań,
Wy
d.
Nau
k.
UA
M.
Kowalik
S. (1989),
Upośledz
enie
umysłowe
. Teoria i
praktyka
rehabilita
cji,
Warszaw
a, PWN.
Kowalik
S. (1993),
Kliniczna
interpreta
cja Skal
Inteligenc
ji: W-B,
I/II,
WAIS,
WAIS-R,
w: J.
Brzeziń-
ski, E.
Hornows
ka (red.),
Skala
Inteligenc
ji WAIS-R
Wechsler
a. Polska
adaptacja
,
standaryz
acje
normaliz
acja i
wykorzyst
anie w
diagnosty
ce
psycholo
gicznej (s.
386-462),
Warszaw
a, Wyd.
Nauk.
PWN.
Kowalik
S., Sęk
H.
(1993),
Psycholo
gia
kliniczna
i
psycholo
gia
społeczn
a —
pojęcia,
przea
i
wza
jem
ne
zwi
ązki
, w:
H.
Sęk
(red
.),
Spo
łecz
na
psy
cho
logi
a
klin
iczn
a
(wy
d.
2.)
(s.
17-
33),
War
szawa,
Wyd.
Nauk.
PWN.
Kozieleck
i J.
(1972a),
Osobliwo
ści
procesu
myślenia
a
twórczość
naukowa,
„Zagadni
enia
Naukozna
w-
stw
a", 8,
311-322.
Kozielec
ki J.
(1972b),
Struktura
myślenia
krytyczne
go w
nauce,
„Zagadni
enia
Naukozn
awstwa",
8,
486
^97
.
Kozieleck
i J.
(1975),
Psycholo
giczna
teoria
decyzji,
Warszaw
a, PWN.
Kozielec
ki J.
(1976),
Metodolo
giczne
niepokoje
,
„Przegląd
Psycholo
giczny",
19 (4),
543-556.
Kozieleck
i J.
(1995),
Koncepcj
e
psycholog
iczne
człowieka
(wyd. 5.),
Warszaw
a, Wyd.
Żak.
Kozieleck
i J.
(Ed.)(197
1),
Problemy
psycholog
ii
matematy
cznej,
Warszaw
a, PWN.
Krajewsk
i Wł.
(1979),
Ideałizacy
jna
koncepcja
rozwoju
nauki, w:
A.
Klawiter,
L. Nowak
(red.),
Odkrycie,
abstrakcj
a,
prawda,
empiria,
historia a
idealizacj
a (s. 203-
210),
Warszaw
a-
Poznań,
PW
N.
Krathwoh
l D. R.
(1984),
Experime
ntal
deigns,
w: R. J.
Corsini
(red.),
Encyclop
edia of
psycholo
gy,
t. 2
(s.
466
^70
),
Ne
w
Yor
k, J.
Wil
ey.
Kreutz
M.
(1962),
Metody
współczes
nej
psycholog
ii,
Warszaw
a, PWN.
Krishnaia
h P. R.
(1980),
Handboo
k of
statisties,
t. 1,
Analysis
ofwriance
,
Amsterda
m, North-
Holland.
Kruglans
ki A.
(1973),
Much
ado
about the
volunteer
artifacts,
.Journal
of
Personali
ty and
Social
Psy
chology",
28, 348-
354.
Kruglans
ki A.,
Kroy M.
(1975),
Outcome
validity in
experime
ntal
research:
A re-
conceptu
alization,
.Jou
rnal of
Represent
ative
Research
in Social
Psycholo
gy", 7,
18-178.
Kuder G.
F.,
Richardso
n M. W.
(1937),
The
theory of
the
estimatio
n of test
reliability
,
„Psycho
metri-
ka",
2,
151
-
160
.
Kuhn T.
S. (1968),
Struktura
rewolucji
naukowyc
h,
Warszaw
a, PWN.
Kuhn T.
S. (1971),
Notes on
Lakatos,
w: R.
Buck, R.
S. Cohen
(red.), In
memory
of Rudolf
Carnap
(„B
osto
n
Stu
dies
in
the
Phil
oso
phy
of
Scie
nce
s",
t.
8),
Dor
drec
ht,
D.
Rei
del.
Kuhn T.
S. (1985),
Dwa
bieguny.
Tradycja
i
nowatorst
wo w
badaniac
h
naukowyc
h,
Warszaw
a, PIW.
Kupracz
A.
(1991), O
dwóch
ujęciach
metody
idealizacj
i w
naukach
empirycz
nych.
Próba
analizy
poró
wna
wcz
ej,
Poz
nań,
Ośr
ode
k
Wy
daw
nict
w
Nau
kow
ych.
Lakatos I.
(1995),
Pisma z
filozofii
nauk
empirycz
nych,
Warszaw
a, Wyd.
Nauk.
PWN.
Lamal P.
A.
(1991),
On the
importan
ce of
replicatio
n, w.
Neuliep
). W.
(red.),
Replicati
on
research
in
the social
sciences
(s. 31-
35),
Newbury
Park, CA,
Sagę.
Lana R.
E. (1969),
Pretest
sensitizati
on, w: W:
R.
Rosenthal
, R. L.
Rosnow
(red.),
Artifact
in beha-
vior
al
rese
arc
h
(s.
121
-
140
),
Ne
w
Yor
k,
Aca
de
mic
Pre
ss.
Lazarsfeld P. F. (1968), Algebra systemów dychotomicznych. Zastosowania matematyki w badanich
socjologicznych, Warszawa, PWN. Leckliter I. N., Matarazzo J. D. (1986), A literaturę review
offactor analytic studies of the WAIS-R,
Journal of Clinical Psychology", 42, 332-342.
Lehmann E. L. (1968), Testowanie hipotez statystycznych, Warszawa, PWN. Lessac M. S., Solomon
R. L. (1969), Effects of early isolation on the later adaptive behavior of
beagles, „Developmental Psychology", 1, 14-25. Lindeman R. H., Merenda P. F., Gold R. Z.
(1980), Introduction to bivariate and multivariate analysis,
Glenview,IL, Scott, Foresman and Co. Linder D. E., Cooper J., Jones E. E. (1967), Decision
freedom as a determinant ofthe role ofincentive
magnitude in attitude chanie, ,Journal of Personality and Social Psychology", 6, 244-254.
Lindzey G., Aionson E. (red.) (1968-1969), The handbook of social psychology, Reading, MA, Addi-
son-Wesley. Lissowski G. (1968), Z zagadnień doboru próby, w: K. Szaniawski (red.),
Metody statystyczne w
socjologii (s. 11-69), Warszawa, PWN. Loevinger J. (1957), Objective tests as Instruments of
psychological theory, „Psychological Reports",
3, 635-694.
Lord F. M. (1980), Introduction to item response theory, Hillsdale, NJ, L. Erlbaum. Lord F. M.,
Novick M. R. (1968), Statistical theories of mental test scores, Reading, MA, Addison-
-Wesley.
Lu K. H. (1971), Statistical control of impurity in the estimation of test reliability, „Educational and
Psychological Measurement", 31, 641-655.
Maccoby E. E., Maccoby N. (1954), The intemiew: A tool for social science, w: G. Lindzey (red.),
Handbook of social psychology, t. 1 (s. 449-487), Cambridge, MA, Addison-Wesley.
MacDonald M. L. (1979), Social psychology of psychologist: Volunteer vs. nonvolunteer therapists,
„Psychological Report", 44, 311-314. Machowski A. (1993), Rzetelność testów psychologicznych.
Dwa ujęcia modelowe, Warsza wa-Poznań,
Wyd. Nauk. PWN.
Magnusson D. (1991), Wprowadzenie do teorii testów (wyd. 2.), Warszawa, Wyd. Nauk. PWN.
Magnusson D. (1992), Back to phenomena: Theory, methods, and statistics in psychological research,
„European Journal of Personality", 6, 1-14. Magnusson D. (red.)(1981), Toward a psychology of
situations. An interactional perspectiye, Hillsdale,
NJ, L. Erlbaum. Magnusson D., Endler N. S. (red.)(1977), Personality at the crossroads: Current
issues in interactional
psychology, Hillsdale, NJ, L. Erlbaum.
Marasculio L. A., McSweeney M. (1967), Nonparametric post hoc comparisons for trend, „Psycholo-
gical Bulletin", 67, 401-412. Marciniak M., Szaniawski J. (1992), Słownik angielsko-polski dla
informatyków (wyd. 2.), Warszawa,
WNT.
Marciszewski W. (red.)(1988), Mata encyklpedia logiki, Wrocław, Ossolineum. Marek T. (1989),
Analiza skupień w badaniach empirycznych. Metody SAHN, Warszawa, PWN. Marek T., Noworol C.
(1985), Wprowadzenie do wielozmiennowej analizy regresji, Kraków, Wyd. UJ. Marek T., Noworol C.
(1987), Analiza sekwencyjna w badaniach psychologicznych, Warszawa, PWN. Marody M. (1974),
Response-style — za i przeciw, „Studia Socjologiczne", 52, 141-158. Marsh H. W. (1990),
Confirmatory factor analysis of multitrait-multimethod data: The construct vali-
dation of multidimensional self-concept responses, .Journal of Personality", 58, 661-692. Marsh
H. W., Hocevar D. (1983), Confirmatory factor analysis of multitrait-multimethod matrices,
.Journal of Educational Measurement", 20, 231-248. Maruszewski T. (1983), Analiza procesów
poznawczych jednostki w świetle idealizacyjnej teorii nauki,
Poznań, Wyd. Nauk. UAM. Maslow A. H. (1942), Self-esteem (dominance feelings) and sexuality
in women, .Journal of Social
Psychology", 16, 259-293.
Maslow A. H., Sakoda J. M. (1952), Volunteer-error in the Kinsey study, .Journal of Abnormal and
Social Psychology", 47, 259-262.
671
Matarazzo J. D. (1987), There is only one psychology, no specialties, but many appłications, .American
Psychologist", 42, 893-903.
Matczak A. (1994), Diagnoza intelektu, Warszawa, Wyd. Inst. Psychol. PAN. Matczak A.,
Piotrowska A., Ciarkowska W. (1991), Skala inteligencji D. Wechslera dla Dzieci —
wersja zmodyfikowana — WISC-R. Podręcznik, Warszawa, Pracownia Testów Psychologicznych
Poi. Tow. Psychol. Matkowski M. (1992), MMPI: badanie — opracowanie — interpretacja,
Poznań, Pracownia Terapii
i Rozwoju Osobowości. Matuszewski A. (1984), Interpretacja formalna wyników w testach
psychologicznych, w: J. Brzeziński
(red.), Wybrane zagadnienia z psychometrii i diagnostyki psychologicznej (s. 47-71), Poznań,
Wyd. Nauk. UAM. McDermott M. (1995), Okrucieństwo, etyka i eksperymenty. Portret Philipa
G. Zirnbardo, „Nowiny
Psychologiczne", 4, 5-12. Meehl P. E. (1960), Clinical versus statistical prediction. A
theoretical analysis and review of the
evidence, Minneapolis, MN, University of Minnesota Press. Meehl P. E. (1970), Nuisance
variables and the ex post facto design, w: M. Radner, S. Winokur (red.),
Minnesota Studies in Philosophy of Science, t. 4 (s. 373^402), Minneapolis, MN, University of
Minnesota Press.
Melton A. W. (1962), Editorial, ,Journal of Experimental Psychology", 64, 553-557. Messick S.
(1980), Test validity and the ethics of assessment, „American Psychologist", 35, 1012-1027. Messick S.
(1989), Validity, w: R. L. Linn (red.), Educational measurement (wyd. 3.)(s. 13-103), New
York, Macmillan. Messick S. (1995), Validity of psychological assessment. Validation of
inferences from persons respon-
ses and performances as scientific iąuiry into score meaning, „American Psychologist", 50,
741-749. Milgram S. (1963), Behavioral study of obedience, .Journal of Abnormal and Social
Psychology", 67,
371-378. Milgram S. (1970), The individual in a social world: Essays and experiments, Reading,
MA, Addison-
-Wesley.
Mili J. S. (1962), System logiki dedukcyjnej i indukcyjnej, t. 1-2. Warszawa, PWN. Miller A. G.
(1972), Role-playing: An alternative to deception? „American Psychologist", 27, 623-636. Mokken R.
J. (1971), A theory and procedurę of scalę analysis, Paris, Mouton. Morrison D. F. (1970),
Multivariate statistical methods (wyd. 3.), New York, McGraw, Hill. Morrison D. F. (1990),
Wielowymiarowa analiza statystyczna, Warszawa, Wyd. Nauk. PWN. Mosier C. I. (1943), On the
reliability of a weighted composite, „Psychometrika", 8, 161-168. Mosier C. I. (1947), A crińcal
examination of the concepts offace validity, „Psychometrika", 7, 191-205. Muszyński H. (1971), Wstęp
do metodologii pedagogiki, Warszawa, PWN. Muszyński H. (1976), Zarys teorii wychowania,
Warszawa, PWN.
Nagel E. (1970), Struktura nauki, Warszawa, PWN.
Nederhof A., J. (1991), Metody korygowania zniekształcającego wpływu zmiennej aprobaty społecznej;
przegląd badań, w: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych
i pedagogicznych. Wybór tekstów (s. 33-59), Poznań, Wyd. Nauk. UAM.
Neuliep J. W. (red.)(1991), Replication research in the social sciences, Newbury Park, CA, Sagę.
Newberry B, H. (1973), Truth telling in subjects with information about experiments: Who is being
deceived? ,Journal of Personalny and Social Psychology", 25, 364-374. Nęcka E. (1987),
Proces twórczy i jego ograniczenia, Kraków, Wyd. UJ. Nęcka E. (1994a), Inteligencja i procesy
poznawcze, Kraków, Oficyna Wydawnicza Impuls. Nęcka E. (1994b), TROP... Twórcze rozwiązywanie
problemów, Kraków, Oficyna Wydawnicza „Impuls". Nęcka E., Stocki R. (1991), Jak pisać prace
naukowe z psychologii, Kraków, Uniwersitas. Nickles T. (1988), Questioning and problems in
philosophy of science: Problem solving versus directly
truth-seeking epistemologies, w: M. Meyer (red.), Questions and ąuestioning (s. 43-67), Berlin,
Walter de Gruyter. Nickles T. (1989), Justification and experiment, w: D. Gooding, T. Pinch, S.
Schaffer (red.), The use
of experiment: Studies of experiment in the natural sciences (s. 299-333), Cambridge, Cambridge
University Press.
672
Niemierko B. (1975), Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe, Warszawa,
WSiP.
Niemierko B. (1990), Pomiar sprawdzający w dydaktyce. Teoria i zastosowania, Warszawa, PWN.
Noruśis M. J. (1992), SPSS / PC +; Base system users's guide. Version 5.0; Professional statistics;
Advanced statistics; Trends for time series analysis, Chicago.IL, SPSS INC.
Nosal C. S. (1977), Psychologia pracy. Organizacja psychiki i działania człowieka, Wrocław, Wyd.
Nauk. Politechniki Wrocławskiej.
Nosal C. S. (1987), Interpretacja zależności między zbiorami zmiennych w ramach modelu analizy
kanonicznej, w: J. Brzeziński (red.), Wielozmiennowe modele statystyczne w badaniach psycholo-
gicznych (s. 152-170), Warszawa-Poznań, PWN.
Nowak L. (1974), Zasady marksistowskiej filozofii nauki, Warszawa, PWN.
Nowak L. (1977), Wstęp do idealizacyjnej teorii nauk, Warszawa, PWN.
Nowak L. (1980), The stmcture of idealization, Dordrecht, D. Reidel.
Nowak S. (1965a), Pojęcia i wskaźniki, w: S. Nowak (red.), Studia z metodologii nauk społecznych
(s. 245-281), Warszawa, PWN.
Nowak S. (red.)(1965b), Metody badań socjologicznych. Wybór tekstów, Warszawa, PWN.
Nowak S. (1968), Przyczynowe interpretacje zależności statystycznych w nieekspery mentalnych bada-
niach socjologicznych, w: K. Szaniawski (red.), Metody statystyczne w socjologii (s. 91-182),
Warszawa, PWN.
Nowak S. (1970), Metodologia badań socjologicznych, Warszawa, PWN.
Nowak S. (1985), Metodologia badań społecznych, Warszawa, PWN.
Nowakowska M. (1970), Polska adaptacja 16-czynnikowego Kwestionariusza Osobowości R. B. Cat-
tella, „Psychologia Wychowawcza", 13, 478-500.
Nowakowska M. (1975), Psychologia ilościowa z elementami naukometrii, Warszawa, Wyd. Nauk.
PWN.
Nunnally J. C. (1978), Psychometric theory (wyd. 2.), New York, McGraw-Hill.
Nunnally J. C. (1988), Analiza danych profilowych, w: J. Brzeziński (red.). Problemy teorii, rzetelności,
konstrukcji i analizy wyników testów psychologicznych (s. 228-239) (Biblioteka Psychologa Prak-
tyka, T. II), Warszawa, Wyd. Poi. Tow. Psychol.
Nuttin J. M.,Jr. (1982), Kontrowersje wokół zmiany postaw. W kierunku teorii perswazji opartej na
rozprzestrzenianiu się reakcji, Warszawa, PWN.
Oktaba W. (1966), Elementy statystyki matematycznej i elementy doświadczalnictwa, Warszawa, PWN.
Oktaba W. (1971), Metody statystyki matematycznej w doświadczalnictwie, Warszawa, PWN. Oktaba
W. (1980), Metody statystytki matematycznej w doświadczalnictwie (wyd. 3.), Warszawa, PWN. Oleś P.
(1995), Kryzys połowy życia u mężczyzn. Psychologiczne badania empiryczne, Lublin, Katolicki
Uniwersytet Lubelski. Oliver R. L., Berger P. K. (1980), Advisability ofpretest designs in
psychological research, „Perceptual
and Motor Skills", 51, 463^71. Orne M. T. (1959a), The demand characteristics of an
experimental design and their implications,
Paper read at American Psychological Association, Cincinnati. Orne M. T. (1959b), The naturę
of hypnosis: Artifact and essence, .Journal of Abnormal and Social
Psychology", 58, 277-299. Orne M. T. (1962), On the social psychology of the psychological
experiment: With particular refe-
rence to demand characteristics and their implication, „American Psychologist", 17, 776-783.
Orne M. T. (1969), Demand characteristics and the concept of ąuasi-controls, w: R. Rosenthal,
R. L. Rosnow (red.), Artifact in behavioral research (s. 143-179), New York, Academic Press.
Orne M. T. (1970), Hypnosis, motivation, and the ecological validity of the psychological experiment,
w: W. J. Arnold, M. M. Page (red.), Nebraska Symposium on Motiration (s. 187-265), Lincoln,
NE, University of Nebraska Press. Orne M. T. (1973), Communication by the total experimental
situation: Why it is important, how it is
evaluated, and its significance for ecological validity of findings, w: P. Pliner, L. Krames,
T. Alloway (red.), Communication and effect (s. 157-191), New York, Academic Press. Orne M. T.
(1991), Eksperyment psychologiczny z punktu widzenia psychologii społecznej ze szczególnym
uwzględnieniem wpływu zmiennych sugerujących hipotezę i ich implikacji, w: J. Brzeziński,
673
J.
Siut
a
(red
.),
Spo
łecz
ny
kon
teks
t
bad
ań
psy
cho
logi
czn
ych
i
ped
ago
gicz
nyc
h.
Wy
bór
teks
tów
(s.
15-32),
Poznań,
Wyd.
Nauk.
UAM.
Ome M.
T.
(1993),
Komunik
owanie
się w
sytuacji
eksperym
entalnej:
dlaczego
jest
istotne,
jak jest
oce
nia
ne i
jaki
e
ma
zna
cze
nie
dla
traf
noś
ci
ekol
ogic
znej
, w:
J.
Brz
eziń
ski
(red
.),
Psy
chol
ogic
zne
i
psychome
tryczne
problemy
diagnosty
ki
psycholog
icznej (s.
3-68),
Poznań,
Wyd.
Nauk.
UAM.
Orne M.
T.,
Scheibe
K. E.
(1964),
The
contributi
on of
non-
deprivati
on
factors in
the
productio
n of
sens
ory
dep
riva
tion
effe
cts:
The
psyc
holo
gy
of
the
pani
e
butt
on, ,
Jour
nal
of
Abn
orm
al
nad
Soci
al
P
sych
olog
y",
68,
3-12.
Ostro
wska
K.
(198
6),
Test
Przy
miot
niko
wy
H.
Gou
gha i
A.
Heilb
runa.
Opra
cowa
nie
psyc
home
tr
War
sza
wa,
Aka
dem
ia
Teo
logi
i
Kat
olic
kiej.
Oerall J.
E., Klett
C. J.
(1972),
Applied
multivari
ate
analysis,
New
York,
McGraw-
Hill.
Overall J.
E.,
Spiegel
D. K.
(1969),
Concerni
ng least
sąuares
analysis
of
experime
ntal data,
„Psyc
logi
cal
Bulletin",
72, 311-
322.
Overall J.
E.,
Woodwar
d J. A.
(1975),
Unreliabi
lity of
difference
scores: A
paradox
for
measure
ment
ofc
han
ge
„Ps
ych
olo
gica
l
Bul
leti
n",
82,
85-
86.
Paluchow
ski Wł. J.
(red.)(198
3), Z
zagadnie
ń
diagnosty
ki
osobowoś
ci,
Wrocław,
Ossolineu
m.
Palucho
ws
ki
Wł
. J.
(19
91)
,
Di
ag
noz
ow
ani
e
oso
bo
wo
ści.
Tes
to
wa
nie
—
int
erp
ret
acj
a
—
int
er
we
ncj
a,
Po
zn
ań,
W
yd.
Na
uk.
U
A
M
i
Na
ko
m.
Palucho
ws
ki
Wł
. J.
(re
d.)
(19
92)
,
Ws
pół
cze
sne
tec
hni
ki
ba
da
wc
ze
w
psy
ch
olo
gii
kli
nic
zne
j,
W
ars
za
wa
,
Poi
.
To
w.
Ps
yc
hol
.
La
b.
Te
ch
nik
Di
ag
no
sty
cz
ny
ch,
(„
Bi
bli
ote
ka
Ps
yc
hol
og
a
Pra
kty
ka"
,
to
m
2.).
Paszkiew
icz
E.
(19
77)
,
Th
e
con
text
of
dis
cov
ery
an
d
the
con
text
of
just
ific
ati
on
—
an
op
pos
itio
n
or
a
co
mp
lem
ent
arit
y?
„P
ozn
ań
Stu
die
s in
the
Phi
los
op
hy
of
the
Sci
enc
es
and
the
Hu
ma
niti
es"
, 3,
25
6-
26
4.
A
ms
ter
da
m,
B.
R.
Gr
un
er.
Paszkiew
icz E.
(1983),
Struktura
teorii
psycholo
gicznych,
Warszaw
a, PWN.
Paszkiew
icz
E.
(19
85a
),
O
zas
tos
ow
ani
u
mie
rni
kó
w
wie
lko
ści
efe
ktu
eks
per
ym
ent
aln
ego
, w:
E.
Pas
z-
kie
wic
z,
T.
Szu
stro
wa
(re
d.),
Ma
teri
ały
do
nau
cza
nia
psy
cho
log
ii,
seri
a
III,
t. 4
(s.
100
-
108
),
Wa
rsz
aw
a,
Wy
d.
Na
uk.
P
W
N.
Paszkiewi
cz
E.
(19
85b
),
Pod
sta
wy
pro
ces
u
bad
awc
zeg
o w
psy
cho
logi
i,
w:
E.
Pas
zkie
wic
z,
T.
Szu
stro
wa
(red
.),
Ma
teri
ały
do
nau
cza
nia
psy
cho
logi
i,
seri
a
III,
t. 4
(s.
128
-
164
),
Wa
rsza
wa,
Wy
d.
Na
uk.
PW
N.
Paszkiew
icz
E.,
Szu
stro
wa
T.
(red
.)(1
985
),
Met
ody
bad
ań
psy
chol
ogic
zny
ch,
Mat
eria
ły
do
nau
cza
nia
psy
cho
logi
i,
seri
a
III,
tom
4,
Wa
rsza
wa,
PW
N.
Patryas
W.
(1976),
Eksperym
ent a
idealizacj
a,
Warszaw
a-Poznań,
PWN.
Pawłows
ka
B.
(19
83),
Zas
ady
ling
wist
ycz
nej
ada
pta
cji
met
od
kwe
stio
nar
iusz
owy
ch,
w:
Wł.
J.
Pal
uch
o-
ws
ki
(re
d.)
Z
zag
adn
ień
dia
gno
styk
i
oso
bo
woś
ci
(s.
291
-
300
),
Wr
ocł
aw,
Oss
olin
eu
m.
Pawłows
ki T.
(1969),
Metodolo
giczne
zagadnie
nia
humanist
yki,
Warszaw
a, PWN.
Pawłows
ki T.
(1986),
Tworzeni
e pojęć i
definowa
nie w
naukach
humanist
ycznych.
Warszaw
a, PWN
Pawłows
ki Z.
(1972),
Wstęp do
statystycz
nej
metody
reprezent
acyjnej,
Warszaw
a, PWN.
PBS
(19
95),
Og
óln
opo
lska
pró
ba
los
ow
o-
udz
iało
wa,
Sop
ot,
Pra
co
wni
a
Bad
ań
Spo
łecz
nyc
h
(ma
szy
no-
pis)
.
Pedhazur
E.
(19
82),
Mul
tipl
e
reg
ress
ion
in
beh
avi
oral
rese
arc
h.
Exp
lan
atio
n
and
pre
diet
ion,
(wy
d.
2.),
Ne
w
Yor
k,
Hol
t,
Rin
eha
rt
and
Wi
nst
on.
Petrażyck
i L.
(1939),
Nowe
podstawy
logiki i
klasyfikac
ji
umiejętno
ści,
Warszaw
a.
Philips L.
D.
(1973),
Bayesian
statisties
for social
sciences,
London,
Nelson.
Płużek Z.
(19
71),
Wa
rtoś
ć
test
u
WI
SK
AD
-
M
MP
I
dla
dia
gno
zy
róż
nic
ow
ej
w
zak
resi
e
noz
olo
gii
psy
chi
atr
ycz
nej,
Lu
blin
,
Kat
olic
ki
Uni
wer
syt
et
Lu
bel
ski.
Podgórec
ki A.
(1957),
Założeni
a polityki
prawa,
Warszaw
a, PWN
Podgórec
ki A.
(1962),
Charakte
rystyka
nauk
praktyczn
ych,
Warszaw
a, PWN.
Polkingh
orn
e
D.
E.
(19
91),
Tw
o
con
flict
ing
call
s
for
met
hod
olo
gic
al
refo
rm,
„Th
e
Co
uns
elin
g
Psy
cho
-
logi
st",
19,
103
-
114
.
Polskie
To
war
zyst
wo
Hig
ieny
Psy
chic
znej
,
PT
HP
(19
72),
Inst
ruk
cja
do
Skal
i
Inte
lige
ncji
D.
Wec
hsle
ra
dla
mło
dzie
ży i
dor
osły
ch,
Wa
rsza
wa,
PT
HP.
Polskie
To
war
zyst
wo
Psy
cho
logi
czn
e,
PT
P
(19
92),
Ko
dek
s
etyc
zno
-
zaw
odo
wy
psy
cho
log
a,
Wa
rsza
wa,
PTP
.
Popper
K. R.
(1977),
Logika
odkrycia
naukowe
go,
Warszaw
a, PWN.
674
Popper K. R. (1992), Wiedza obiektywna. Ewolucyjna teoria epistemologiczna, Warszawa, Wyd. Nauk.
PWN.
Poznaniak W. (1991), Dylematy etyczne w psychologii, w: J. Goćkowski, K. Pigoń (red.), Etyka za-
wodowa ludzi nauki (s. 131-144), Wrocław, Ossolineum.
Przełęcki M. (1966a), Operacjonizm, w: T. Pawłowski (red.), Logiczna teoria nauki (s. 122-129),
Warszawa, PWN.
Przełęcki M. (1966b), Pojęcia teoretyczne a doświadczenie, w: T. Pawłowski (red.), Logiczna teoria
nauki (s. 449-504), Warszawa, PWN.
„Psychol. Rev." (1945), Symposium on operationism, 52 (5), cały numer.
Rapaport D. (1945), Diagnostic psychological testing, t. 1, Chicago, IL, Yearbook Publ.
Rapaport D., Gili M. M, Schafer R. (1968). Diagnostic psychological testing (wyd. zm.), New York,
International Universities Press.
Ratajczak Z. (1994), Etyka ekspertów, w: J. Brzeziński, W. Poznaniak (red.), Etyczne problemy dzia-
łalności badawczej i praktycznej psychologów (s. 175-183), Poznań, Wyd. Fundacji Humaniora.
Raven J. C, Court H. J., Raven J. (1985), Manuał for Ravens Progressive Matrices and Vocabulary
Scales. cz. 1, r. 1, General overview, London, H. K. Lewis and Co (polski przekład: Warszawa,
Poi. Tow. Psychol., 1991).
Reichenbach H. (1960), Powstanie filozofii naukowej. Warszawa, PWN.
Reid D. D. (1972), Metody epidemiologiczne w badaniu zaburzeń psychicznych. Warszawa, PZWL.
Rembowski J. (1972), Więzi uczuciowe w rodzinie. Warszawa, PWN. Reynolds C. R., Gutkin T. B.
(1981), Test scatter on the WPPSI: Normative analyses of the stan-
dardization sample, .Journal of Learning Disabilities", 14, 460-464. Rezmowic E., L.,
Rezmowic V. (1981), A confirmatory factor analysis approach to construct valida-
tion, „Educational and Psychological Measurement", 41, 61-72. Ricks J. H., Jr. (1993), Normy
lokalne — kiedy i dlaczego? w: J. Brzeziński, E. Hornowska (red.),
Z psychometrycznych problemów diagnostyki psychologicznej (s. 49—58), Poznań, Wyd. Nauk.
UAM. Riecken H. (1962), A program for research on experiments in social psychology, w: N. F.
Washburne
(red.), Decisions, values and groups, t. II (s. 25^łl), Elmsford, NY, Pergamon Press. Rokeach
M. (1960), The open and closed mind, New York, Basic Books. Rosenberg M. J. (1965), When
dissonance fails: On eliminating evaluation apprehension from attitude
measurement, , Journal of Personality and Social Psychology", 1, 2%-M. Rosenberg M. J.
(199la), Gdy dysonans zawodzi: o eliminowaniu leku przed oceną z pomiaru postaw,
w: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych.
Wybór tekstów (s. 33-59), Poznań, Wyd. Nauk. UAM. Rosenberg M. J. (1991b), Warunki
powstawania oraz konsekwencje lęku przed oceną, w: J. Brzeziński,
J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych. Wybór tekstów
(s. 61-135), Poznań, Wyd. Nauk. UAM.
Rosenthal R. (1966), Experimenter effects in behavioral research, New York, Appleton-Century-Crofts.
Rosenthal R. (1969), Interpersonal expectations, w: R. Rosenthal, R. L. Rosnow (red.), Artifact in
behavioral research (s. 181-277), New York, Academic Press. Rosenthal R. (1973), The
mediation of Pygmalion effects: A four-factor theory, „Papua New Guinea
Journal of Education", 8, 95-116. Rosenthal R. (199la), Oczekiwania interpersonalne. Skutki
przyjętej przez badacza hipotezy, w:
J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych. Wybór
tekstów (s. 235-339), Poznań, Wyd. Nauk. UAM. Rosenthal R. (1991 b), O społecznej psychologii
samospełniającego się proroctwa. Dalsze dane po-
twierdzjace istnienie efektów Pigmaliona i mechanizmów pośredniczących w ich występowaniu,
w: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych.
Wybór tekstów (s. 341-387). Poznań, Wyd. Nauk. UAM.
Rosenthal R. (1991c), Meta-analytic procedures for social research (wyd. 2.), Newbury Park.CA, Sagę.
Rosenthal R. (199Id), Replication in behavioral research, w: J. W. Neuliep (red.), Replication research
in the social sciences (s. 1-30), Newbury Park, CA, Sagę. Rosenthal R. (1993), Interpersonal
expectations: Some antecedents and some conseąuences, w:
675
P. D. Blanek (red.), lnterpersonal expectations. Theory, research, and applications (s. 3-24),
Cambridge, Cambridge University Press.
Rosenthal R. (1994a), Science and ethics in condueting, analyzing, and reporting psychological re-
search, „Psychological Science", 5, 127-139.
Rosenthal R. (1994b), On being ones own study: Experimenter effects in behavioral research — 30
years later, w: W. R. Shadish, S. Fuller (red.), The social psychology of science (s. 214-229),
New York, The Guilford Press.
Rosenthal R., Jacobson L. (1968), Pygmalion in the elassroom, New York, Holt, Rinehart and Winston.
Rosenthal R., Jacobson L. (1992), Pygmalion in the elassroom (wyd. zm.), New York, Holt, Rinehart
and Winston. Rosenthal R., Rosnow R. L. (1984), Essentials of behavioral research. Methods
and data analysis,
New York, McGraw-Hill. Rosenthal R., Rubin D. B. (1978), lnterpersonal expectancy effects:
Thefirst 345 studies, „Behav/oraJ
and Brain Sciences", 3, 377-386.
Rosenthal R., Rosnow R. L. (1975), The volunteer subject, New York, Wiley-Interscience. Rosenthal
R., Rosnow R. L. (1984), Essentials of behavioral research. Methods and data analysis,
New York, McGraw-Hill. Rosenthal R., Rosnow R. L. (1991), Essentials of behavioral
research. Methods and data analysis
(wyd. 2.), New York, McGraw-Hill. Rosenzweig S. (1933), The experimental situation as a
psychological problem, „Psychological Re-
view", 40, 337-354. Rosnow R. L., Rosenthal R. (1974), Taming of the volunteer problem: On
coping with artifacts by
benign neglect, „Journal of Personalny and Social Psychology", 30, 188-190.
Rosnow R. L., Rosenthal R. (1976), The yolunteer subject revisited, „Australian Journal of Psycholo-
gy", 28, 97-108. Ross J., Smith P. (1968), Orthodox experimental designs, w: H. M. Blalock, Jr., A. B.
Blalock (red.),
Methodology in social research, New York, McGraw-Hill. Rotter J. B. (1966), Generalized
expectancies for internat versus external control of reinforcement,
„Psychological Monographs", 80, cały numer. Rubinsztejn S. J. (1979), Metody patopsychologii
eksperymentalnej. Podręcznik metodyczny. Warszawa,
PAWL. Rudniański J. (1975), Fazy rozwiązywania problemów naukowych, „Zagadnienia
Naukoznawstwa", 11,
19-45. Rulon P. J. (1939), A simplified procedurę for determining the reliability of a test by
split-hahes,
„Harvard Educational Review", 9, 99-103. Ryans D. G. (1960), Characteristics of teachers,
Washington, DC, American Council of Education.
Sattler J. M. (1988), Assessment ofchildren (wyd. 3.), San Diego, CA, Author.
Scheffe H. (1959), The analysis ofvariance, New York, J. Wiley.
Schmidt F. L. (1995), Co naprawdę oznaczają dane? Wyniki badawcze, metaanaliza i wiedza kumu-
latywna w psychologii, „Czasopismo Psychologiczne", 1 (1-2), 1931
Schmitt N., Stults D. M. (1986), Methodological review: Analysis of multitrait-multimethod matrices,
„Applied Psychological Measurement", 10, 1-22.
Schuyler W. H., Chuang I., Ranney G. (1981), An empirical investigation of Lus method of reliability
estimation, „Educational and Psychological Measurement", 41, 23-34.
Schwarzer R. (1983), The evaluation of convergent and discriminant validity by use of structural
eąuations, „Arch. Psychol.", 135, 219-243.
Seligman D. (1995), O inteligencji prawie wszystko. Kontrowersje wokół ilorazu inteligencji, Warsza-
wa, Wyd. Nauk. PWN.
Seligman M. E. P. (1995), The effectiveness of psychoterapy. The consumer reports study, „American
Psychologist", 50, 965-974.
Selye H. (1967), Od marzenia do odkrycia naukowego. Warszawa, PZWL.
Seul S. (1995), Oczekiwania nauczyciela a wyniki nauczania, Szczecin, Wyd. Uniwersytetu Szczeciń-
skiego.
Sęk H. (1969), Zadania psychologa w klinice psychiatrycznej, w. A. Lewicki (red.), Psychologia kli-
niczna (s. 157-383), Warszawa, PWN.
676
Sherif M., Sherif C. (1953), Groups in harmony and tension, New York, Harper.
Sieber J. E. (1982), Deception in social research I: Kinds of deception and the wrongs they may
involve, „IRB: A Review of Human Subjects Research", 4 (9), 1-6.
Siegel S. (1956), Nonparametric statistics for the behavioral sciences, New York, McGraw-Hill.
Siemianowski A. (1976), Poznawcze i praktyczne funkcje nauk empirycznych, Warszawa, PWN.
Sigall H., Aronson E., Van Hoose T. (1970), The cooperative subject: Myth or reality? „Journal of
Experimental Social Psychology", 6, 1-10. Silverstein A. B. (1963), W1SC and WA1S lQs for the
mentally retarded, „American Journal of Mental
Deficiency", 67, 617-618. Silverstein A. B. (1987), Two indices of subtest scatter on Wechslers
intelligence scales: Estimated vs.
empirical values, „Journal of Clinical Psychology", 43, 409-414.
Silverstein A. B. (1988), Estimated vs. empirical values of scaled-score ranges on Wechslers intelli-
gence scales: A correction, , Journal of Clinical Psychology", 44, 259-261. Simon H. A. (1977),
Models of discovery and other topics in the methods of science, Dordrecht,
D. Reidel. Skarżyńska K. (1976), Postawy interpersonalne a karanie i nagradzanie, w: S. Mika
(red.), Studia nad
postawami interpersonalnymi (s. 15-78), Wrocław, Ossolineum.
Skinner B. F. (1950), Are theories of learning necessary?, „Psychological Review", 57, 193-216.
Skinner Ch. E. (red.)(1971), Psychologia wychowawcza, Warszawa, PWN. Słoma J. (1983),
Psychological experiment as experimental theater, „Polish Psychological Bulletin",
14, 159-169.
Słownik naukowo-techniczny angielsko-polski (1983), Warszawa, WNT.
Solomon R. L. (1949), An extension of control group design, „Psychological Bulletin", 46, 137-150.
Solomon R. L., Lessac M. S. (1968), A control group design for experimental studies of developmental
processes, „Psychological Bulletin", 70, 145-150. Sosnowski T., Zimmer K. (red.)(1993),
Metody psychofizjologiczne w badaniach psychologicznych.
Warszawa, Wyd. Nauk. PWN. Stachowski R. (1976), Sprawdzalnośc empirycznej trafności
ilościowych praw psychologii jako funkcja
trafności skali pomiarowej, „Studia Metodologiczne", 13, 133-142.
Stanik J. (1994), Etyczno-zawodowe problemy biegłego sądowego psychologa, w: J. Brzeziński, W. Po-
znaniak (red.), Etyczne problemy działalności badawczej i praktycznej psychologów (s. 197-226),
Poznań, Wyd. Fundacji Humaniora.
Stanisławski J. (1968), Wielki słownik angielsko-polski. Warszawa, Wiedza Powszechna. Stanley J. C.
(1961), Analysis of unreplicated three way classifications with applications to rater bias
and trait independence, „Psychometrika", 26, 205-219. Stasiakiewicz M. (1984), Podmiotowe i
sytuacyjne wyznaczniki badania testem Rorschacha, Poznań,
Wyd. Nauk. UAM.
Steczkowski J. (1995), Metoda reprezentacyjna w badaniach zjawisk ekonomiczno-społecznych, War-
szawa, Wyd. Nauk. PWN. Sterling T. D. (1959), Publication decisions and their possible effects on
inferences drawn from tests
of significance — or vice versa, .Journal of the American Statistical Association", 54, 30-34.
Sternberg R. J. (1985), Beyond IQ. A triarchic theory of human intelligence, Cambridge, Cambridge
University Press. Sternberg R. J. (1995), The psychologist's companion. A guide to scientific
writing for students and
researchers (wyd. 3.), Cambridge, MA, Cambridge University Press. Stevens S. S. (1935), The
operational basis of psychology, „American Journal of Psychology", 47,
323-330. Stevens S. S. (1951), Mathematics, measurement andpsychophysics, w: S. S. Stevens
(red.), Handbook
of experimental psychology (s. 1-49), New York, J. Wiley. Stevens S. S. (1959), Measurement,
psychophysics and utility, w: C. W. Churchman, Ph. Ratoosh (red.),
Measurement. Definitions and theories (s. 18—63), New York, J. Wiley.
Stonert H. (1967), Charakterystyka twierdzeń nauk praktycznych w aspekcie metodologicznym, „Pra-
kseologia", 28, 21-71. Straś-Romanowska M. (1992), Los człowieka jako problem psychologiczny-
Podstawy teoretyczne,
Wrocław, Wyd. Uniwersytetu Wrocławskiego. Strelau J. (1985),
Temperament — osobowość— działanie, Warszawa, PWN.
\
677
Strelau J. (1987), O inteligencji człowieka, Warszawa, Wiedza Powszechna.
Strelau J. (1992), Badania nad temperamentem. Teoria, diagnoza, zastosowania, Wrocław, Ossolineum.
Strelau J. (1994), Kodeks etyczno-zawodowy psychologa. Wybrane refleksje na jego tle, „Nauka", 4,
109-114.
Stróżewski W. (1991), Kilka uwag o prawdzie, w: J. Goćkowski, K. Pigoń (red.), Etyka zawodowa
ludzi nauki (s. 65-72), Wrocław, Ossolineum.
Stróżewski W. (1992), O idei uniwersytetu, w: W. Stróżewski, W kręgu wartości (s. 7-26), Kraków,
Wyd. Znak.
Strzyżewski W., Brzeziński J. (1979), Metodyczne aspekty doboru grup chorych do badań leków psy-
chotropowych, „Psychiatria Polska", 13, 161-164.
Such J. (1973), Wstęp do metodologii ogólnej nauk, Poznań, Wyd. Nauk. UAM.
Such J. (1975a), Problemy weryfikacji wiedzy, Warszawa, PWN.
Such J. (1975b), Pojęcie hipotezy ad hoc, „Studia Filozoficzne", 118, 95-110.
Suits D. (1957), Use ofdummy variables in regression eąuations, „Joumal of the American Statistical
Association", 52, 548-551.
Sułek A. (1979), Eksperyment w badaniach społecznych, Warszawa, PWN.
Sułek A. (1993), Jak działa filtr „nie wiem"? O perspektywie poznawczej w metodologii badań son-
dażowych, „Kultura i Społeczeństwo", 37 (3), 31-44.
Szaniawski K. (1991), Etyka krytyki naukowej, w: J. Goćkowski, K. Pigoń (red.), Etyka zawodowa
ludzi nauki (s. 167-175), Wrocław, Ossolineum.
Szaniawski K. (1993), Plus ratio ąuam vis (prwdr. 1981), w: K. Szaniawski, O nauce, rozumowaniu
i wartościach. Pisma wybrane (s. 523-530), Warszawa, Wyd. Nauk. PWN.
Szarkowski A. (1968), O miernikach zależności między zmiennymi losowymi, W: K. Szaniawski (red.),
Metody statystyczne w socjologii (s. 183-231), Warszawa, PWN.
Szustrowa T. (1972), Zdolność do działania na rzecz celów pozaosobistych a niektóre właściwości
rodzinnego treningu wychowawczego, w: J. Reykowski (red.), Studia z psychologii osobowości
(s. 12-80), Warszawa, Wyd. UW.
Szustrowa T. (red.)(1987), Swobodne techniki diagnostyczne. Wywiad i obserwacja, Warszawa, Wyd.
Uniw. Warszawskiego.
Terelak J., Cieciura M, Terelak H. (1991), Warszawski system testów psychologicznych „PSYCHO-
KOMP": założenia psychologiczne i informatyczne, „Przegląd Psychologiczny", 34, 647-656.
Thorndike R. L. (1961), Personnel selection. Test and measurement techniąues, New York, J. Wiley.
Thorndike R. L., Hagen E. P., Sattler J. M. (1986), The Stanford-Binet Intelligence Scalę: Fourth
Edition, Chicago, Riverside.
Thurstone L. L. (1926), The Mental-age concept, „Psychological Review", 33, 268-278. Timm N. H.
(1975), Multivariate anałysis with appłications in education and psychology, Monterey,
Brooks/Cole Pub. Co. Toeplitz Z. (1994), Etyczne dylematy nauczania psychologii, w: J.
Brzeziński, W. Poznaniak (red.),
Etyczne problemy działalności badawczej i praktycznej psychologów (s. 227-239), Poznań, Wyd.
Fundacji Humaniora.
Tomaszewski T. (1963), Wstęp do psychologu, Warszawa, PWN. Tomaszewski T. (red.)(1975),
Psychologia, Warszawa, PWN. Tomaszewski T. (red.)(1992), Psychologia ogólna (t. 1.: Kozielecki
J. Percepcja, myślenie, decyzje;
t. 2.: Reykowski J. Emocje, motywacja, osobowość; t. 3: Kurcz I.: Pamięć, uczenie się, język;
t. 4.: Strelau J. Temperament, inteligencja), Warszawa, PWN.
Tomaszewski T., Ratajczak Z. (1988), Treść ekspertyz naukowych i współdziałanie eksperta z użytkow-
nikiem, w: Z. Ratajczak (red.), Ekspertyzy naukowe a praktyka społeczna (s. 11-23), Katowice,
Wyd. Nauk. UŚ1.
Topolski J. (1983), Teoria wiedzy historycznej, Poznań, Wyd. Poznańskie. Topolski J. (1984),
Metodologia historii (wyd. 3.), Warszawa, PWN. Torgerson W. S. (1958), Theory and methods of
scaling, New York, J. Wiley. Townsend J. C. (1953), Introduction to experimental method, New
York, McGraw-Hill. Tuchańska B. (1980), Czynnik — wielkość — związek — zależność, Warszawa-
Poznań, PWN. Tukey J. W., Mosteller F. (1977), Data anałysis and regression. A second course in
statistics, Reading,
MA, Addison-Wesley.
678
Twardowski K. (1933), O dostojeństwie Uniwersytetu, Poznań, Uniwersytet Poznański, Rolnicza Dru-
karnia i Księgarnia Nakładowa. Tyszkowa M. (1972), Zachowanie się dzieci szkolnych w sytuacjach
trudnych, Warszawa, PWN.
Vegelius J. (1976), On various G index generalizations and their applicability within the clinical
domain, „Studia Psychologica Uppsaliensia", 4 Upsala, Acta Universitatis Uppsaliensis.
Vegelius J. (1979), A G index generalization for trichotomized data, „Educational and Psychological
Measurement", 39, 23-27.
Vegelius i. (1981), Significance testsfor the GTindex, „Educational and Psychological Measurement",
41, 99-108.
Wahlsten (1990), lnsensitivity of the analysis ofvariance to heredity-environment interaction, „Beha-
vioral and Brain Sciences", 13, 109-161.
Wainer H., Braun H. I. (1988), Test validity, Hillsdale.NJ, L. Erlbaum. Wald A. (1947), Seąuential
analysis, New York, J. Wiley. Wallen R. (1964), Psychologia kliniczna, Warszawa, PWN. Walton
Braver M. C, Braver S. L. (1988), Statistical treatment of the Solomon four-group design:
A meta-analytic approach, „Psychological Bulletin", 104, 150-154. Ward J. H., Jr. (1969),
Modele wielokrotnej regresji liniowej, w: H. Borko (red.), Maszyny cyfrowe w
badaniach naukowych (s. 72-104), Warszawa, WNT. Watson J. B. (1919), Psychology from
standpoint of a behaviorist, Philadelphia, Lippicott. Vatson J. B. (1990), Behawioryzm oraz
Psychologia, jak widzi ją behawiorysta, Warszawa, PWN. Vechsler D. (1939), The measurement of
adult intelligence, Baltimore, Wiliams and Wilkins. Wechsler D. (1981), Wechsler Adult
Intelligence Scale-Revised. WAIS-R manuał, New York, The
Psychological Corporation. Wechsler D. (1993), Definicja i natura inteligencji, w: J.
Brzeziński, E. Hornowska (red.), Skala
Inteligencji WAIS-R Wechslera. Polska adaptacja, standaryzacja, normalizacja i wykorzystanie w
diagnostyce psychologicznej (s. 15—20), Warszawa, Wyd. Nauk. PWN. Werts C. E., Linn R. L.
(1970), Path analysis: Psychological examples, „Psychological Bulletin", 74,
193-212. Werts C. E., Linn R. L., Joreskog K. G. (1978), Estimating the parameters of path
models involving
unmeasured variables, w: H. M. Blalock (red.), Causal models in the social sciences (s. 400-
-409), Chicago, Aldine. Wieczorkowska-Siarkiewicz G. (1987), Skalowanie wielowymiarowe
jako metoda badania percepcji,
Warszawa, Wyd. Uniwersytetu Warszawskiego. Wiggins J. S. (1968), Personality and prediction:
Principles of personality assessment, Reading, MA,
Addison-Wesley.
Winer B. J. (1971), Statistical principles in experimental design (wyd. 2.). New York, McGraw-Hill.
Winer B. J., Brown D. R., Michels K. M. (1991), Statistical principles in experimental design (wyd.
3.), New York, McGraw-Hill.
Wolman B. B. (1973), Dictionary ofbehavioral science, New York, Van Nostrand Reinhold.
Woodward J. A. Overall J. E. (1975), Multivariate analysis ofvariance by multiple regression methods,
„Psychological Bulletin", 82, 21-32.
Wundt W. (1908), Grundziige der physiologischen Psychologie, Leipzig, Engelmann. Wywiał J.
(1994), Przykłady wnioskowania statystycznego za pomocą komputerowego pakietu SPSS,
Warszawa, Wydawnictwo PLJ.
Yaremko R. M., Harari H., Harrison R. C, Lynn E. (1982), Reference handbook ofresearch and statistical
methods in psychology: For students and professionals, Cambridge, MA, Harper and Row.
Zakrzewska M. (1993), Analiza czynnikowa wyników: W-B I, WAIS, WAIS-R, w: J. Brzeziński, E. Hor-
nowska (red.), Skala Inteligencji Wechslera WAIS-R. Polska adaptacja, standaryzacja, normali-
zacja i wykorzystanie w diagnostyce psychologicznej (s. 295-326), Warszawa, Wyd. Nauk. PWN.
Zakrzewska M. (1994), Analiza czynnikowa w budowaniu i sprawdzaniu modeli psychologicznych,
Poznań, Wyd. Nauk. UAM.
679
Zakrzewska M. (1995), Konfirmacyjna analiza czynnikowa polskiej adaptacji Skali Inteligencji We-
chslera — WAIS-R(PL). Wyniki wstępne, w: J. Brzeziński (red.), Z zagadnień diagnostyki psy-
chologicznej (s. 53-74), Poznań, Wyd. Fundacji Humaniora.
Zamiara K. (1974), Metodologiczne znaczenie sporu o status poznawczy teorii, Warszawa, PWN
Zamiara K. (1995), Dynamika pojęć i programów psychologicznych. Szkice metodologiczne, Szczecin,.
Wyd. Fundacja im. Kazimierza Ąjdukiewicza na rzecz Rozwoju Nauk Filozoficznych.
Zasępa R. (1962), Badania statystyczne metodą reprezentacyjną, Warszawa, PWN.
Zawadzki B. (1970), Wstęp do teorii osobowości, Warszawa, PWN.
Zeigarnik B. W. (1969), Patologia myślenia', Warszawa, PWN.
Zeigarnik B. W. (1978), Podstawy patopsychologii klinicznej, Warszawa, PWN.
Zieliński R. (1972), Tablice statystyczne, Warszawa, PWN.
Ziembiński Z. (1993), Logika praktyczna (wyd. 16.), Warszawa, Wyd. Nauk. PWN.
Ziembiński Z. (1995), Logika praktyczna (wyd. 17.), Warszawa, Wyd. Nauk. PWN.
Ziemski T., (1973), Problemy dobrej diagnozy, Warszawa, Wiedza Powszechna.
Ziman J. (1972), Społeczeństwo nauki, Warszawa, PIW.
Zimbardo P. G. (1973), On the ethics of internention in human psychological research: With speciai
reference to the Stanford Prison Experiment, „Cognition", 2. 243—256.
Zimbardo P. G., Ruch F. L. (1994), Psychologia i życie (wyd. 2.), Warszawa, Wyd. Nauk. PWN.
Zimmerman I. L., Woo-Sam J. M. (1973), Clinical interpretation of the Wechsler Adult Intelhgenct
Scalę, New York, Gnine and Stratton.
1
Zakrzewska M. (1995), Konfirmacyjna analiza czynnikowa polskiej adaptacji Skali Inteligencji We--
chslera — WAIS-R(PL). Wyniki wstępne, w: J. Brzeziński (red.), Z zagadnień diagnostyki psy-
chologicznej (s. 53-74), Poznań, Wyd. Fundacji Humaniora.
Zamiara K. (1974), Metodologiczne znaczenie sporu o status poznawczy teorii, Warszawa, PWN.
Zamiara K. (1995), Dynamika pojęć i programów psychologicznych. Szkice metodologiczne, Szczecin,
Wyd. Fundacja im. Kazimierza Ąjdukiewicza na rzecz Rozwoju Nauk Filozoficznych.
Zasępa R. (1962), Badania statystyczne metodą reprezentacyjną, Warszawa, PWN.
Zawadzki B. (1970), Wstęp do teorii osobowości, Warszawa, PWN.
Zeigarnik B. W. (1969), Patologia myślenia", Warszawa, PWN.
Zeigarnik B. W. (1978), Podstawy patopsychologii klinicznej, Warszawa, PWN.
Zieliński R. (1972), Tablice statystyczne, Warszawa, PWN.
Ziembiński Z. (1993), Logika praktyczna (wyd. 16.), Warszawa, Wyd. Nauk. PWN.
Ziembiński Z. (1995), Logika praktyczna (wyd. 17.), Warszawa, Wyd. Nauk. PWN.
Ziemski T., (1973), Problemy dobrej diagnozy, Warszawa, Wiedza Powszechna.
Ziman J. (1972), Społeczeństwo nauki, Warszawa, PIW.
Zimbardo P. G. (1973), On the ethics of internention in human psychological research: With speciai
reference to the Stanford Prison Experiment, „Cognition", 2, 243—256.
Zimbardo P. G., Ruch F. L. (1994), Psychologia i życie (wyd. 2.), Warszawa, Wyd. Nauk. PWN.
Zimmerman I. L., Woo-Sam J. M. (1973), Clinical interpretation of the Wechsler Adult Intelligenct
Scalę, New York, Griine and Stratton.
?
.,*: