Kvalita v laboratorní a výrobní praxi
Část 5: Chyby a hodnocení výsledků
měření
Praha, únor 2020
Vladimír Kocourek
Zkoušení (analýza) v laboratoři
Výroba
Výzkum a vývoj (R&D)
Obchodování (dodávání)
Ochrana zdraví a životního prostředí
1720
1920
2020
Chemické složení
potravin
Analýza
potravin
Chemické reakce v
potravinách
Kvalita a
bezpečnost
Výživa a zdraví
Zkoušení potravin pro kvalitu a bezpečnost
Chemická / potravinářská výroba - provoz
Požadavky na měření / analýzu:
Opakovatelnost měření
• monitoruje se vývoj reakčního procesu
• zjišťuje se kolísání (fluktuace) procesu
Pravdivost měření je trochu méně důležitá
Dostatečná frekvence analýz
Minimální náklady a úsilí
Přehledné výsledky/ protokoly
Obchodování - dodávání
Požadavky na měření / analýzu:
Přesnost (zejména pravdivost): výrobek je ve shodě se specifikacemi
Prokázání platnosti metody: všeobecně uznávanémetody, validace, návaznost k referencím
Reprodukovatelnost: výsledky jsou srovnatelné, bez ohledu na to, která laboratoř zkoušku provádí
Konsistentnost: bez rozporů, stejný vzorek → stejnývýsledek
Vzájemné uznávání výsledků různých laboratoří
Sjednání analytického servisu:
1 SPECIFIKACE VZORKU
– druh vzorku
– počet vzorků, popř. frekvence vzorkování
– hmotnost (objem) vzorků
– obal, uzavření
– označování, vstupní dokumentace
– archivace vzorků, vracení
2 CENA, platební podmínky, odpovědnost
3 TERMÍN DODÁNÍ VÝSLEDKU, PROTOKOL
4 PARAMETRY (přesnost, mez stanovitelnosti,..)
„Dobrý analytický výsledek“
Vhodný pro daný účel:
Umožňuje provést
rozhodnutí
Presentovaný ve
srozumitelné formě
Konsistentní a úplný
Dodaný včas
…a za přiměřenou cenu
Přesný (pravdivý a
precizní)
Postihující i malé množství
sledované látky
S prokazatelnou vazbou k
referencím
Analytický „interval spolehlivosti“
každé měření je spojeno s chybami
každá střední hodnota by proto měla být doplněna
údajem o nejistotě jejího odhadu [např. X ± x g/l]
Při prokazování, že vzorek je ve shodě se
specifikacemi je nutné vzít do úvahy interval
spolehlivosti (nejistotu) hodnoty výsledku
Příklad:
• analýza (metoda) poskytla hodnotu výsledku ± 1,5%
• je požadován obsah analytu ve vzorku min. 97%
• aby byla jistota, že obsah analytu je >97%, musí být
výsledek analýzy nejméně 98,5 %
Přesnost měření / zkoušek
Data jsou „vysoké kvality“, pokud jsou vhodné pro jejich zamýšlené použití
v provozu , rozhodování a plánování.
(JM Juran).
MĚŘENÍ jako snaha trefit CÍL …
pravá hodnota
(pravdivá hodnota měřené veličiny)
Terč - cíl (target)
Měření
Přesnost měření / zkoušek
Přesnost výsledků měření / zkoušek
přesný výsledek:
precizní a pravdivý
pravdivost
syst
em
ati
cká
ch
yb
a
preciznostnáhodné rozptýlení
nepřesný výsledek:
precizní ale vychýlený
Distribuce naměřených hodnot veličiny
Histogram
Probability Distribution
Function (Gauss)
1. There is a strong tendency for the variable to take a central value;
2. Positive and negative deviations from this central value are equally likely;
3. The frequency of deviations falls off rapidly as the deviations become larger.
freq
uen
cy
q
s qk
Charakterizováno střední hodnotou a směrodatnou odchylkou
náhodného výběru
Pravděpodobnostní rozdělení náhodných chyb –
tzv. „normální“ – „Gaussovo“
Rozptyl střední hodnoty výběru
n
)q(s)q(s)q(V
22
distribution of
the mean
distribution of the single
values of one individual de
determination of q
kqs
qs
mean
Systematické chyby měření
Zešikmená data: život bývá log-normální
Environmentální kontaminanty v potravinách,
Citlivost jedinců v populaci vůči působení chemické látky,
Výsledky opakované analýzy těsně nad LOQ,
Počty zaměstnanců podle výše platu
Výběrové charakteristiky
Výběrový průměr:
n
i
ixn
x1
1
Odhad směrodatné odchylky:
Medián:
hodnota, která dělí řadu podle velikosti seřazených výsledků na dvě
stejně početné poloviny.
Výhodou mediánu jako statistického ukazatele je fakt, že není tolik ovlivněn extrémními
(nebo odlehlými) hodnotami.
Modus:
hodnota, která se v daném statistickém souboru vyskytuje nejčastěji.
Modus lze použít i na kvalitativní výsledky: např. modus ze souboru „žlutá, zelená,
červená, modrá, žlutá, zelená, červená, fialová, zelená, hnědá” je:...............
Intervalové odhady s definovanou pravděpodobností
Interval spolehlivosti (průměru):
Pološířka intervalu spolehlivosti:
Intervalový odhad průměru:
(n opakování, hladina spolehlivosti α)
n
stx
n
stx )()( 2/12/1
Obsah vody: 11,02 ± 0,22 %
Interval hodnot: 10,80 až 11,24 %
Charakteristiky souboru dat (robustní odhady)
Odhad robustních statistik z kvartilů:
Interkvartilové rozpětí:
(n opakování, α=0,05)
Gastwirthův medián:
Winsorizace dat – korekce:(nechceme-li odlehlé hodnoty vylučovat)
maximální a minimální hodnota v uspořádaném
souboru se nahradí hodnotou sousední –
nejmenší druhým nejmenším a největší druhým
největším. Trend se zachová, extrémní hodnoty
ztratí svou váhu.
Logaritmická transformace:(jako log-normální rozdělení)
hodnoty se převedou na logaritmy, zpracují se
jako normálně rozdělené a takto získané
charakteristiky se tranformují zpět
(„odlogaritmují)
Přesnost měření / zkoušek
Přesnost = Pravdivost (ε) + Preciznost (δ)
Accuracy = Trueness (ε) + Precision (δ)
X = μ + ε + Σ δμ...pravá (pravdivá) hodnota
ε...systematická chyba - stejná velikost a znaménko
δ...náhodné chyby – v součtu mění velikost a znaménko
Co všechno obsahuje výsledek analýzy X ?
Chyba měření (measurement error):
(ε + Σ δ) = X – μ
Chyba měření je rozdíl mezi hodnotou
naměřenou (X) a hodnotou pravou (μ).
…zahrnuje vždy chybu systematickou (ε) a
náhodné vlivy (δ).
Co je to „chyba výsledku analýzy (měření)“
Problém: často neznáme dost dobře μ a tedy ani chybu
systematickou a tudíž ani celkovou...zase nejistota.
Nejistota ?
Systematická chyba (ε + Σ δ) = X – μ
systematická chyba výsledku je rozdílem mezi
průměrným výsledkem z velkého počtu
opakování a pravou hodnotou (true value)
někdy je nazývána vychýlení (bias)
v analytické chemii se zjišťuje např. jako
průměrná výtěžnost (cx/c0)
Pravdivost výsledku měření
Pravá hodnota - true value
...je hodnota charakterizující dokonaledefinovanou veličinu za podmínekexistujících v okamžiku, kdy je uvažována…
Je to ideální pojem - obecně nemůže býtdokonale poznána !
pro praxi se proto nahrazuje
REFERENČNÍ HODNOTOU
Referenční hodnota
1. střední hodnota dle definitní metody
2. teoretická hodnota (ze složení čisté látky)
3. expertní mezilaboratorní porovnání zkoušek
4. známé množství analytu přidané do matrice
5. střední hodnota základního souboru měření
Realizuje se zpravidla prostřednictvím
referenčního materiálu
složka chyby, která se v průběhu řady zkoušek
téhož znaku mění nepředvídatelným
způsobem – kolísá okolo střední hodnoty
nelze ji odstranit jakoukoli korekcí !
Náhodná chyba výsledku
Některé zdroje náhodných chyb:
metoda
laboratoř (prostředí)
zařízení a materiály (nádobí, přístroje, činidla…)
analytik
časové rozmezí
vyjadřuje náhodné rozptýlení hodnot okolo
střední hodnoty
vyjadřuje se jako PRECIZNOST (precision)
výsledků opakovaného měření za určitých
podmínek
vypočte se jako směrodatná odchylka σx
z řady opakování
nemá nic společného s pravou (referenční)
hodnotou !
Náhodná chyba výsledku
za různých podmínek působí různé náhodné
vlivy preciznost výsledků (precision) je
různá
1. extrém: co nejméně odlišností při opakování:
OPAKOVATELNOST (jak se to daří opakovat mně)
2. extrém: co nejvíce odlišností při opakování:
REPRODUKOVATELNOST (jak se to daří zreprodukovat jinde)
Náhodná chyba výsledku
podmínky OPAKOVATELNOSTI:
stejná metoda, laboratoř, analytik, zařízení, přístroje,
standardy, chemikálie, kalibrační křivka, v krátkém
časovém rozmezí („paralelky“)
podmínky REPRODUKOVATELNOSTI :
zpravidla stejná metoda ale jiná laboratoř a tedy všechny
ostatní faktory jiné.
podmínky MEZILEHLÉ PRECIZNOSTI :
zpravidla stejná metoda i laboratoř ale v dlouhém
časovém období (dlouhodobá opakovatelnost)
a což takhle něco mezi ?
Náhodná chyba výsledku
Integrace 1 Integrace 2Standard
Rozdíl mezi výsledky
– 42 % (koncentrační hladina ppb)
min21.5 22 22.5 23 23.5 24 24.5
LU
0
50
100
150
200
FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D)
Area: 2577.76
Area: 2997.03
Area: 9689.11
2
2.8
72
2
3.1
52
- 1
-M
eP
yr
2
3.5
91
- B
aA
min21.5 22 22.5 23 23.5 24 24.5
LU
0
50
100
150
200
FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D)
Area: 2145.32
Area: 2103.88
2
2.8
72
2
3.1
52
- 1
-M
eP
yr
min23.75 24 24.25 24.5 24.75 25 25.25 25.5 25.75
LU
10
20
30
40
50
60
FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MJKOLONY\MDER2.D)
2
4.5
30 - 1
-M
eP
yr
2
5.0
04 - B
[a
]A
Ilustrace variability výsledků:
dva různí pracovníci
8.00 8.50 9.00 9.50 10.00 10.50 11.00 11.50
5.40 5.60 5.80 6.00 6.20 6.40 6.60 6.80 7.00 7.20 7.40 7.60 7.80 8.00 8.20 8.40 8.60 8.80 9.00 9.20 9.40 9.60 9.80
0
100
%
5.47
6.22
6.076.35
6.84
7.05
7.65
7.54
8.10
9.67
Analýza vzorku na dvou
přístrojích stejného typu
Ilustrace vlivu přístroje
na mezilehlou preciznost výsledků
Mez opakovatelnosti (r)
Vypočte se ze směrodatné odchylky opakování analýzy
stejnou metodou na stejném vzorku (homogenním) za
podmínek opakovatelnosti:
r = f . √2 . σr
r = 2,8 . sr
Použití:
Jsou-li výsledky zatíženy pouze přijatelnou náhodnou
chybou (H0),
pak rozdíl mezi výsledky dvou opakování nesmí být větší
nežli r : |x1-x2| ‹ r
Opakovatelnost (sr)
Postup 1:
provede se řada opakování (n = 8 až 15) na tomtéž
homogenním vzorku za podmínek opakovatelnosti,
vypočte se směrodatná odchylka
sr2 = Σ Di
2/(2n)
Postup 2:
různé ale podobné vzorky se za podmínek
opakovatelnosti analyzují dvojmo a vypočtou rozpětí,
vypočte se směrodatná odchylka:
Příklady jak to nedělat, když nám paralelka nevychází:
Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %
Výsledky analýzy:
x1 = 2,96 %; x2 = 3,19 % 3,19 – 2,96 > 0,14 !
Tedy ještě další opakování:
x3 = 2,92 %; 3,19 vyloučíme ? NE !!! 2,96 - 2,92 < 0,14
I.
II.
Výsledkem X není průměr jenom výsledků, které se nám „líbí“, protože:
X = (x1 + x3)/2 = 2,94 %; D1,3 < 0,14
Výsledky analýzy:
x1 = 3,18 %; x2 = 3,36 % D1,2 = 0,18 > 0,14 !
A další opakování – ale takhle zase NE:
x3 = 3,25 %; 3,25 - 3,18 < 0,14 a 3,36 – 3,25 < 0,14
Výsledkem X je průměr platných opakování:
X = (x1 + x2 + x3)/3 = 3,26 %; D1,3 < 0,14 a D2,3 < 0,14
Místo toho: kritický rozdíl pro 3 výsledky
Příklady použití na 3 opakování: jak to udělat správně
Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %
viz II. 3 Výsledky analýzy:
x1 = 3,18 %; x2 = 3,36 %; x3 = 3,25 %;
Rozpětí (xmax – xmin) celého souboru je 0,18 % :
jaká je kritická hodnota pro 3 opakování ?
Rozpětí celého našeho souboru je 0,18 % > r3 = 0.17 !
Možná příčina ?
1. nehomogenní vzorek,
2. nezvládnutá metoda
3. špatně určená opakovatelnost
r3 = f . √3 . σr
r3 = 3,3 . sr
Opakovatelnost (r)
Význam - odpověď na otázku:
"lze rozdíl mezi výsledky opakování vysvětlit náhodným
kolísáním (rozptýlením) anebo se analytický systém ocitl v
nezvládnutém stavu ?"
Standardně se uvádí mez opakovatelnosti pro α = 0,05
pro α = 0,01 se násobí koeficientem 1,29
pro α = 0,10 se násobí koeficientem 0,82
Reprodukovatelnost (R)
Význam - odpověď na otázku:
"lze rozdíl mezi výsledky získanými na tomtéž vzorku jinou
laboratoří vysvětlit náhodným rozptýlením anebo nejsou
výsledky laboratoří srovnatelné ?"
Nelze ovšem říci, který ze dvou výsledků je „pravdivější“ …
R = 2,8 . sR
Použití:
Jsou-li výsledky zatíženy pouze přijatelnou chybou,
pak rozdíl mezi výsledky dvou laboratoří nesmí být větší
nežli R : |X1-X2| ‹ R
Skládá se ze dvou složek:
σ2r - rozptyl výsledků uvnitř laboratoře
σ2L - rozptyl výsledků mezi laboratořemi
„Horwitz“ …
σ2R = σ2
r + σ2L
Způsob zjištění R:
1. experimentálně na základě mezilaboratorního porovnání zkoušek
(MPZ)
2. odhadem z Horwitzova/Thompsonova empirického vztahu
Reprodukovatelnost (R)
Reprodukovatelnost (R) - Horwitz
Dr. William Horwitz
worked for the U.S. FDA for 57
years and was head of the
Association of Official Analytical
Chemists for 24 years.
The Horwitz curve is "one of the most intriguing relationships
in modern analytical chemistry"
Horwitzova křivka
0
10
20
30
40
50
1 100 10 000 1 000 000 100 000 000
ppb
CV (%
)Reprodukovatelnost (R) - Horwitz
Koncentrace
Pre
ciz
no
st
Reprodukovatelnost (R) - Horwitz
Relativní směrodatná odchylka – variační koeficient:
s klesající koncentrací analytu roste CV
závislost na druhu analytu, typu vzorku a analytické
metodě je méně důležitá
CVR = 2(1-0,5*logX)
Thompson:
Pro X < 1,2*10-7 (tedy pod 0,12 mg.kg-1) má být CVR asi 22 %
Pro X > 0,14 (tedy nad 14 %) je CVR = 0,01*X0,5
X je koncentrace analytu vyjádřená jako hmotnostní zlomek !
Reprodukovatelnost (R)
Reprodukovatelnost (R) - Horwitz
Požadavky na preciznost ve stopové analýze:
Koncentrace
(ppb)
CVr (%)
Codex Alimentarius
CVR (%)
Horwitz
< 1 35 > 45
1 - 10 30 32 -45
10 - 100 20 22 – 32
> 100 15 < 22
Pravdivost (Výtěžnost - Recovery)
Příklad požadavků na výtěžnost ve stopové analýze:
Koncentrace
(ppb)Dolní mez (%) Horní mez (%)
< 1 50 120
1 - 10 70 120
10 - 100 75 110
> 100 80 110
OPAKOVATELNOST, REPRODUKOVATELNOST
(repeatability, reproducibility)
závisí pouze na rozdělení náhodných chyb, nemá žádný
vztah k hodnotě pravé, resp. referenční.
Příklad: Nejvyšší přijatelné rozdíly mezi výsledky dvou analýz -
za podmínek opakovatelnosti a reprodukovatelnosti (EN 12393-
1:1998)
Koncentrační hladina [mg/kg]
Absolutní rozdíl mezi 2 opakováními
[mg/kg]
Absolutní rozdíl mezi 2 laboratořemi
[mg/kg]
0,01 0,005 (50 %) 0,01 (100 %)
0,1 0,025 (25 %) 0,05 (50 %)
1 0,125 (12 %) 0,25 (25 %)
Koncentrace
(mg/kg)
Variační koeficient
(%)
≤ 10 až 100 20
100 až 1000 15
1000 10
Mezilehlá opakovatelnost
Příklad požadavku na maximální hodnoty variačních
koeficientů pro intralaboratorní preciznost („dlouhodobá
opakovatelnost“)
(Rozhodnutí Komise 2002/657/EC: stanovení prvků)
Opakovatelnost a reprodukovatelnost
Příklad hodnot variačních koeficientů pro opakovatelnost, intralaboratorní
preciznost a reprodukovatelnost:
z výsledků mezilaboratorní studie (validace) metody.
(ISO 15753:2016 Stanovení PAU v rostlinných tucích a olejích)
PRAVDIVOST (Trueness)
celková systematická chyba - měřítkem je odchylka výsledků od skutečné hodnoty, zjišťuje se jako výtěžnost
Výtěžnost: Rec = Xs/Cref
100 %R
A B
R
S S
A
A
B
B
R=
>
NAŘÍZENÍ KOMISE (ES) č. 401/2006
kterým se stanoví metody odběru vzorků a metody analýzy
pro úřední kontrolu množství mykotoxinů v potravinách
NAŘÍZENÍ KOMISE (ES) č. 401/2006
kterým se stanoví metody odběru vzorků a metody analýzy
pro úřední kontrolu množství mykotoxinů v potravinách
PRAVDIVOST (Trueness) měření / analýzy
m..referenční hodnota
N..počet opakování
xi...výsledek měření
X...průměrná hodnota
L1..dolní mez IS
L2..horní mez IS
t - test pravdivosti vzhledem k referenční hodnotě
N = 11 m 8,4
xi (X - xi)^2 t-krit 95 t-krit 90 chí - krit
1 8 0,08463
2 8,5 0,04372
3 8,3 0,00008 4,303 2,920 0,103
4 8,1 0,03645 3,182 2,353 0,352
5 8,6 0,03645 2,776 2,132 0,711
6 8,2 0,09554 2,571 2,045 1,150
7 7,8 0,00826 2,447 1,943 1,640
8 8,2 0,24099 2,365 1,895 2,170
9 8,4 0,00826 2,306 1,860
10 8,8 0,01190 2,262 1,833
11 8,3 0,25917 2,228 1,812
2,131 1,753
X = 8,29091 výběr: 2,228 xxxxxxx 3,330
L1 = 8,10220 L2 = 8,47961
rozptyl: 0,07891 horní mez: 0,26066
s = 0,28091 horní mez: 0,51055
CV = 3,38814 %
t = 1,28802
Srovnání postupů měření / analýzy
N postup A postup B
1 37,83 37,44
2 38,18 35,82
3 36,84 36,01
4 37,61 37,20
5 37,96 38,27
6 38,05 36,83
7 37,77 35,86
A - extrakce: Soxhlet, hexan 8 h
B - extrakce: 3 x 20 min UF, hexan, Na2SO4
Excel ANALYSIS TOOL
Dvouvýběrový t-test s nerovností rozptylů
Sh-hexan UF/síran 2 hod
Stř. hodnota 37,749 36,776
Rozptyl 0,196 0,866
Směr. odch. sr 0,44 0,93
t Stat 2,498
P(T<=t) (1) 0,017
t krit (1) 1,833
P(T<=t) (2) 0,034
t krit (2) 2,262
Dvouvýběrový F-test pro rozptyl
Sh-hexan UF/síran 3 hod
Stř. hodnota 37,749 36,776
Rozptyl 0,196 0,866
Pozorování 7,000 7,000
Rozdíl 6,000 6,000
F 0,226
P(F<=f) (1) 0,047
F krit (1) 0,233
měření
systematická
chyba
výsledek měření
neznámá
systematická
chyba
náhodná
chyba
korekce zbývající
chyby
chyba
měření
známá
systematická
chyba
hodnota
výsledku
nejistota
výsledku
Definice nejistoty měření (Uncertainty)
Parametr spojený s výsledkem měření
charakterizující rozptýlení hodnot, které
mohou být důvodně připsány měřené
veličině.
Odhad přiřazený k výsledku zkoušky a
charakterizující interval hodnot, o němž se
tvrdí, že uvnitř něho leží pravá hodnota