Sta$s$cal simula$ons guide construc$on of a fast and accurate metagenomic annota$on pipeline
Stephen Nayfach iSEEM2 Call
August 6, 2014
Mo$va$on
β’β― No clear consensus on best methods for func$onally annota$ng unassembled metagenomic data
β’β― No end-Ββto-Ββend sta$s$cal evalua$on of metagenomic annota$on pipelines
β’β― Unclear if commonly used annota$on pipelines (MG-ΒβRAST, IMG/M) produce accurate es$mates of func$onal abundances
β’β― Conclusions made from previous analysis looking only at TPR/PPV may not hold when looking at more meaningful performance metrics
β’β― Methods: overview of simula3on framework β’β― Read transla$on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
Read classifica3on β’β― Best-Ββhit by read or by ORF β’β― Score/E-Ββvalue threshold β’β― Rank of taxonomic exclusion (species, genus, etc.)
Read Transla3on β’β― 6FT β’β― 6FT-Ββsplit +/-Ββ length filtering β’β― Gene finders (Prodigal, FGS, MGM)
Mock Communi3es β’β― Species abundance distribu$ons modeled from gut microbiome samples β’β― Genomes annotated with various databases: Sfams, Pfams, KOs, Metacyc β’β― Expected protein family abundance distribu$ons
Simulated metagenomic libraries β’β― Libraries of varying length: 1 community; 27 libraries; 25-Ββ500 bp; 1% uniform error rate; ~1.3M reads/library β’β― Libraries from different communi$es: 10 communi$es; 101 bp reads; Illumina error model; 1.5M reads/library β’β― Deep sequenced library: 1 community; 101 bp reads; Illumina error model; 100M reads
Search β’β― RAPsearch2, HMMer3, BLAST
Es3ma3on of rela3ve abundance β’β― +/-Ββ target length normaliza$on β’β― Count sta$s$c (# of classified reads or # of aligned residues from classified reads)
Performance evalua3on β’β― L1 distance between predicted and expected rela$ve abundance distribu$ons
Methods: Simula$on Framework
Read classifica3on β’β― Best-Ββhit by read β’β― Op$mal score threshold β’β― Taxon-Ββlevel exclusion
Read Transla3on β’β― 6FT-Ββsplit
Mock Communi3es β’β― One community β’β― Sfams database
Simulated metagenomic libraries β’β― Libraries of varying length: 1 community; 27 libraries; 25-Ββ500 bp; 1% uniform error rate;
~1.3M reads/library
Search β’β― RAPsearch2
Es3ma3on of rela3ve abundance β’β― Gene length normaliza$on β’β― Coun$ng # of aligned residues from classified reads
Performance evalua3on β’β― L1 distance between predicted and expected rela$ve abundance
distribu$ons
Methods: Default parameters
5 10 15 20
0.0
0.2
0.4
0.6
159268001βstool1.txt
β
β ββ β β β β β β β β β β β β β β β β
ShannonIndex = 2.36
5 10 15 20
0.0
0.2
0.4
0.6
MH0044.txt
β
β
β β β β β β β β β β β β β β β β β β
ShannonIndex = 2.6
5 10 15 20
0.0
0.2
0.4
0.6
765094712βstool2.txt
β β
ββ β
ββ β β β β β β β β β β β β β
ShannonIndex = 2.25
5 10 15 20
0.0
0.2
0.4
0.6
V1.UC9β0.txt
β
β ββ β β β β β β β β β β β β β β β β
ShannonIndex = 3.13
5 10 15 20
0.0
0.2
0.4
0.6
706846339βstool1.txt
β
β β β ββ β β β β β β β β β β β β β β
ShannonIndex = 3.12
5 10 15 20
0.0
0.2
0.4
0.6
763982056βstool2.txt
β
ββ β
β β β β β β β β β β β β β β β β
ShannonIndex = 2.29
5 10 15 20
0.0
0.2
0.4
0.6
764487809βstool2.txt
β
β ββ
β
β β β β β β β β β β β β β β β
ShannonIndex = 2.66
5 10 15 20
0.0
0.2
0.4
0.6
MH0033.txt
β
β β β β β ββ β β β β β β β β β β β β
ShannonIndex = 3.12
5 10 15 20
0.0
0.2
0.4
0.6
160319967βstool1.txt
β
β β β
β
β β β β β β β β β β β β β β β
ShannonIndex = 2.44
5 10 15 20
0.0
0.2
0.4
0.6
V1.CD1β0.txt
β
β
β
β β β β β β β β β β β β β β β β β
ShannonIndex = 2.35
Methods: Species abundance distribu$ons of 10 mock communi$es
Example output from simula$on pipeline
β’β― Methods: overview of simula$on framework β’β― Read transla3on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
Read transla$on
>642979351_1 GATTAAGAAGTTACGCAGAACTATT GCGCGTATGAAAGCAGAATTGCGTC GAAGAGAACTTAACAAATAATAATG GTCCTCATGGAAGCTAGAAATTTAA
>642979351_1_1 D*EVTQNYCAYESRIASEENLTNNNGPHGS*KF >642979351_1_2 IKKLRRTIARMKAELRQKRT*QIIMVLMEARNL >642979351_1_3 LRSYAELLRV*KQNCVRRELNK**WSSWKLEI >642979351_1_4 KFLASMRTIIIC*VLF*RNSAFIRAIVLRNFLI >642979351_1_5 *ISSFHEDHYYLLSSLLTQFCFHTRNSSA*LLN >642979351_1_6 LNF*LP*GPLLFVKFSSDAILLSYAQ*FCVTS*S
>642979351_1_1_1 D >642979351_1_1_2 EVTQNYCAYESRIASEENLTNNNGPHGS >642979351_1_1_3 KF β¦ >642979351_1_6_1 LNF >642979351_1_6_2 LP >642979351_1_6_3 GPLLFVKFSSDAILLSYAQ >642979351_1_6_4 FCVTS >642979351_1_6_5 S
>642979351_1_1_2 EVTQNYCAYESRIASEENLTNNNGPHGS
Read 6FT 6FT-Ββsplit >642979351_1_1_2 EVTQNYCAYESRIASEENLTNNNGPHGS >642979351_1_2_1 IKKLRRTIARMKAELRQKRT >642979351_1_5_1 ISSFHEDHYYLLSSLLTQFCFHTRNSSA
6FT-Ββsplit-Ββfiltered
Meta Gene Finder
ORF βspliongβ does not reduce downstream
L1 Error for Protein Family Abundance Es3mates
Read length 6FT 6FT-Ββsplit 50 0.166 0.167 60 0.153 0.154 70 0.144 0.144 80 0.137 0.138 90 0.132 0.132 100 0.129 0.129 150 0.118 0.118 250 0.112 0.112 500 0.114 0.117
% Increase in Error for Protein Family Abundance Es3mates
Rela3ve to 6FT
Read length 6FT 6FT-Ββsplit 50 0.0 0.3 60 0.0 0.5 70 0.0 0.4 80 0.0 0.2 90 0.0 -Ββ0.2 100 0.0 0.1 150 0.0 0.1 250 0.0 0.0 500 0.0 2.7
0 5 10 15 20 25 30 35
0.0
0.2
0.4
0.6
0.8
1.0
100 bp reads
Minimum ORF length (AA)
Frac
tion
of to
tal s
eque
nce
leng
th re
mai
ning
0.10
0.12
0.14
0.16
0.18
0.20
Rela
tive
abun
danc
e er
ror (
L1 d
istan
ce)
0 20 40 60 80 100
0.0
0.2
0.4
0.6
0.8
1.0
500 bp reads
Minimum ORF length (AA)
Frac
tion
of to
tal s
eque
nce
leng
th re
mai
ning
0.10
0.12
0.14
0.16
0.18
0.20
Rela
tive
abun
danc
e er
ror (
L1 d
istan
ce)
Filtering short ORFs reduces data volume without impac$ng rela$ve abundance
es$mates
ORF predic$on drama$cally reduces data volume at a small cost to accuracy
L1 Error for Protein Family Abundance Es3mates Read length 6FT FGS MGM Prodigal
50 0.166 n/a n/a n/a 60 0.153 n/a 0.311 0.342 70 0.144 0.259 0.272 0.166 80 0.137 0.153 0.245 0.155 90 0.132 0.146 0.225 0.148 100 0.129 0.141 0.209 0.142 150 0.118 0.128 0.162 0.128 250 0.112 0.119 0.131 0.117 500 0.114 0.124 0.121 0.117
% Increase in Error for Protein Family Abundance
Es3mates Rela3ve to 6FT Read length 6FT FGS MGM Prodigal
50 0.0 n/a n/a n/a 60 0.0 n/a 103.204 123.325 70 0.0 80.1 89.3 15.4 80 0.0 11.4 78.5 12.9 90 0.0 10.4 70.2 12.2 100 0.0 9.3 62.2 10.6 150 0.0 8.9 37.2 8.4 250 0.0 6.9 17.8 4.7 500 0.0 8.2 5.9 2.8
% reduc3on of sequence volume rela3ve to 6-Ββframe transla3on
Read length FGS MGM Prodigal 100 84.6 92.7 85.8 150 84.5 89.6 85.9 250 84.5 88.0 86.2 500 84.5 87.3 86.5
β’β― Methods: overview of simula$on framework β’β― Read transla$on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
20 40 60 80 100
0.1
0.2
0.3
0.4
0.5
Bit score cutoff
Rel
ative
abu
ndan
ce e
rror (
L1 d
ista
nce)
Read length5075100150250500
Precise bit score thresholds are necessary for accurate es$mates of protein family abundance
for short-Ββread libraries
β’β― Methods: overview of simula$on framework β’β― Read transla$on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Read length (bp)
Rel
ative
Abu
ndan
ce E
rror (
L1)
50 100 150 250 500
Search MethodRAPsearch2HMMER3HMMER3 β MaxEnt
Rela3ve abundance error (L1
distance) blast rapsearch hmmsearch 50 0.37 0.38 0.61 100 0.25 0.28 0.31 150 0.20 0.24 0.21 250 0.16 0.21 0.14 500 n/a 0.20 0.11
BLAST (i.e. pairwise search) berer for short reads HMMER (i.e. profile search) berer for long reads
β’β― Results shown are for Pfam β’β― For Sfams, HMMER was much
worse than RAPsearch2 across all read lengths
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
Rank of taxonomic exclusion
Rel
ative
Abu
ndan
ce E
rror (
L1)
taxon species genus family order class phylum
50100150250500
0.2
0.4
0.6
0.8
1.0
Rank of taxonomic exclusion
Rel
ative
Abu
ndan
ce A
ccur
acy
(r2)
taxon species genus family order class phylum
50100150250500
Effect of βtaxonomic exclusionβ
100 200 300 400 500
0.1
0.2
0.3
0.4
0.5
0.6
Read length (bp)
Rel
ative
abu
ndan
ce e
rror (
L1 d
ista
nce)
100 200 300 400 500
0.4
0.5
0.6
0.7
0.8
0.9
1.0
Read length (bp)
Rel
ativ
e ab
unda
nce
accu
racy
(R2)
Effect of read length
β’β― Methods: overview of simula$on framework β’β― Read transla$on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
0.0
0.1
0.2
0.3
0.4
0.5
Reads Sequenced
Rel
ative
Abu
ndan
ce E
rror (
L1)
1e4 1e5 1e6 1e7 1e8 0 500000 1000000 1500000
0.0
0.1
0.2
0.3
0.4
0.5
Reads Sequenced
Rel
ative
Abu
ndan
ce E
rror (
L1)
Mock Community ID160319967βstool1159268001βstool1706846339βstool1763982056βstool2764487809βstool2765094712βstool2MH0033MH0044V1.CD1β0V1.UC9β0
Effect of sequencing depth on accurate es$mates of within-Ββsample func$onal abundance
Effect of sequencing depth on individual protein families
Effect of sequencing depth on accurate es$mates of between-Ββsample func$onal abundance
0.1 0.2 0.3 0.4 0.5 0.6
0.1
0.2
0.3
0.4
0.5
0.6
True Distance Between Samples
Pred
icte
d D
ista
nce
Betw
een
Sam
ples
ββ
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
ββ
β
β
β β
β
β
β
β
ββ β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
ββ ββ
β
ββ
β
β
β
β
ββ
ββ
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββββ
β
ββ
β
β
β
β
ββ
ββ
β
β
β
β
ββββ
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
βββ
ββ
β
β
β
ββ β
ββ
β
β
β
ββββ
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
βββ
ββ
β
β
β
ββ β
ββ
β
β
βββ
βββ
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
βββ
ββ
β
β
β
βββ
ββ
β
β
βββ
βββ
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
βββ
ββ
β
β
β
βββ
ββ
β
β
βββ
βββ
β
β
β
ββ
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
Reads Sequenced1.0e4; r2=0.862.0e4; r2=0.915.0e4; r2=0.941.0e5; r2=0.962.0e5; r2=0.975.0e5; r2=0.981.0e6; r2=0.991.5e6; r2=0.99
Expected Bray-ΒβCur$s Dissimilarity
Pred
icted Bray-ΒβCur$s Dissim
ilarity
0.0
0.1
0.2
0.3
0.4
Reads Sequenced
Res
idua
l Dis
tanc
e Be
twee
n Sa
mpl
es
1.0e4 2.0e4 5.0e4 1.0e5 2.0e5 5.0e5 1.0e6 1.5e6
Reads sequenced
Resid
ual Bray-ΒβCu
r$s D
issim
ilarity
β’β― Methods: overview of simula$on framework β’β― Read transla$on β’β― Score/E-Ββvalue thresholds β’β― Search algorithm β’β― Sequencing depth β’β― MG-ΒβRAST benchmark
Outline
MG-ΒβRAST benchmark: experiment design
Input data β’β― Simulated metagenomes from 10 mock communi$es
β’β― 101 bp reads with Illumina error β’β― 1.5 million reads/library
Search database β’β― For shotmap
β’β― Protein sequences from M5NR which correspond to KEGG Orthology β’β― N=1,912,249
β’β― For MG-ΒβRAST β’β― All protein sequences from M5NR database
β’β― N=43,098,145
Truth β’β― Rela$ve abundance of homologs of KOs in ~700 microbial genomes
MG-ΒβRAST benchmark: preliminary results
βββ β
β
ββββββββββββββββββββββ βββββββββ
β
βββββ
β
β
βββββββββ
β
ββββ
β
ββββββ
β
βββββββββββββββββββββββββββ ββ
β
ββββ βββββββββ ββββββ
β
βββββββββ
ββ
ββββ
β
ββββββ β
β
β
ββββββββββββββββββββββββ
β
ββββ β
β
βββ
β
ββββββ βββββββββββββββββ ββββ ββββββ ββ
β
ββββββββ
β
βββββββ βββββββββ
β
ββ
β
βββββββ ββ
β
βββ βββββ
β
βββ
β
ββ
β
βββ
β
βββ
β
βββββββββββββββββββββ
β
βββββββββββββββββ ββββββ
βββββββββββ
β
β
β
β ββββββ
β
ββ βββββββ
βββββββ
β
ββββ
β
β
βββββ
β
βββββββββββββββ ββ
β
β βββββββ
β
β
β
ββββ
β
βββββββββ βββββ
β
β
β
β
ββββββ βββ β ββββββ
β
β βββ βββ
β
ββ
β
β
β
βββββββββββββββββ
β
βββββββ ββββ
β
ββββββββββββββββββββββ
β
ββ ββ
β
βββββ
β
βββ
ββ
βββ βββ
ββββββ ββββββββββββ β
β
β
β
βββββ
β
β βββββββ β
β
β ββββ ββββββββββ
β
β
βββββββββββ β
β
ββββββββββββββ
β
ββ ββββββββββ ββββββββββββββ
β
β
β
ββ β
β
βββββ β
β
ββ ββββ ββββ
β
β ββββββ ββββββββ ββββ ββββββ
β
ββββββββ
β
ββββ βββ ββββββββββββ
β
βββ
β
ββββββββ ββ ββββββ
β
β
ββββββββββββββ ββ βββββββ
β
ββ
β
β
βββββββ
β
ββββ βββββ βββ
βββββββ ββ
β
βββ
β
βββ
β βββββ ββββ βββββ ββββββββββ
β
ββ
β
βββ
β
βββββ βββ βββββββ
ββββ
β
β
β
ββ ββββββββββββ
β
βββββββ
β
ββββββββββββββββββββββββββ
β
βββ
β
ββββββββ ββ βββββββββ
β
β ββββββ βββββββββββ
ββββ
β
βββββββββββ
β
ββ ββββββ β
β
β
βββββββββββββ βββββββ
ββββββββββ
β
ββββββ ββ
β
βββββββββββββββββββββββββββββ
β
ββββ
ββ
βββββββ
β
β βββββββ ββββββββββ
β
ββββββββ
β
ββββββ
β
βββββββββββ
β
ββββββββ
β
βββ βββββββββββββ βββ
β
ββ ββ
βββββ
β
ββββββββββββββββ βββββ
β
βββ ββββββ
β
β
ββ
ββββ
β
ββββ
β
β
β
βββββββ
ββββ
β
ββββββββ β β
β
βββββββ
β
β
βββββββββββββββ
β
ββββββ ββ
β
βββββββββββ ββββββββββββββ
β
ββββββββ
β
ββββββ
β
β βββββββββ
β
β
β
ββ
β
βββββ
ββ βββββββ
β
ββββββββββ
β
βββββββββ
β
βββ
β
βββ
β
ββ
β
β
βββ
β
ββββββ
β
β
β β ββββββ βββββββ ββββββ βββββ
βββ βββββββββββββββ βββββββββββββ
β
βββββ
β
βββββββββββ βββ
β
βββββββββββββ ββββββββββββββ ββββββββββββ
ββββββββββββ
β
βββββ
ββ
βββββ ββββββ
β
βββββββ
β
ββββββββ ββ
β
βββββββββββββ
β
ββββ
β
ββ βββββββ
β
ββββ ββ
β
ββ βββββββββββββββ
β
β
β
βββββββ
β
β
β
βββββββββββ
β
β
ββ
β
βββ
β ββββββββββββββ
β
ββββββββββββββββ
β
βββ βββββββββ
βββββ
β
β
β
βββββββββββββββββββ
β
ββββ βββ ββββ ββββββββββββ βββββ ββ ββββββββββββββββββββββββ
βββ β
β
ββββββββββ
ββ
β
βββ βββββββββββββββ ββ ββββ ββββββ
β
βββββ
β
β
β ββββββββ βββββββ
β
βββββ
ββββββ
β
β
β
β
β βββββββββββββ
β
βββββ
β
ββββββββββββββ
β
βββββ ββ
β
ββ βββββββ ββ
β
β
β
ββ ββ
β
βββββββ
β
ββββ
β
βββββββ ββββ
β
βββ
β
βββββββββ
β
β
ββββββ
β
βββββββββββββββββββ βββ
β
ββββ
β
ββββββββββββββββββββββββββββ βββββββββββ ββββββ
ββββββββββββ
β
βββββββ
β
ββββββ
ββ
β
βββββ β
β
βββββββββββββ
β ββββββββ
β
ββ
β
βββββββ βββββββββ βββ
ββββββββββ ββββββ
β
ββββββββββ
β
βββββββββββ β
β
βββββββ βββββββ ββββββ βββββββ
β
βββ
β
βββββββββββββ
β
β βββββββββββββββ
ββ
β
ββ βββββββββββ βββββββ
β
β ββββββββββ
βββββββ
ββ
β
ββββ ββββββββ β
β
βββββββ ββββββββββ
β
ββββββββββ ββ
ββ
ββββ βββββββββββββ
β
βββββ
β
βββββββββββββ
β
ββ
β
β
β
ββββββββββββββββββββ
β
βββββ
β
β βββββββββββββββ
β
βββββ
β
βββββββ
β
βββ β
β
β
ββββββββ
β
β
βββββ ββββββ
β
ββββββββββ ββ βββ βββ
β
βββββββββ
βββββββ ββββββββββββββ
ββββ
β
βββββββββββββββββ
β
βββββββββββ
β
βββββββ
β
β
β
βββ
β
βββββββ ββ ββββ
β
ββ
β
βββββββ βββββββββββββ
β
β
ββββββββ βββββββ β
β
β βββββ ββββββββ
β
ββββββββββββββββββ βββββββ βββ
ββ
ββββββββββββββ
β
βββββββ
β
βββββββ
β
βββββ
β
βββ βββββββββββββββββ
β
ββββ
β
β
ββ
β
βββββββββ ββ βββββββββββ
β
ββ β
β
βββββββ
β
ββββ
βββββββ β
β
βββ ββββ
β
βββ β
β
β ββββββ
β
β
β
βββ
ββ
βββββββββ βββ ββ
β
βββββββ
β
β
β
β
β
ββββ ββββ
β
βββββ
β
β
βββββββββ
β
ββββ β
β
β
β
ββββββββββ
β
βββ ββββ
β
βββ
β
ββββββββββ βββββββ
β
βββββββββ β βββββββ
β
ββββββββ
β
ββββββββββββββ
β
β
ββ
β
βββββββββββ
β
ββββ
β
βββ βββ
βββ
β
ββββ
β
ββ β
β
βββββ ββββ
β
β ββββββββ ββββββββββββ βββββββββ βββββ ββββββββββββββββββββββ
β
ββββββ
β
ββ
ββ
βββββ
ββββββββββββββ βββ ββββββ ββββββββββββ β ββββββββββββββ ββ
β
βββββββ ββββββββββ
β
ββ
β
βββββββββββ ββββββββββββββββββββββββ
ββ
β
βββββββ βββββββββββββββββ
β
ββββ
βββ ββββββββββββ
β
β ββββββββββββ
ββββββ βββββββββββ βββββ
β
βββ
β
β
βββββββββββββββ βββββββ
β
β βββββββββββββββββ βββββββββββ
β
ββββ
β
β
β
ββββββββββ
β
βββββββ β
β
ββββββ ββ
β
βββ
β
ββββββ
β
ββββββββ
β
βββ
β
β
β
βββ
β
ββββ
ββββ
β
ββββββββββββββββββββ
β
ββββββ ββ βββββββββ ββ ββββββββββββ
β
βββ
β
β βββββββββββββ
β
ββββ ββββββββ
β
ββ
β
ββββ ββββββββ
β
βββ
β
ββββββββββββββββ
βββ ββ
β
β
β
β ββββββββββ βββββββββββββββ
β
βββββ
β
ββ ββββ βββββββ
β β ββ ββββββββ ββββββββββ ββββββββ ββ
ββ
ββ βββ
β
ββββββββ ββββ βββββ ββββββ
β
ββ ββββ
β
βββββββββββ ββ
β
βββ ββ
β
ββ
β
ββββββ ββββ
β
ββββ
β
ββββββ
βββββ
β
βββββββββββββββββ ββββββββββββ βββββββββ
β
βββββ
ββββ
β
ββ
β
ββ
β
β
β
βββββ βββββββββ
β
ββ
β
βββββββ
ββ
β
ββ
β
β βββββββββ
β
ββ
β
ββ ββ
β
ββββββββββββββββββββββββββ
β
ββββββββββββββββ
β
βββββββββββββββββββββββββββββββββββββββββββββ βββ
β
ββββββ βββ
β
βββ
β
βββββ ββββ
β
β βββββββββββββββ βββ
β
ββ
β
ββββββββββββββ
β
β ββββ
β
ββββββββ βββββ ββ ββββββ
β
β βββ
ββ
ββββ
β
ββββββββββββ ββ
β
ββ β β
β
β
β
ββββββββββββββ β
β
βββββ ββββ ββββββββββ βββ
β
βββββββββββββββ
β
ββββββββββ β
β
ββββββ
β
βββββββββββββββββββββββ
β
βββ
β
β ββββ
ββββ βββββ
β
ββββββ
β
βββ
β
βββββββββββββ β
β
βββ ββββββ
β
β
βββββ
β
βββββββββββ ββ β
β
β βββ
ββ βββ
β
β
β
βββ
β
ββββ βββββββ
β
ββββ ββββββββββββββ βββββββ
ββββββ
β
βββββββ
β
ββββββββββββ ββ
β
βββ
β
ββββββ βββββββββββββ ββββ ββ ββββββββββββ ββββββββββββββββββββ βββββββββββββββββββ
β
βββ βββββββ ββ ββββββ
β
ββββ
β
ββββββββββ
β
βββββ
β
β β
β
βββββ
β
ββ
β
β
β
β
β β
β
ββββββββββ
β
ββ
β
βββββββ ββββββββββ
β
β
ββββ β
β
β
β
ββββββββββ
β
βββββββββ
β
ββββββββββ
β
ββββ
β
ββββ
ββββββββ βββββββββββββ βββββββββββββ βββββββββ
β
ββββββββ
β
βββββββββββββ
β
βββββββββ
β
βββββββ
β
ββββ βββββββββ
β
ββ
β
βββββββ
β
ββ
βββββββ
βββ
β ββ
β
βββββ
β β
β
β ββββ ββββ ββββ
β
ββ
β
βββββ βββ ββββββββββ
β
βββββββ
β
βββ β
β
β
ββββ
β
ββ βββββ βββ
β
β
β
ββββ ββ ββββββββββ
βββββ
β
β ββ ββββββββββββββββ βββ
β
β
βββ
β
ββββββ ββββββββββββ ββββ
β
βββββ βββββββββ
β
βββ βββββββββ
β
ββββββ
β
ββββ βββ
β β
βββ βββββ
β
ββββ ββββ βββ β
β
β βββββββββββββββββ ββββββ
β
βββ
β
ββββββββββββββββ
β
β
β
ββββββββββ
βββ
β
βββββββββββββββββββββββββ
β
βββββββββ
β
βββββββββββββ
ββββ
ββ
βββ
β
ββββ ββ
ββββββ ββββββββββ
β
βββββββββββββ
β
β
β
ββ ββββββββββββ ββββββββββ
βββββ
β
βββ
β
ββββββββ ββββββββββββββββββ β ββββββββββββ βββ
β
ββ
ββ βββββββββββββββββ ββββββββββ
ββββββββββββ ββββ
β
ββββ
β
βββββ
β
βββββββ
βββββββββ ββ βββββββ
β
β βββββββββ
β
ββ
β
βββββββββββ
β ββββββββ ββ
β
ββββββββ βββββββββ
β
ββββ βββ
β
ββββββββββ
βββββββ
β
βββ βββββββ
β
βββ
β
ββββββ
β
βββββββββ
β
β
βββ
β
ββ
β
β ββββββ
ββββββββ
β
ββ βββββββββββ ββ β βββββββββββββ ββββ
β
βββββ ββββββ ββββββββ
β
βββββββββ ββββββββββββββββββββββββ
β
ββββββββββ
ββββββββ ββββββββ βββ
β
ββ
β
ββββββββββββββ ββββββββ
β
βββββ ββ ββ
β
βββββββββββ
β
β βββ βββββ βββ ββββββββ β
β
ββββββββββ βββββββββββββββββ β
β
ββββ
β
β ββββββββ
β
β βββββββββββ ββββββββ βββ ββββ
ββββββββββββββββ β
β
β
β
ββββββββββ ββ
β
ββ βββββββββββ
β
ββββββββββββββββ
β
β ββ ββββββββ ββ
β
ββββββ ββ
β
β
β
ββββββββββ β
β
βββββ
β
β ββββββ
β
ββββββ
β
ββββ βββ
β
β
β
βββββββββββ
β
β
β
ββββββββββ ββ βββ β ββββββββββ
β
β
ββ ββββ β
β
ββ
βββ βββ
β
βββ
β
βββββ
β
β
β
βββ ββββ ββ
β
β ββββ
βββββ βββββββββββββββββ
β
ββ
β
ββββ
β
β ββ
ββββββ ββββ βββ
β
βββββββββββ
β
βββββ
β
βββ
β
β
ββ
β
β βββββββββββββββββ
β
βββ
β
βββββββ βββββββββββββ
β
ββ
β
ββ
ββ
β
βββ β βββββββββββββββββββββββ
β
ββ
β
βββββ
β
βββββββββββββββββ βββ βββββββββββββββββββββ
βββ
β
ββββββββ βββββ ββββββββββββββββββββ ββ βββββββ
β
βββ
ββ
β
β
β
β
βββββββββββ βββ βββββββββ βββ
β
βββββββ βββ
β
ββ
β
ββββ
β
ββββ
βββββββββ
βββββββ
β
βββ ββββββ ββββββββββββββββ
β
ββββββββββ
βββ
β
βββ
β
βββββ β
β
β
ββββββββββ ββββββ ββββββ βββββββββββββ
β
β
ββββ βββ
β
ββ ββββ
β
ββ
β
ββββββββ β
β
βββ
βββββ
β
β βββ ββ
ββββββ
β
β ββ
β
β
β
βββ ββββ
βββββ
β
βββββββ
β
ββββββ
β
ββββββ
β
βββ β
β
ββββββββββββββββ
β
ββββββββββββ
β
ββββββββββ β βββββββ
β
βββββββββββ βββββββββββββββββββββββ βββββββββββ βββββ βββ
β
β
β
ββ βββββββ ββββββββββββ
β
ββββ
β
β
β
ββββββββββ
β
βββββββββ βββββ
ββββββββ
β
ββββββ
β
βββββββββββββββββββββ
β
ββββββ
βββ
β
ββββββββββββ ββββββ βββββ
βββ
β
ββββββ βββββ
β
β βββββββββββββββ βββββ ββββββββββ
βββββββββββββββ ββ
β
βββββββββββ ββββββββββββ βββββββ
β
βββ
β
β β
β
ββββββββ
ββββββββββββββ
β
βββββ
β
βββββββββ
β
ββββ
β
ββββ βββ
β
ββββ ββ
β
βββββββββ ββββ
β
ββββ
β
ββ
β
ββββββββββββββββ β
β
ββ ββββββββ
β
ββββ
β
βββββββββββββββ
β
ββββββββ
β
β
ββββ ββββββ
β
βββ
β
βββββββββ
β
β
β ββββββββββ
β
ββββββββ βββββ
β
βββββββββββββ
β
ββ
β
ββββββββββββ
β
βββββ ββββββββ βββββββββββββ
β βββββ βββ
β
β
ββββ
ββ β
β
βββ
β
βββ βββ
β
ββ β
β
βββββββββ
β
ββββββββββββ ββββ
β
ββ β
β
β βββ
β
β
ββββ βββββββββββ ββββββββββ
β
βββββββββ ββ
β
ββββββ
β
βββββββββββββββββ
β
ββ βββ
β
β
ββββββββββββββ ββββββ
β
ββ ββ
βββββ
β
ββββββββββββββββββββ
β
βββββ
β
ββββ ββββββββββ ββ
β
βββββββββββββββββ ββ
β
β
0.000 0.002 0.004 0.006 0.008
0.00
00.
002
0.00
40.
006
0.00
80.
010
0.01
20.
014
df$ra_shot
df$r
a_m
g_ab
un
r2 = 0.38
β β β β
β
β β β β ββ ββ β ββ ββ ββββ β ββββ ββ β ββ ββ ββ
β
β ββ ββ
β
β
β β
β
β ββ ββ β
β
β β ββ
β
β ββ βββ
β
βββ β β β βββ
β
β
β
β ββ βββ ββ ββ ββ β
β
β ββ
β
β ββ β ββ ββ βββ ββ βββ βββ
β
ββ β β β βββ β
ββ
β β ββ
β
ββ ββ
β
β β
β
β
β
β
ββ ββ βββ βββ βββ ββ βββββ ββ
β
ββββ β
β
ββ
β
β
ββ β β
β
β ββ βββ ββββ β β βββ β β β βββ β ββ
β
ββ β ββ
β
ββ βββ
β
β
β
β
βββββββ ββ ββ β ββ ββ
β
ββ
β
β ββ ββ β
β
β
β
β
ββ β ββ βββ
β
β β β
β
β
β
β
ββ β
β
β
ββ
β
β ββ
β
β ββ βββ ββ
β
β ββ
β
β βββ
β
ββ β ββββ
β
β β βββ ββ ββ
β
ββ β β
β
β ββ ββ βββ ββ β
β
β
β
β βββ
β
ββ
β
β β β
β
βββ β
β
β ββ ββ ββ
β
ββ ββ
β
β
β
β
β ββ
β
ββ β βββ ββ βββ βββ
β
ββ
β
β
ββ β βββ β
β
β
β
ββββ
β
ββ ββ ββ βββ βββ β
β
β
β
β
β
β ββ
β
ββ βββ β β
β
ββ β β
β
β
βββ ββ
β
β
ββ
β
β
β
βββ
β
β ββ β βββ β βββ ββ
β
β ββ βββ β βββ β
β
ββ ββ ββββ
β
β β ββ ββ βββ β ββ β
β
β β ββ
β
β ββββ
β
βββ
β
β
β ββ ββ
β
β β
β
ββ β β
β
ββ β β
β
β ββ
β
β
β
β
β
β
β β ββ β
β
β ββ βββ ββ β
β
β ββββ βββ βββ βββ
β
β
β
β βββ ββ β ββββ β
β
β ββ β β β βββ
β
βββ β
β
β β ββ
β
βββ β ββ β ββββ ββ β ββ ββ ββ β
β
β
β
ββ
β
β
β β βββ β
β
ββ ββ
β
β
ββ ββ
β
β ββ ββ β β ββ ββββ β β βββ β βββ ββ β
β
β β
β
βββ β β
β
ββ
β
β βββ βββββ βββ ββ ββ
β
ββ β
β
β ββββ ββ β ββ β
β
β β
β
β
β
β
βββ βββ β ββββ ββ β ββ βββ ββ
β
β
β
β
β
β
β
βββ β β
β
β
β
β βββ βββ ββ β
β
β
β ββ ββ β β
β
β
β
β ββ
β
β β
β
β ββ
β
ββ β
β
ββ ββ β β β βββββ ββ β β
β
β
β
β
β
β ββ
β
ββ ββ β ββ β βββ β β β
β
βββ
β
β
β
β
ββ ββ β βββββ β βββ
β
β ββ ββ ββ
β
ββ ββ β ββ β
β
β
β β
β
β β ββ ββ ββ β β
β
β β
β
β β β
β
ββ ββ
β
βββ ββ β
β
β βββ βββ
β
β βββ ββ β βββ ββ βββ β
β
β
βββ β
β
βββ β βββ
β
βββ
β
β β βββββ β β
β
β
β ββ βββ
β
βββ ββ β β
β
βββ β
β
β ββ β βββ ββ β
β
ββ ββ β β ββ
β
ββ
β
β
β
ββ β
β
β ββββ β ββ
β
β β
β
β β
β
βββ
β
β
β
β ββ β
β
β
β β ββ β β β
β
β βββ β β ββ βββ β ββ β
β
β β
β
β ββ β ββ β
β
β
βββ ββ β
β
β
βββ
β
β βββ ββ
β
ββ ββ βββ β
β
β ββ ββ ββ
β
ββ ββ βββ β ββ β
β
β β β
β
βββ β
β
β
β β
β
ββ ββ β ββββ β β
β
β
ββ ββ β
β
βββ ββ ββ ββ
β
β
ββ
βββ β
β
β
ββ β
β
β
β
ββ
β
β
β β
β
ββ
β
β
β
ββ βββ ββ β β β
β
β β β ββββ
β
β
β β
β
β ββ βββ
β
β β ββ
β
β
β
β
ββββ ββ
β
βββ βββ
β
β ββ β ββ β βββ βββ β β
β
β β
β
β βββ β
β
ββ
β
ββ ββ ββ
β
β ββ ββ ββ β β β
β
β
β
β
β
β
β ββ β
β
ββ β
β
β ββ ββ
β
βββ ββ β β βββ
β
β
ββ ββ β βββ
β
βββ
β
ββ β
β
ββ
β
β
ββ β
β
βββ βββ
β
β
β β ββ ββ β
β
ββββ β ββ
β
ββ β
β
β
βββ β
β
ββ β ββ
β
β βββββββ ββ β
β
βββββ βββ βββ ββ
β
ββ β
β
β
β
ββ βββ ββ βββ β βββ
β
β
β β β ββββ ββ ββ
β
βββ ββ βββ ββ ββ
β
β βββ βββ
β
ββββ
β
ββ β ββββ β ββ
β
β
β
β βββ
β
ββ
βββββ ββββ ββ
β
β
β
ββ ββ β
β
ββ
β
β ββ ββ ββ
β
ββ
β
ββ ββ β β ββ β β
β
ββ ββ
β
β β βββ β βββ
β
ββ ββ
β
β
β
β
β
βββ
β
β ββββ β β ββ
β
β
β
β
β
βββ βββ β
β
β
β
β ββ β ββ
β
ββ ββ
β
β
β
β
β
β
β
β
β ββββ ββ β ββββ ββ β
β
β ββ β βββ ββββ βββ
β
β
β
ββ β βββ ββββ β
β
β βββ β
β
β
β
β
β
β ββ βββββ ββ ββ β ββ
β
β
β
βββ β ββ β βββ β ββ β
β
βββ βββ ββ βββ ββ ββ βββ ββββ ββ ββ
β
β
β
ββ βββ βββ β
β
β ββ β
β
ββ ββ ββ βββ
β
ββ
β
βββ ββ β β ββ β βββ ββ βββ ββ ββ ββ ββββ β
β
β
βββ ββ
β
β
β ββ β
β
ββ ββ
β
β β ββ ββ
β
β β β
β
β
β βββ ββ
β
β
β
β
β
β
ββββ ββββ ββ β
β
β
ββ ββ β
β
β
β βββ ββ ββ β
β
ββ β
β
β βββ β
β
β
β
β
β ββ ββ β ββ ββ
β
β
β
β
β ββ
β
ββ β ββ ββ
β
βββ
β
β
β
β β ββ ββ ββ
β
β
β
β
ββ
β
βββ ββ β βββ
β
β
ββ βββ β
β
β β β βββ
β
β β ββ ββ β βββββ βββ
β
β
β
ββ
β
β β ββ β β
β
ββ βββ βββ βββ
β
ββ β ββ β βββ β
β
ββ β
β
ββ βββ βββ ββ
β
β
β β ββββ β
β
βββ
β
ββ β
β
β
ββ
β
ββ β ββ
β
ββ
β
β
β
βββ β
β
β βββ
β
β β ββ
β
ββ
β
β β
β
β
ββ β ββ
β
β
β
β
β
ββ β ββ β ββ ββββ βββ ββ
β
β βββ β ββββ β
β
β β βββ
β
β ββββ βββ β
β
β
β
ββ β βββ βββ β β
β
β β ββ β β
β
ββ β ββ ββ
β
βββ ββ ββ ββ β
β
β
β
β β β
β
ββ ββ β ββ β ββ β
β
β
β
β
β
β β βββ ββββ β ββ
β
β
ββ
β
β
β βββ β ββ ββ β ββ ββ β βββ β
β
β βββββ ββ ββ
β
β
ββ β
β
β
β
β β
β
βββ β ββ ββββ ββ β
β
β β ββ ββ β ββββ ββ ββ ββ
β
β β
β
β
β
β ββ ββ ββ
β
β
ββ ββ ββ β ββ β
β
ββ β β β β
β
β βββ β
β
ββββ β
β
ββ ββ ββ
β
β
ββ
β
β
β
βββ ββββ ββ ββ β
β
βββ ββ ββ
β
β
ββ ββ
β
β ββ ββ ββ β β ββ β
β
ββ
β
β
ββββ β
β
β ββββ ββ
β
βββ β
β
β
βββ ββ ββ
β
β
β
β β βββ ββ ββ ββ
β
βββ ββ βββ ββ ββ ββ β ββ β
β
β β β
β
β
βββ β
β
ββββ β β βββ
β
ββ β β ββ βββ
β
β
β ββ
β
β
β ββ β ββ β β
β
β
β ββ β ββ
β
ββ β
β
β
β
ββ
β
β β
β
β ββ β βββ
β
β
β
β
β
β
β
ββ β
β
β ββ
β
β
ββββ
β
β β
β
β βββ β ββ ββββ β β ββ
β
β
β
ββ
β
β
ββ β
β
β ββ
β
β
β
β β ββ β β
β
β
βββ β
β
ββ ββ β
β
ββ
β
β
βββ β
β
β βββ ββ βββ
β
ββ ββ ββ ββ β βββ
ββ
βββ β βββ β ββ
β
ββ β
β
ββ βββ β β
β
ββ ββ ββ β
β
ββ ββ β
β
βββ βββ ββ ββ β ββββ ββ ββ β
β
ββ
β
β
β
β
ββ
β
ββ βββ ββ
β
β
β
β ββ
β β
βββ ββ β β
β
ββ β
β
β ββ ββ ββ
β
β β β
β
ββ β ββ β β β
β
β ββ ββββ
β
β ββ β
β
β βββ β ββ
β
β
β
βββ
ββ
β ββ β ββ
β
ββ ββ β ββ
β
βββ β βββ
β
β
β
β
β
βββ β ββ β β
β
βββ β
β
β
β
βββ ββββ β
β
β
ββ β β
β
β
β
β
β
β β ββββ ββ β
β
ββ β β
β
β
β
β
β β
β
β
β β
β β
ββ
β
β β
β
βββ ββ ββ
β
β β β β ββ
β
ββ
β
βββ
β
β β β
β
β βββ ββ ββ
β
β ββ ββ β
β
ββββ βββ
β
β
β β
β
ββ
β
β
β β ββββ β
β
β ββ β
β
β ββ ββ
β
ββ β
β
ββ ββ
β
β β β
β
ββ ββ β β
β
β β
β
β ββββ ββ β β β
β
βββ β
β
βββ ββ ββββ βββ β β ββ ββ β βββ β ββ β βββ
β
β β
β
β β ββ βββ β
β
ββ
β
β
β β
β
β
β
β
β
ββ ββ
β
ββ βββ
β
β ββ ββ βββ ββ β βββ ββ
β
ββ
β
βββ β β
β
βββ β ββββ ββ
β
β βββ β ββ ββ
β
β βββ ββ β βββ βββ
β
βββ
β
β
β
β
ββ ββ ββ ββ ββ β ββ βββββ β ββ ββ ββ βββ β βββ ββ
β
ββ
β
βββ β
β
ββ βββ ββ
β
βββ β β
β
βββ ββ
β
ββ β
β
ββ β ββββ β β
β
β
β
β ββ
β
β βββ βββ β
β
β
ββ
β
ββββββ ββββ ββββ ββ β ββ βββ
β
β β
β
β
β
ββ ββ βββ β
β
ββββ β β ββ ββ ββ
β
β
β βββ β β β βββ βββ βββ ββ β
β
β
β β ββ ββ ββ
β
βββ β
β
β
β
β βββ ββ β βββ
β
βββ β β ββ β
β
β β βββ β β
β
β
β β
β
β
ββ β βββ
β
βββ βββ β
β
β
β
β β
β
β
β
βββ
β
ββ β
β
β ββ β
β
β β ββ βββ βββ β ββ β ββ ββ ββ
β
β ββ β ββ β
β
β
β β ββββ ββ β
β
βββββ β ββ
β
βββ
β
ββ β
β
β
β
β βββ βββββ β ββ
β
β βββ ββ ββ
β
ββ β
β
ββ
β
ββ β β β ββ βββ ββ
β
βββ
β
β
ββββ β β
β
β
β
ββ
β
ββ
β
β ββ ββ
β
β
β
β βββ ββ βββ ββ βββ βββ β β ββ ββββ β
β
β β ββ β
β
β β βββ β βββ β
β
β
β
β
β ββ βββ βββ ββ β
β
βββ ββ βββ ββββββ ββ ββ
ββ
β β ββ
β
β
β
β
β
β ββ ββ βββ β ββ
β
β
β
ββββββ
β
ββ ββββ
β
β βββ β
β
βββ ββ ββ
β
β
ββ ββ
β
β
β
β
ββ ββ β
β
βββ
β
β
ββ ββ
β
βββ ββ
β
β
β
ββ β
β
β βββ β βββββ βββ
β
β
β
β βββ β ββ β β βββ β ββββ βββ ββ
β
β
β
β β
β
β
βββ
β
ββ
β
β β
β
β
β
β
β
β
β
β ββ β ββ ββ
β
β
β
β β
β
β βββ
β
β
β
ββ
β
ββ
β
β βββ β β β
β
ββ
β
ββ
β
β β ββ
β
β β
β
β ββ βββ
β
ββ β β βββ
β
ββ β ββ ββ β
β
β ββ ββ ββ βββ βββ ββ β
β
ββ ββ
β
β ββ
β
β ββββ
β
ββ βββ ββ βββ β
β
β
β βββ β ββ
β
ββ ββ βββ ββ
β
β β
β
β ββ
β
β β βββ
β
β ββ
β
ββ ββ β βββ β
β
β ββ ββ β βββββ ββ
β
β β βββ
β
ββ
β
ββ ββ βββ βββ β ββ
β
β
β βββ β
β
β β βββ
β
ββ ββββ
β
ββ β
β
ββ β β
β
β βββ
β
β
ββ ββ
β
β βββ ββ ββ β β ββ ββ
β
β
β β β
β
β
β
β β ββ ββ β βββββ ββ β
β
ββ βββ ββ ββ βββ ββ βββ
β
β βββ
β
βββ
β
β
β
β β
β
ββ ββ
β
β
β
β β ββββ βββ
β
β
β
βββ β ββ
β
β βββ ββ
β
β
β
β ββββ ββ β βββ β ββ
β
β ββ
β
β βββ
β
β
β
β β ββ βββ
β
β
ββ βββ
β
β ββ
β
β
β
ββ β
β
β
β
β
ββ ββ β
β
ββ β ββ ββββ
β
β
β ββ ββ
β
βββ ββ
β
ββ β
β
β
β
β β
β
β ββ
β
β β βββ
β
β
β
β β β
β
β
β ββ βββ ββββ
β
β
β
β
β ββ
β
β ββ ββ β β ββ ββ ββ
β
βββ
β
β
ββ ββ β
β
β β ββ β ββ
β
βββ ββ ββ
β
β ββ β ββ
β
β
ββ
β
βββ βββ βββ βββ ββ β β βββ βββ β ββ ββ ββ βββ β ββββ ββββ β
β
β ββ
β
ββββ ββ β βββ βββ
β
β
ββββ β
β
β β βββ ββ β
β
βββ βββ
β
ββ β ββ ββ ββββ
β
β βββ
β
ββ βββ β ββ
β
β
β
β ββ ββ
β
β β
β
β
β
β
β
β
β
ββ
β
β
β
β
β β
β
β ββ ββ β ββ ββ
β
ββ
β
β
β ββ ββ β βββ β β ββ βββ
β
β
β βββ β
β
β
β
βββ ββ βββ ββ
β
β
ββ βββ ββ β
β
ββ ββββ β ββ β
β
β
ββ β
β
β ββ
β
ββββ ββ β β
β
ββ β ββ β
β
β
ββ ββ ββββ βββ
β
ββ βββ ββ β
β
ββ ββ β
β
β β ββ ββββ
β
ββ ββ ββ βββ βββ β
β
β βββ β ββ
β
β
β
β ββ βββ β
β
βββ β ββ βββ βββ β
β
ββ
β
ββ β
β
ββ β
β
β
β
β ββ ββ β
β
β β
β
β
β
β
β
β ββ β
β
β β
β
β
ββ
β
β ββ ββ ββββ
β
ββ
β
β
β
β
β
β ββ β βββ
β
β β ββββ
β
β
β ββ βββ
β
β ββ β
β
β
βββ β
β
β
β β
β
β ββ ββ β
β
β
β
β
β
ββ ββ ββ ββ ββ β ββ
β
β ββ β β
β
β ββ ββ
β
ββ β β ββ βββ ββββ ββ β
β
β
β
β
β
β
β
ββ ββ β ββ ββ β βββ ββ ββ ββ ββ
β
ββ βββ ββ ββ ββ ββ
β
β
β β β ββ β
β
β β βββ
β
ββ ββ
β
β
β
β ββ β ββ β
β
β
ββ β βββ β β
β
β
β
β
β ββββ βββ β
β
β
ββ ββ ββ ββ ββ ββ β β ββ
β
ββ
β
βββ
β
ββ
β
β
β
β
ββββ ββ
β
βββ ββ β β
β
β
β
β
βββ
β
ββ
β
β
β
βββ
β
β ββ β βββ βββ ββ βββ β ββββββ β β β
β
ββ ββ ββββ β
β
ββ ββ ββ β ββ βββ
β
β
β
β β
β
β
β β β
β
β β β
β
β
β
β βββ
β
β ββ β ββ
β
βββ β
β
βββ ββ ββ βββ ββ
β
β
β
β
β β β
β
β β ββββ βββ β ββ βββ ββ ββ
β
β βββ
β
β
ββ β
β
β ββββ β ββ ββ β β ββββ βββ
β
β ββ ββ β β ββ β ββββ ββ βββ ββ
β
β
β
β
ββ ββββ β βββ β
β
β β βββ β
β
βββ ββββ β β
β
βββ ββ β
β
ββ βββ β
β
β β
β
ββββ
β
β ββ ββ
β
ββ ββ ββ
β
ββ βββ β ββ β ββ β
β
β β
β
ββ
β
β βββββ βββ β
β
β β
β
β ββ β β ββ ββ β
β
β ββ ββ
β
ββ β ββ
β
ββ ββ βββ β ββ β β
β
β β β
β
β
β
β
β β ββ
β
β
β ββ βββ
β
ββ
β
β
β βββ
β
β
β
βββ ββ βββββ
β
ββ β
β
ββ β
β
β β
β
β
β β
β
ββ
β
β β
β
β
β
ββ
β
ββ
β
β βββ ββ
β
β ββ ββ ββ β
β
ββ βββ ββ
β
βββ β β ββ β βββββ
β
β ββ ββ ββ ββ β β
β
β ββ ββ ββ
β
βββ ββ ββ ββ
β
β
β
ββ
β
ββ
β
ββ
β
ββ ββββ βββ βββββ
β
β ββ βββ βββ
β
β βββ β
β
β
β
β
β
ββ β β ββ ββ βββ βββ ββ ββ β
β
ββ
β
β ββ ββ β β ββ β βββ
β
β
β
β ββ β β
β
β
βββ β
β
ββ
β
β
β
ββββ β ββ β β
β
β
β
β ββ β ββ ββ β ββ β β
β
ββ ββ ββ β
β
ββ β
β
βββ ββ β ββ
β
β β βββ β ββββ ββββ β
β
ββ ββ
β
β
β
β β
β
ββ ββ
β
β βββ β ββ ββββ β βββ β β β
β
β ββ
β
β
ββ
β
β β
β
ββ ββ ββ βββ β
β
β
β β
β
β
β
β ββββ β β
β
ββ ββ
β
β β
β
β β
ββ
β β β
β
β
β
β
β β ββββ β βββ β βββ ββ
β
β
β
β βββββ β
β
β ββ
β
β β βββ β β
β
β
β
β
ββββ ββ β β ββ β
β
ββ β
β
β
β
β ββ β ββ β
β
β
β
ββ β β
β
βββ β
β
β β
β
β
β
βββ β ββ β βββ
β
β
β
β
β
β
β ββ
β
β
β ββ ββ ββ
β
β βββ ββ β β ββ β
β
β
β β β
β
ββ β
β
β
β
βββ ββ β
β
β
β
β
β
β
ββ β
β
β
β
β
ββ β ββ
β
β ββ
β
β βββ
β
β
β ββ β βββ β
β
β
β β βββ ββ ββββ
β
β
β
β
βββ β
β
β β
β
βββ ββ β βββ
β
βββ
β
β β ββ β ββββ ββ
β
ββ β ββ
β
ββ
β
β
β
β β
β
β βββ ββ ββ β βββ βββ ββ
β
β
β β β
β
βββ β βββ βββ
β
β ββββ βββ β
β
ββ
β
β
β
β β
β
β
β
β
β ββ
β
β ββ β
β
ββββ
β
β ββ β ββ βββ β
β
ββ
β
ββ β ββ
β
β ββ ββ βββ ββ ββββ ββ β ββ β βββ ββ ββ ββ β β
β
β
β
βββ β ββ
β
ββ β
β
ββ
β
β ββββ βββ ββ ββ βββ β
β
βββ β β ββ ββ ββ β β ββ ββ β
β
ββ β
β
ββ
β
ββ
β
β
β
β
ββ ββ β βββ β β
β
β ββ ββ
β
β
β ββ
β
β βββ
β
β
ββ ββ ββ βββ
β
β β
β
ββ β β
β
β β β
β
βββ β ββββ
β
β ββ βββ β
β
β ββ β
β
β βββ ββ
β
β
ββ β ββ β
β
βββ
β
β
β
ββ βββ ββββ
β
ββ
β
β
βββ
β
βββ β β β
β
β
β βββ ββ β
β
ββ ββ
β
βββ ββ ββ β β
β
β
ββ ββ ββ ββ ββ β
β
β
β βββ βββ
β
β β βββ β
β
ββ
β
ββ β β
β
βββ β
β
β β
β
βββ ββ
β
β β
β
β β
β
ββ β ββ β
β
β ββ
β
β
β
β
β
β βββ
β
β β
β
β β
β
βββ β ββ β
β
βββ βββ
β
β βββ ββ
β
β
β β β
β
β
β
β β
β
β β βββ
β
β βββ β
β
β ββββ βββ ββ β β
β
βββ ββ βββ β
β
β β
β
ββ
β
β β
β
β βββ
β
β
β
β ββ β βββββββββ ββ ββ
β
ββ β βββ β
β
β βββββ β ββ β ββ ββββ β ββ β
β
β
β
ββ ββ ββ β ββ β
β
βββ ββ ββ ββ β
β
βββ β
β
β
β
ββ β ββ ββββ β
β
ββ β βββ ββ β βββ β
β
β βββ ββββ
β
ββ β βββ
β
β β β βββ
β
βββ
β
ββ βββ β βββ
β
β
ββ ββ
β
β
β ββ
β
β
β
β
ββ ββ β β
β
ββ ββ
β
βββ ββ
β
β
β
ββ β
β
β
β
β
β
β β βββ β β
β
β β
β
β
ββββ βββ ββ
β
β
β βββ ββ
β
β βββ β β ββ
β
β
β ββ β
β
ββββββ β β β ββ
β
ββ ββ
β
β ββ β
β
β ββ ββ β β β βββββ βββ β βββ
β
βββ
β
β β
β
ββ βββββ
β
β
βββ ββββ β β ββ ββ
β
βββ
β
β
β
β ββ βββ ββ β
β
β β ββ
β
ββ ββ ββ
β
β
ββ β β ββ
β
ββ ββ ββ βββ ββββ
β
β β ββ
β
β
β
β
βββ βββ ββββ ββ β ββ β β
β
ββ ββ
β
β β ββ β
β
β
βββ
β
βββ β βββ β β βββ βββ
β
ββ
β
βββ β β
β
β
β β
β
β βββ ββ
β
β
ββ β
β
ββ β
β
ββ β β
β
β
β
β ββββ β
β
β β ββ
β
βββ ββ
β
ββ βββ ββ
β
β
β
β
β
ββ
β
ββ ββ β β
β
β β
β
βββ ββ β βββ
β
β β
β
ββ ββ β ββ
β
β ββ
β
β ββ ββ βββ ββ ββ β
β
β β
β
ββ β β
β
β
β
β
β
β
β
β
ββ β
β
ββ β
β
β
β
β β
β
β
β
ββ β
β
β ββ ββ β βββ
β
β βββ ββ β
β
β βββ βββ β
β
β
β β
β
β β
β
β
β
β
ββ ββ
β
ββ β
β
β
ββ ββ
β
ββ ββ ββ ββ ββ
β
β
β
β β ββ β ββ ββ
β
βββββ β
β
β β
β
β βββ βββ
β
β
β
β βββ
β
ββ βββ
β
β
ββββ β β
β
ββ β
β
βββ ββ β βββ
β
ββ β
β
β ββ β β
β
β ββ βββ βββββ ββ β ββ ββ ββ
β
β βββ β
β
β β ββ β
β
β ββ β βββ β ββ
β
ββ
β
ββ βββ
β
β ββ β
β
β ββ ββ
β
β
β7 β6 β5 β4 β3 β2
β5.0
β4.5
β4.0
β3.5
β3.0
β2.5
β2.0
log_min(df$ra_shot)
log_
min
(df$
ra_m
g_ab
un)
r2 = 0.4
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β βββββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
ββ
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ
β
β
β
β
β
β
β
β β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β β
β
β
β
β
β
ββ β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
ββ
β
β
β
β β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β β
ββ
β
β
β
β
ββ
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
ββ β
β
ββ
β
ββ
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β6 β5 β4 β3 β2
β5.0
β4.5
β4.0
β3.5
β3.0
β2.5
β2.0
log_min(x$ra_shot)
log_
min
(x$r
a_m
g_ab
un)
r2 = 0.83
Shotmap RA Shotmap RA Shotmap RA
MG-ΒβRA
ST RA
MG-ΒβRA
ST RA
MG-ΒβRA
ST RA