Improving  Your  Literature  Reviews  with  NVIVO  10  

Wendy  Quach,  Ph.D.,  CCC-­‐SLP;  SJSU  Shelley  Lund,  Ph.D.,  CCC-­‐SLP;  UWM  

Miechelle  McKelvey,  Ph.D.,  CCC-­‐SLP;  UNK  Kristy  Weissling,  SLP.D.,  CCC-­‐SLP;  UNL  

   

Grant  Support  

This  research  was  funded  through  the  grant:  Op,mal  Augmenta,ve  and  Alterna,ve  Communica,on  Technology  for  Individuals  with  Severe  Communica,on  Disabili,es:  Development  of  a  Comprehensive  Assessment  Protocol  

**US  Department  of  Health  and  Human  Services,  NIDILRR  Field  IniRated  Project  (Grant  #H133G130275)  

 These  contents  do  not  necessarily  represent  the  policy  of  the  Department  of  Health  and  Human  Services,  and  you  should  not  assume  endorsement  by  the  Federal  Government.  

 

The  contents  of  this  poster  were  developed  under  a  grant  from  the  Department  of  EducaRon,  NIDRR  grant  number  H133G130275.    However,  those  contents  do  not  necessarily  represent  the  policy  of  the  Department  of  EducaRon,  and  you  should  not  assume  endorsement  by  the  Federal  Government.  

The  contents  of  this  poster  were  developed  under  a  grant  from  the  Department  of  EducaRon,  NIDRR  grant  number  H133G130275.    However,  those  contents  do  not  necessarily  represent  the  policy  of  the  Department  of  EducaRon,  and  you  should  not  assume  endorsement  by  the  Federal  Government.  

   

Acknowledgements  

•  Thanks  to  our  students:  Erin  Branson,  Heather  Buhr,  Carmen  Daniels,  Sharon  Glaser,  Peter  Kao,  Kailtlyn  Liberty,  Kylie  O’Keefe,  Mallorie  Thompson,  Kala  Tsarnas  

Overview  

•  Background    •  Project  management  sobware  •  Reference  management  •  QualitaRve  Analysis    •  Other  useful  sobware  •  Wrap-­‐it  UP!  

Background  •  The  AAC  Clinical  

Assessment  Project  (AAC-­‐CAP)  seeks  to  develop  AAC  assessment  protocols  for  aphasia,  auRsm,  cerebral  palsy,  and  ALS.      

•  Phase  one  of  the  project  required  the  compleRon  of  scoping  reviews  of  the  literature  in  AAC  and  the  four  described  disorder  areas.    This  took  over  a  year  to  complete!!!!  

   

Managing  A  HUGE  Project?  

Project  Management  Sobware    Used  in  This  Project  

Project  Management  Sobware  •  Document  Storage  •  Tracking  of  our  tasks  •  Sharing  of  secured  informaRon  

Procedural  Documents  

•  Created  in  Word  – Screening  procedures  – Reliability  procedures  – Coding  procedures  •  OperaRonal  definiRons  of  codes  •  NVIVO  documents  

–  Links  to  direcRons    –  Links  to  video  demonstraRons  

Flow  Chart  Screening  

Project  Management  Sobware  •  Redbooth  

Project  Management  Sobware  •  Todoist  

Reference  Management  Sobware    

Used  in  This  Project  

Reference  Management  •  Refworks  

Reference  Management  

Excel  

Reference  Management  

•  Excel     Abstract    Screening        AuRsm    CP    Aphasia    ALS  

 General  Assessment  

Reviewer  #1  

arRcles  eliminated   200   109   51   27   268  

        arRcles  included   58   44   17   17   168  Reviewer  #2  

arRcles  eliminated     207   115   54   28   274  

        arRcles  included   51   38   14   16   162  Reliability   agreements   211   145   62   31   400  

disagreements   47   8   5   13   36  

interrater  agreement  0.817829457  

0.947712418  

0.925373134  

0.704545455   0.917431193  

Final  totals  arRcles  eliminated   207   108   49   25   270  

        arRcles  included   51   45   19   19   168  sources  retreived  &  redacted    51   35   19   18      

sources  not  retrieved    0   4   0  

1  (duplicat

e)      

Sobware  Used  In  This  Project  

QualitaRve  Analysis    •  OperaRonal  DefiniRons  of  Coding  

NVIVO  

•  Sources  •  Amributes  •  Coding  of  sources  at  nodes  •  Reliability  

NVIVO  Sources  

•  Used  Adobe  to  redact  sources  so  reviewers  were  blind  to  authors,  Rtle,  journal  

•  Each  source  was  assigned  an  alphanumeric  code  that  corresponded  to  the  arRcle  in  Refworks  

•  Sources  uploaded  to  NVIVO  

NVIVO  Amributes  

•  Developed  screening  quesRons  to  evaluate  quality  of  source  

•  Used  amributes  funcRon  within  classificaRons  to  do  this  

•  NVIVO  template  created  that  had  all  these  amributes  and  nodes  

NVIVO  Amributes  

NVIVO  Amributes    

NVIVO  Coding  

•  Two  ways  to  code  – Text  tool  – Region  •   if  PDF  was  scanned  •  Amempted  to  opRmize  the  pdf  file  but  did  not  always  work  –  feature  in  Adobe  

•  To  see  what  was  coded  –  highlighted  areas  – Coding  stripes  on  sight  – Within  document  

NVIVO  Coding  

NVIVO  Coding  

NVIVO  Reliability  

•  50%  of  arRcles  were  coded  again  by  a  second  reviewer  –  Reliability  agent  did  not  do  the  screenings  for  the  Rtle  or  abstract  

–  Every  researcher  had  hands  on  every  disorder  area  •  If  there  was  a  Kappa  of  0.5  or  lower,  two  reviewers  needed  to  reconcile  the  disagreement  – NVIVO  calculated  Kappa  

•  Needed  to  go  into  source  to  uncode  if  that  was  decision  of  two  reviewers  

NVIVO  Reliability  

Other  Useful  Sobware  •  Random  number  generator  – To  determine  arRcles  to  code  for  reliability  

•  Skype    – For  weekly  meeRngs  

References  1.  Dietz,  A.,  Quach,  W.,  Lund,  S.,  &  McKelvey,  M.  (2012).    AAC  assessment  and  clinical  decision-­‐making:  The  impact  of  experience.  

Augmenta)ve  and  Alterna)ve  Communica)on,  28(3),  148-­‐159.  2.  Dollaghan,  C.  A.  (2007).  The  handbook  for  evidence-­‐based  prac)ce  in  communica)on  disorders.  BalRmore,  MD:  Brookes.  3.  King,  G.,  Batorowicz,  B.,  &  Shepherd,  T.  (2008).    ExperRse  in  research-­‐informed  clinical  decision  making:  Working  effecRvely  with  

families  of  children  with  limle  or  no  funcRonal  speech.    Evidence-­‐Based  Communica)on  Assessment  &  Interven)on,  2(2),  106-­‐116.  4.  Marvin,  L.  A.,  Montano,  J.  J.,  Fusco,  L.  M.,  &  Gould,  E.  P.  (2003).  Speech-­‐language  pathologists’  percepRons  of  their  training  and  

experience  in  using  alternaRve  and  augmentaRve  communicaRon.  Contemporary  Issues  in  Communica)on  Science  &  Disorders,  30,  76-­‐83.  

5.  McKelvey,  M.,  Dietz,  A.,  Hux,  K.,  Weissling,  K.,  &  Beukelman,  D.  (2007).  Performance  of  a  person  with  chronic  aphasia  using  a  visual  scenes  display  prototype.  Journal  of  Medical  Speech  Language  Pathology,  15(3),  305-­‐317.  

6.  NaRonal  Research  Council.  (2001).  Educa)ng  children  with  au)sm.  Washington,  DC:  NaRonal  Academy  Press.  7.  Quach,  W.,  Dietz,  A.,  Lund,  S.,  &  McKelvey,  M.  (2010,  August).    Clinical  decision-­‐making  by  speech  language  pathologists  in  AAC  

assessment.    Paper  presented  at  the  biennial  meeRng  of  the  InternaRonal  Society  for  AugmentaRve  and  AlternaRve  CommunicaRon,  Barcelona,  Spain.  

8.  Quach,  W.,  Dietz,  A.,  Lund,  S.,  &  McKelvey,  M.  (2011).  [Speech  Language  Pathologists  approaches  to  assessment  in  specific  case-­‐based  applicaRon].  Unpublished  data.      

9.  Ratcliff,  A.,  Koul,  R.,  &  Lloyd,  L.  L.  (2008).  PreparaRon  in  augmentaRve  and  alternaRve  communicaRon:  An  update  for  speech-­‐language  pathology  training.  American  Journal  of  Speech-­‐Language  Pathology,  17,  48-­‐59.