CIGIE

Fede

ral A

udit Ex

ecutive Co

uncil A

nnua

l Con

ferenc

eSe

ptem

ber 5

, 201

9

1

Prese

nters:

Beve

rly Lyo

ns, D

OT‐

OIG, Q

uality Assuran

ce Aud

itor

Juan

a Morales, U

SAID‐O

IG, S

enior A

udito

r Rh

onda Horrie

d,  U

SAID‐O

IG, A

ssistant Dire

ctor

Ba

ckgrou

nd: R

equiremen

ts fo

r QA Program

sHistory and Ove

rview of the QAW

GQAW

G’s Goa

ls 4 & 5

Pa

rticipan

t Discu

ssion

Q&A

2

CIGIE’s Qua

lity Stan

dards for F

ederal Offices 

of In

spector G

eneral, A

ugust2

012, (the Silv

er 

Book

), Se

ction V, M

aintaining Qua

lity 

Assuran

ce, req

uires that eac

h OIG:

Es

tablish an

d maintain a QA program

Pa

rticipate in externa

l QA re

view program

s (pee

r review

s) im

plem

ented throug

h CIGIE guide

lines

3

QA program

 must p

rovide an inde

pend

ent, 

objective, timelyan

d co

mpreh

ensive 

appraisaltha

t the OIG’s work:

Co

mplies with app

licab

le professiona

l stand

ards

Is perform

ed in accorda

nce with estab

lishe

d OIG 

policies an

d proc

edures

Is carrie

d ou

t eco

nomically, e

fficiently, a

nd 

effectively

4

QA work must b

e pe

rformed with th

e same 

profession

al care for:

Plan

ning th

e review

Doc

umen

ting fin

ding

sDev

elop

ing reco

mmen

datio

nsObtaining com

men

ts from

 resp

onsible man

agers 

of th

e ac

tivity or u

nit rev

iewed

5

QA program

 can vary in its na

ture and exten

t de

pend

ing on th

e OIG’s:

Size

Organ

izationa

l struc

ture

Nature of its work

Co

st vs. ben

efit co

nsiderations

6

Mon

itorin

g of Qua

lity (G

AS, 5.42‐5.46

)Es

tablish po

licies an

d proc

edures fo

r mon

itorin

g the 

system

 of q

uality co

ntrol

Pe

rform proce

dures to asses

s co

mplianc

e with 

stan

dards an

d qu

ality con

trols for G

AGAS 

enga

gemen

tsCo

mmun

icate to app

ropriate officials deficienc

ies 

noted an

d reco

mmen

d remed

ial actions

* 20

11 Yellow Boo

k,  para. 3.93‐3.95  con

tain sim

ilar req

uiremen

ts 

7

Mon

itorin

g of Qua

lity (con

t.)

At lea

st ann

ually

, ana

lyze and sum

marize 

mon

itoring resu

lts, in

clud

ing:

Descriptio

n of th

e proc

edures perform

edCo

nclusion

s reac

hed from

 thos

e proc

edures

Iden

tifications of systemic, rep

etitive

, or o

ther 

defic

ienc

ies ne

eding im

prov

emen

t

Reco

mmen

datio

ns fo

r corrective ac

tion

GAS, 5.47‐5.59 provide

s ap

plication gu

idan

ce*

* 20

11 Yellow Boo

k,  para. A3.10

c  con

tains simila

r guida

nce 

8

15

9

3

76

43

11

42

2

7

Staff < 10, Total 27

Staff 1

0‐10

0, Total 20

Staff >

100, Total 19

Not In

clud

ed (Intellig

ence Age

ncies & AbilityO

ne), To

tal 7

9

Total n

umbe

r of fed

eral OIG

s: 73

June 

2016 

Survey 

Sent

Oct 201

6 Kick‐off 

Mee

ting

Nov 201

7  

MAX.OMB

.gov Site 

Jan 20

19  

Und

er 

FAEC

May 201

9 Ch

arter 

App

rove

d 

10

June 201

6 –Br

ief surve

y via CIGIE’s list s

erve

Initiated by FR

B‐CF

PB OIG’s QA M

anag

er, V

era 

Garrant & Sen

ior Q

A Rev

iewer, Twyla Ta

tum

22 OIGs resp

onde

d, all bu

t 1 said wan

t in a QAW

G

Octob

er 201

6 –Kick‐off m

eetin

gHos

ted by FRB‐CFP

B OIG

15 partic

ipan

ts from

 12 OIGs

Discu

ssed group

’s pu

rpos

e, OIGs’ QA struc

tures, 

freq

uenc

y of m

eetin

gs, Q

A to

pics fo

r future mee

tings

11

Purpo

se:To en

hanc

e an

d im

prov

e the qu

ality 

assuranc

e (Q

A) rev

iew proce

sses with

in th

e Fe

deral Ins

pector Gen

eral com

mun

ity.

Sc

ope of Res

pons

ibilities

: QA activities 

related to Fed

eral OIGs’ aud

its.

12

1.En

hanc

e un

derstand

ingof

how offices acros

s the OIG 

commun

ity selec

t, perform

, and re

port on the results of 

QA re

view

s.2.

Dev

elop

a po

ol of Q

A sub

ject m

atter e

xperts to who

m 

working group m

embe

rs m

ay con

tact fo

r assistanc

e.3.

Provide in

sigh

t int

o cu

rren

t eve

nts in th

e OIG and QA 

commun

ities.

4.Iden

tify and doc

umen

t bes

t practices

to assist the OIG 

commun

ity with im

prov

ing their Q

A fu

nctio

ns (inc

lude

s internal and externa

l training).

5.Issu

e or estab

lishprac

tice adv

isories to disseminate be

st 

prac

tices with

in th

e OIG com

mun

ity.

13

Info ava

ilable to all with OMB MAX acce

ss:

Mee

ting an

noun

cemen

ts, m

eetin

g an

d web

site points of 

contac

t, link

s to GAO and CIGIE re

source

s

Mem

ber o

nly site pag

es doc

umen

t and sha

re:

QAW

G m

embe

rs’ n

ames and con

tact in

form

ation

Mee

ting ag

enda

s and m

inutes

Re

sults of surve

ys and re

quests fo

r information

Re

source

s,  e.g., so

me OIGs’ policies, proce

dures, te

mplates, 

and form

sSite’s disclaimer: T

he th

ough

ts, o

pinion

s, and com

men

ts exp

ressed during mee

tings 

and de

scrib

ed herein are thos

e of th

e individu

al partic

ipan

ts and not re

presen

tativ

e of (a

nd sho

uld no

t be attributed as) th

e thou

ghts, o

pinion

s, and pos

ition

s of th

e pa

rticipan

t's In

spec

tor G

eneral (IG) o

r other perso

nnel of the Office of In

spec

tor 

Gen

eral.

14

15

Vo

luntary, QA exp

erienc

e reco

mmen

ded

86 m

embe

rs from

 46 OIGs listed 

(as of 5/28/19

)

20 from

 13 of th

e 27 OIGs with staff < 10

26 from

 15 of th

e 20 OIGs with staff 10‐10

036 from

 16 of th

e 19 OIGs staff > 100

4 from

 2 of 7 OIGs no

t on pe

er re

view sch

edule

16

Inform

ed m

embe

rs th

at in Ja

nuary 20

19 th

e QAW

G was re

cogn

ized by CIGIE and will be 

unde

r its FAEC 

Ch

arter d

iscu

ssed and app

rove

d by 

participating mem

bers

Ch

air a

nd Vice Ch

air p

osition

s discussed 

Su

bgroup estab

lishe

d for G

oal 4

17

Ca

rdell Joh

nson

, Cha

irca

rdjohn

son@

usaid.go

vBe

verly Lyo

ns, V

ice‐Ch

air 

Be

verly

.Lyo

ns@

oig.do

t.go

vJuan

a Morales, Q

AWGWeb

site Adm

inistrator

jm

orales@

usaid.go

vJonn

aMue

ller, QAW

GWeb

site Adm

inistrator

JM

uelle

r@hu

doig.gov

18

QA staff’s:

Doc

umen

tatio

n of QA re

view work pe

rformed

Distribution of QA re

view re

ports

Assessm

ent o

f OIG in

ternal IT systems

Aud

itor

’s Doc

umen

tation of:

Assessm

ent o

f the re

liability of com

puter‐proc

essed da

ta

Assessm

ent o

f the re

liability of te

stim

onial evide

nce

Ove

rall assessmen

t of c

ollective ev

iden

ce  to supp

ort finding

s

Workp

aper

elem

ents and re

quire

d proc

edures

Inde

pend

ence certifications of IG and lega

l cou

nsel

Oth

er:

Im

plem

entatio

n of Enterprise Risk M

anag

emen

t with

in OIGs

OIG’s repo

rting of m

onetary be

nefits

19

(G

oal 4

) Ide

ntify and doc

umen

t best p

ractices to 

assist th

e OIG com

mun

ity with im

prov

ing or 

enha

ncing their Q

A fu

nctio

n.

Pha

se 1: S

urve

yEs

tablishe

d an in

ter‐ag

ency com

mittee to con

duct surve

ySu

rvey la

unch

ed in Ju

ly 201

9Fo

cus on to

pics th

at re

quire m

ore co

nsistent 

interpretatio

n on Gen

eral Aud

it Stand

ards

,Fieldwork 

Stan

dards, and Rep

orting Stand

ards fo

r Perform

ance 

Aud

its

Res

pons

e from

 39 ag

encies

/48 pa

rticipan

ts20

Plann

ing an

d Co

nduc

ting th

e En

gage

men

t Data Re

liability, Assessing and Doc

umen

ting Aud

it Risk, Interna

l/Externa

l Spe

cialist

Ev

iden

ce and Aud

it Doc

umen

tation 

Su

pervisory Re

view

, Sam

pling Metho

dology

, Assessm

ent o

f Aud

it Ev

iden

ceQua

lity Co

ntrol a

nd Pee

r Rev

iew 

Es

tablishing Systems of Qua

lity Co

ntrol, Mon

itorin

g Qua

lity, Com

plying with Stand

ards

Internal Con

trol

21

22

Mile

ston

esDates

Presen

t surve

y results to 

QAW

G practition

ers to 

finalize topics 

Septem

ber 2

019

Establish subc

ommittee

for 

each to

pic

Septem

ber 2

019

Presen

t to FA

ECselected 

topics

Fall 20

19

23

Mile

ston

esDates

Subc

ommittee

sto doc

umen

t be

st practices 

Review Surve

y Co

mmen

tsCo

nduc

t Interview

sSo

licit Be

st Practices

Review Doc

umen

ts

Septem

ber 2

019 –May 202

0

Subc

ommittee

s presen

t and 

finalize results at Q

WAG

mee

ting 

May 202

0

(G

oal 5

) Issue or e

stab

lishprac

tice ad

viso

ries 

to disseminate be

st practices with

in th

e OIG 

commun

ity

Sh

are results with CIGIE

Commun

ity

Po

st re

sults on QAW

Gweb

site

24

Group discu

ssion on Qua

lity Im

prov

emen

t an

d Co

nsistent Practices

Virtua

l partic

ipan

ts m

ay email respo

nses to 

questio

ns to rh

orrie

d@usaid.go

v

25

Plann

ing an

d Co

nduc

ting th

e En

gage

men

t 

Wha

t abo

ut th

e follo

wing item

s lead to  

inco

nsistent app

lication of qua

lity co

ntrol a

nd 

fieldwork stan

dards for p

erform

ance aud

iting :

Assessing re

liability of com

puter‐proc

essed da

ta

Sa

mpling metho

dology

Doc

umen

ting au

dit risks

26

Eviden

ce and Aud

it Doc

umen

tation 

Wha

t abo

ut th

e follo

wing item

s lead to  

inco

nsistent app

lication of qua

lity as

suranc

e  

stan

dards for d

uring fie

ldwork:

Doc

umen

ting supe

rvisory review 

Qua

lity of sup

erviso

ry re

view

Doc

umen

ting assessmen

t of e

vide

nce

27

Qua

lity Co

ntrol a

nd Pee

r Rev

iew 

Wha

t are pot

ential cau

ses for inc

onsisten

t int

erpretation 

of qua

lity co

ntrol stand

ards

?

Wha

t role do you th

ink th

e differen

ce betwee

n “m

ust” 

and “sho

uld” plays in in

cons

istent in

terpretation of 

stan

dards? 

How sho

uld internal and externa

l rev

iewers effectively 

approa

ch th

eir w

ork to help OIG

sde

velop be

tter qua

lity 

cont

rol sys

tems?

28

Se

ptem

ber 1

7that USA

ID‐O

IGFu

ture M

eeting

s will be: 

▪Dec

embe

r 3, 2

019

▪Fe

brua

ry 11, 202

0 ▪May 19, 202

0

Que

stions

, email: ca

rdjohn

son@

usaid.go

v

29

Que

stions

30