2002 05 08 1

Naudojami statistiniai proceso valdymo metodai

su automatinėmis testavimo programomis

2002 05 08 2

Apžvalga

David B. PutmanTechninio ir industrinio palaikymo direktoratas,

programavimo inžinerijos padalinys, Hill Air Force bazė

Daugelis programų menedžerių siekia sumažinti programų kūrimo biudžetą. Statistinių Procesų Valdymas (SPC – Statistical Process Control) yra priemonė, kuri gali padėti programų menedžeriams gauti didesnią investicijų naudą. Šis kursas naudoja istoriškai patikrintą informaciją nustatyti ar SPC gali būti naudojama kaip normali automatinio testavimo programos vystymo ir palaikymo dalis. Išvada reikšmingas kaštų mažinimas su padidinta kokybe gali būti įgyjamas, naudojant SPC metodiką.

2002 05 08 3

Apžvalga Statistinis procesų valdymas yra metodas, kuris

leidžia vartotojams atskirti atsitiktinius duomenų pasikeitimus, tada neatsitiktinius pasikeitimus, siekiant pagerinti kokybę ir sumažinti produkto kainą. Šiame straipsnyje siūlomi pastovūs skaičiavimai, kurie programų menedžeriams leis sutaupyti milijonus dolerių per sistemos gyvavimo ciklą, taikant statistinius procesų valdymo metodų teoriją automatizuojant testavimo programas.

2002 05 08 4

Apžvalga Šiame straipsnyje aš naudoju istorinius

duomenis, kad parodyčiau kaip statistinė teorija gali pagerinti testavimo programas. Tai skirta skaitytojams, kurie turi pagrindines žinias apie statistiką, bet nesigilina į matematinę kilmę. Komercinių produktų sfera apima nuo elektroninių skaičiuoklių iki statistinių procesų valdymo produktų, galinčių vykdyti statistinius skaičiavimus.

2002 05 08 5

Apžvalga Mano patirtimi, SPC yra apžvelgta priemonė

remianti testavimo programas, kurios siejasi su Automatine Testavimo Aparatūra (ATE – Automatic Test Equipment). Dėl mano pasiekimų SPC technikoje ATE srityje ir plokščių grandinėse, tai yra naudojami kaip pavyzdžiai. Kaip bebūtų, SPC technika gali būti pritaikoma daugelyje sričių, kur vartotojas gali neigiamai įtakoti pasikartojančius procesus, taigi statistika gali būti pritaikoma gerai apibrėžtiems, pasikartojančiuose ir pakankamai dideliuose žingsniuose.

2002 05 08 6

SPC metodų naudojimo privalumai Yra daug privalumų, naudojant SPC metodus per

testų programų vystymą ir eksploatavimą. SPC metodai identifikuoja teisingą testavimo programos vykdymo galimybę, susijusią ryšiu su plokščių grandinėmis ir testavimo stoties galėjimą testuoti plokštės grandines. Naudojami SPC metodai leis sumažinti dabartinio gyvenimo ciklo kainą, susijusią su testavimo programa, įskaitant:

2002 05 08 7

SPC metodų naudojimo privalumai

• Pašalinti arba sumažinti geros plokštės grandinės taisymo tikimybę

• Sumažinti šansus blogai veikiančiai plokštei praeiti atranką

• Klaidingos plokštės pripažinimo teisinga galimybių sumažinimas

• Pašalinti arba sumažinti nežymių patobulinimų toleravimą ir testų procedūras, kurios įvyksta per testo programos gyvavimą (paprastai tik vieną kartą). Priešingai, visos potencialios problemos identifikuotos šių metodų pagalba gali būti adresuotos vienkartiniams programinės įrangos atnaujinimui.

2002 05 08 8

SPC metodų naudojimo privalumai

• Garantuoti neįkainojamos informacijos pasiekiamumą jeigu testuotas punktas kada nors taps nebevartojamas. Jeigu grandinė yra perprojektuojama, tai būtų logiška manyti, kad projektavimo inžinierius gali projektuoti naują grandinę įvykdant leistiną nuokrypį. Yra galimybė, kad nauja plokštė teisingai nefunkcionuos sistemoje, jeigu senesnė plokštė buvo prie leistinų nuokrypio ribų krašto.

2002 05 08 9

Pavyzdys – analizė Sekantis pavyzdys parodo kaip jus galite įvertinti

savo potencialius sutaupymus, naudojant SPC metodus. Jūsų specifinio projekto duomenys bus reikalingi nustatant jūsų potencialius sutaupymus• Pavyzdžiui tarkime, kad vidutiniškai naudojant SPC

identifikaciją 10 pokyčių (changes), kurie turi būti padaryti testavimo programoje (C = 10)

• Tarkime, kad jūs vadovaujate 100 analoginių testavimo (test) programoms (T = 100)

• Tarkime, kad vidutinė programinės įrangos kaina (price) yra $10,000 (P = $10,000)

2002 05 08 10

Pavyzdys – skaičiavimai Jeigu problemos yra nustatytos ir taisomos vienu

metu, tai jums kainuos:

C*T*P arba 10*100* $10,000 = $10 milijonų Jeigu naudojant SPC metodus visos problemos yra

nustatytos ir ištaisytos vienu atnaujinimu, tai kaina programos menedžeriui bus T*P = 100 * $10,000 = $1 milijonas. Tai jums leistų sutaupyti programinės įrangos atnaujinimui iki $9 milijonų. Šiuose skaičiavimuose neįtraukti galimi sutaupymai, mažinant perdirbimo kainas.

2002 05 08 11

Kur pradėti?

Pradedant naudoti statistinius valdymo procesus, jūs turite nustatyti kas turi būti išmatuota, atrinkti pavyzdžius ir egzistuojančius duomenis. Statistika gali būti pritaikyta ir produktui ir procesui. Produkte yra duomenys, pritaikyti specifikacijai, o tuo tarpu proceso duomenyse yra kaina, tvarkaraštis ir klaidingi duomenys. Naudojant statistiką procesui, vartotojas turi sugebėti sustabdyti procesą, taip kad, statistika galėtų būti pritaikyta gerai apibrėžtiems, pasikartojantiems ir išmatuojamiems žingsniams

2002 05 08 12

Atrankos metodas Dažnai kaina apriboja vykdymą fizinių

išmatavimų kiekvieno pateikiamo produkto. Šiuo atveju jūs turite adresuoti metodą kurį taikėt, naudojant pavyzdžių rinkinius, tokius kaip 10 atsitiktinių pavyzdžių išrinkimas kiekvieną savaitę. Kitais atvejais automatizuotos sistemos gali duoti jums 100 procentinį išrinkimą.

2002 05 08 13

Egzistuojantys duomenys Duomenų proceso atveju, sunku nustatyti kas

konkrečiai turi būti išmatuota, kaip tai padaryta ir kaip vaizduoti duomenis naudojamu metodu. Kada įgyvendinama SPC koncepcija, jūs tuoj pat galite vystyti įvertinimo schemas, kad išrinkti “naudojamus” duomenis. Tada, po įvertinimo proceso, jūs galite rasti duomenų komplektus, kurie neteiks jums reikiamos informacijos. Statistinės teorijos taikymas egzistuojantiems duomenims padės jums orientuotis kitokiu būdu įvertinant įvykius.

2002 05 08 14

SPC apžvalga Histograma ir grafikas yra du paprasčiausi

metodai duomenų vaizdavimui. Šie du grafikai teikia informaciją apie kiekvieną testavimo vykdymą plokštės grandinėje. 1 pav. histograma vaizduoja pageidautiną ryšį tarp viršutinės ir apatinės testavimo ribos (UL ir LL) palyginant viršutinę ir apatinę proceso valdymo ribas (UCL ir LCL). Norimas valdymo ryšys yra apribotas testavimo programos

2002 05 08 15

SPC apžvalga

1 pav. Norimo valdymo ryšio ribos yra tarp testavimo ribų.

2002 05 08 16

SPC apžvalga Kada valdymo ribos išeina už testavimo ribų, kaip

parodyta nuo 2 pav. iki 4 pav., daugelis punktų bus pertaisyta, išmesta arba išgelbėtos dalys, įtakojant aukštesnę kainą. Procesas taip pat gali iššaukti papildomas neapibrėžtas išlaidas. Kaip pavyzdys neapibrėžtų išlaidų gali būti pirkėjų nepasitenkinimas, dėl per didelių kainų, užsitęsusių atidėliojimų, prastos kokybės arba produktų blogos kokybės. Kada valdymo ribos perlipa testavimo ribas, kaip parodyta nuo 2 pav. iki 4 pav.

2002 05 08 17

SPC apžvalga

2 pav. Nepageidaujama sąlyga – žemesnė valdymo riba yra mažesnė negu žemesnė testavimo riba.

2002 05 08 18

SPC apžvalga

3 pav. Nepageidaujama sąlyga – viršutinė valdymo riba yra didesnė negu viršutinė testavimo riba.

2002 05 08 19

SPC apžvalga

4 pav. Nepageidaujama sąlyga – abi testavimo ribos yra tarp valdymo ribų.

2002 05 08 20

SPC apžvalga Gali kilti sekantys klausimai.

• Ar gali gamybinis procesas arba (ATE atveju) pataisytas procesas būti pakeistas, kad sumažinti perdirbimo kainą ir pagerinti kokybę?

• Ar specifikacijos ribos yra teisingos?

2002 05 08 21

SPC sąvokų taikymas mūsų ATE testų programoms

ATE testų leistinas nuokrypis

2002 05 08 22

ATE testų leistinas nuokrypis

Kilę iš ATE testų, elektroninės grandinės gali būti pereitos vienu iš šių būdų:• Kriterijus buvo apibrėžtas projektavimo reikalavimuose

• Skaičiavimai buvo padaryti, kad būtų nustatytas teorinis plokštės įvykdymas. Tai gali būti žmogaus skaičiavimai arba kompiuterio grandinių imitavimas

• Buvo įvertinta gera plokštė, vadinama “auksine plokšte” ir tada “a” +/-n% leistinas nuokrypis pridedamas prie įvertinimo

2002 05 08 23

ATE testų leistinas nuokrypis

Iš SPC pusės, nė vienas iš aptartų aukščiau metodų nenustatys grandinės galimybių ir testavimo stoties sugebėjimų testuoti grandinę. Sistemos patikrinimas yra suprojektuotas, remiantis pirmo straipsnio testu, kuris paprastai tikrina tik sistemos projektavimo reikalavimus. Sistemos lygio testavimo įėjimo ir išėjimo skaičiai gali būti žymiai mažesni, negu bendras įėjimų ir išėjimų skaičius plokštės vidinėje sistemos dalyje.

2002 05 08 24

ATE testų leistinas nuokrypis

Ši problema vėliau tampa sudėtingesne, kada testo programos valdymas nėra gamyklos testavimo aplinkoje. ATE atributai testavimo bazėje gali skirtis nuo gamyklos testų aplinkos. Testų stoties atributai tokie, kaip įėjimų varža, kryžminis kalbėjimas ir intarpo praradimas, turi tiesioginę įtaką testavimo rezultatams. ATE atributai yra nesvarstomi, kai testavimo specifikacijos yra vystomos dėl plokščių grandinių.

2002 05 08 25

Duomenys ir prielaidos Per šiuos tyrinėjimus man pasisekė surinkti

apytikriai dviejų metų konkrečių plokščių grandinių testavimo rezultatus. Per šį laiką apytikriai buvo išbandytos 195 plokščių grandinės. Nelauktai, mūsų ATE neužtikrino mums paprasto testo rezultatų paėmimo ir informacijos išsaugojimo mums patogiu formatu. Komerciniai ATE produktai tai leidžia padaryti, bet nenujaučiu jokios ATE, ypač suprojektuotoms valdžios ginklų sistemų, kurios užtikrina galimybes.

2002 05 08 26

Duomenys ir prielaidos Istoriniai testų rezultatai neturi UUT serijinio

numerio, kuris galėjo įtakoti tų pačių elementų pasirodymą daugiau negu vieną kartą. Aš manau, kad kartą praėjusiems testavimus, testavimo stotis pakartotinai nepaleis testo programos tam pačiam UUT. Taip pat aš apribojau testavimo programos vykdymą, kas įtakojo UUT – praleistus pranešimus. Tai davė man parodymus apie UUT būklę, kai jie buvo sugrąžinti dėl naudingumo.

2002 05 08 27

Duomenys ir prielaidos

Norint įvykdyti šį tyrimą, aš rekomenduoju, kad sekanti informacija būtų surinkta kiekvienam testui• Data ir laikas• UUT dalių numeriai ir serijų numeriai• Testavimo stoties serijinis numeris (gali būti

naudojamas jeigu daugiau negu vienas)• Testo numeris• Matavimai ir vienetai (kaip omai ir VDC). • Viršutinė ir apatinė testo riba• Praleista ar atmesta informacija

2002 05 08 28

Procesų pakeitimai Skaičiuojant apatinę ir viršutinė valdymo ribas,

svarbu įtraukti į skaičiavimus proceso pakeitimus. Bėganti diagrama 5 pav. parodo sumažintą UL 1995 m. ir antras programinės įrangos pakeitimas buvo padarytas 1996 metais. Pirmas pakeitimas neturėjo įtakos įvertinimui arba procesų kontrolės riboms. Antras programinės įrangos pakeitimas padarė įtaką įvertinimui, kuris iš eilės keitė proceso valdymo ribas. Įvertinimas kito nuo apatinio iki viršutinio testo ribų galo.

2002 05 08 29

Procesų pakeitimai

5 pav. Bėganti diagrama gali būti naudojama po laiko įvertinimo rezultatų parodymui ir proceso pakeitimo įtakos

2002 05 08 30

Procesų pakeitimai Pirmasis proceso kontrolės ribų komplektas, UCL1

ir LCL1, buvo skaičiuojami naudojant tik

įvertinimus paimtus iki proceso pakeitimų 1996. Antrasis proceso kontrolės ribų komplektas, ULC2

ir LCL2 buvo skaičiuojami tik įvertinimus paėmus

po proceso pakeitimų 1996. Proceso galimybės gali pasirodyti kur kas platesnės, ir todėl blogesnės, jeigu standartinis nuokrypis buvo skaičiuojamas naudojant visus vieno įskaičiavimo įvertinimus.

2002 05 08 31

Procesų pakeitimai Vaizdavimas bėgančios diagramos kaip parodyta 5

paveikslėlyje, leidžia greitai vizualiai palyginti proceso galimybes su testavimo ribomis. Ši diagrama yra geras pavyzdys kaip SPC technikos panaudojimas gali parodyti skirtingas išvadas, negu programinės įrangos pokyčiai, kurie yra sietini su dviejų programinių įrangų išjungimu. Pirmame programinės įrangos pokytyje, sumažino viršutinę testavimo ribą. Aš negalėjau nustatyti pokyčio lokalizacijos remiantis duomenimis, bet aš manau, kad pokytis tikriausiai įvyko dėl UUT, kuris sutriko kitame aukštesniame surinkime ir praėjo testo leistino nuokrypio viršutinėje riboje.

2002 05 08 32

Procesų pakeitimai Panašiu būdu, aš tikiu, kad antrasis pokytis įvyko dėl to, kad

vertingi dalykai nežymiai pateko žemiau apatinės ribos. Apatinės kontrolės riba tuo metu buvo žemesnė už apatinę testavimo ribą. Antrame pokytyje programuotojas pasirinko uždelsti programos veikimą ir pakeitė skalę. Antro pokyčio pasėkoje pavyzdžių vidurkis pasikeitė nuo apatinio krašto leistino nuokrypio į viršutinį kraštą leistino nuokrypio. Intervalas tarp viršutinės kontrolės ribos ir apatinės kontrolės ribos buvo iš esmės tas pats. Aš manau, kad jeigu ši bėganti diagrama būtų buvusi priimtina, kai buvo padarytas pirmasis programinės įrangos pokytis 1995, abi viršutinė ir apatinė testavimo ribos būtų kur kas detaliau išanalizuotos ir kitas sprendimas būtų priimtas. Antrasis programinės įrangos pokytis 1996 nebūtų reikalingas.

2002 05 08 33

Procesų pakeitimai 816003 testas (6 pav.) atitinka pageidautiną ryšį aptartą 1

pav. Statistiškai aš tikiuosi, kad 0.3 procentai įvertinimo pateks už kontrolės ribų. Jeigu testo ribos yra teisingos, aš galiu būti tikras, kad šešios plokštės grandininės, kurios išmatuotos tiksliai tarp viršutinės kontrolės ribos ir apatinės testavimo ribos, dirbs tinkamai (be priekaištų) sistemoje. SPC vartotojas galės atpažinti galimas problemas, stebint šias anomalijas duomenyse. Problemos pakeis dalis, lėtą gradavimą ir pasenę ar susidėvėję elementai galės būti aptikti stebint neatsitiktines anomalijas ar tendencijas duomenyse.

2002 05 08 34

Procesų pakeitimai

6 pav. Bėgantis grafikas gali būti naudojamas nustatyti

anomalijas duomenų teste

2002 05 08 35

Daugkartiniai duomenų reikalavimai Daugkartinių pardavėjų naudojimas arba

daugkartinių įvertinimų prietaisai gali iššaukti pikus histogramoje, kaip pavaizduota 7 ir 8 pav. Šie pikai praneša, kad gali būti problemų su procesu. Pikų priežasčių nustatymas gali būti naudojamas pagerinti procedūras, procedūrų tikrinimą testavimo aplinkoje.

2002 05 08 36

Daugkartiniai duomenų reikalavimai

7 pav. 150107 diagrama parodo tris pikus matavimuose.

2002 05 08 37

Daugkartiniai duomenų reikalavimai

8 pav. Šis testas matuoja 5VDC plokštės grandinei. Visi paimti iš stoties Nr. 5 įvertinimai yra kairėje, visi įvertinimai dešinėje buvo paimti iš

stoties Nr. 2. Šiuo atveju smulkūs rezultatų skirtumai tarp dviejų stočių neturi neigiamos įtakos testo rezultatams.

2002 05 08 38

Procesų pajėgumai Bėganti diagrama ir histograma gali parodyti rūpimas

priežastis kada proceso pajėgumas yra per geras, kad būtų tiesa, kaip pavaizduota 9 pav. testui Nr. 791007. Šiam testui leistinas nuokrypis yra per didelis. Programa leidžia 10.000 VDC sritis tarp apatinio ir viršutinio testo ribų (nuo -5.0 VDC iki + 5.0 VDC). Duomenys atskleidžia, kad 139 plokščių grandinių sričiai buvo tik 0.0008 VDC tarp žemiausio skaitymo kairėje pusėje (89 pavyzdžiai) ir aukščiausio skaitymo pusėje dešinėje (50 pavyzdžių). Turint šią informaciją, aš įtariu, kad aš turėčiau blogą grandinę, jeigu įvertinčiau 4.50 VDC

2002 05 08 39

Procesų pajėgumai

9 pav. Ar tai per gerai, kad būtų tiesa?Procesų galimybių santykis

(UL - LL) / (UCL - LCL) = 1250. Pastaba: ši lygtis šiek tiek skiriasi nuo daugiau žinomos CPK lygties

2002 05 08 40

Terminologija ATE: Automatinė testavimo įranga (Automatic Test

Equipment), kuri yra naudojama testuojant elektronines plokščių grandines

UUT: Testavimo vienetas (Unit Under Test), pvz.: elektroninė plokštės grandinė yra testuojama

TPS: Testavimo programos aibės (Test Program Set), kurios yra būtinos, kad ištestuoti plokštės grandines ir įrenginio sąsają tarp plokštės grandinės ir testavimo įrenginio (test station)

LL: Apatinė riba (Lower limit) apibrėžta testavimo programoje. LL gali būti vadinama apatine testavimo riba.

UL: Viršutinė riba (Upper limit) nustatoma testavimo programoje.UL gali būti vadinama viršutine testavimo riba.

2002 05 08 41

Terminologija TEST Number (testo numeris): Šis numeris, kaip Testas

791007, nurodo programuotojui apibrėžti testinės programos būsenų skaičių bylos šaltinio kode

Mean (m) (vidurkis): Pavyzdžių vidurys Standard Deviation (s) (standartinis nuokrypis): būdas

parodyti kokie yra ryšiai tarp mėginių ir mėginių vidurio. Normalius pasiskirstymas 68 procentai pavyzdžių su per m +/- 1s, 95 procentai pavyzdžių per m +/- 2s ir 99.7 procentai iš visų pavyzdžių per m +/- 3s

LCL: Apatinis valdymo lygis (Lower Control Limit), kuris proceso tyrimui yra m - 3s.

2002 05 08 42

Terminologija UCL: Viršutinė valdymo rida (Upper Control Limit), kuris

proceso tyrimui yra m + 3s. Statistiškai, 0.3 procento matavimų bus už tiriamos srities ribos LCL ir UCL kuriuos aš pasirinkau skaičiuoti. Matavimų už srities ribų nebūtina nustatyti. Ateities tyrimams reikės nustatyti ar yra problemų su procesu.

Sample Set (pavyzdžių aibė): Dažnai ekonomiškai neapsimoka gauti 100 procentų produkto mėginių. Statistiškai galima vartotojui vykdyti atsitiktinius mėginius tokius kaip 10 elementų savaitės pabaigoje. Naudodamas statistiką, vartotojas gali numatyti kokiu pagrįstumu neištirti elementai išsidėstę virš išmatuotų rezultatų. X(bar) ir R valdymo diagramos yra naudojamos kada yra didesni negu mėginių aibės.

2002 05 08 43

Terminologija Histogram (histograma): Dažniausiai naudojamų

matavimų vaizdavimo būdas. Šiame straipsnyje histogramos buvo nupieštos taip, kad LL kairioji pusė atitiktų UL dešiniąją pusę.

Run Chart (bėganti diagrama): Paprasčiausias būdas vaizduoti diagramoje padarytus matavimus. Pridedant valdymo ir testavimo ribas į run chart užtikrinamas informacijos palyginimas

R Chart (R diagrama): Vaizduojama sritis (skirtumas) tarp didžiausio ir mažiausio matavimo kiekvienoje mėginių aibėje po laiko

X(bar) Chart (X(bar) diagrama): vaizduojamas kiekvienos mėginių aibės vidurkis, kuris buvo imamas vėliau.

2002 05 08 44

Tyrimo rezultatai Šešiasdešimt penki testai vienos UUT testavimo

programos buvo išanalizuoti šiame tyrime. Pirmieji trys rezultatai aptarti žemiau, susiję su 2 – 4 pav. Abu testų pataisymai ir nuokrypiai turėtų būti peržiūrėti 1 – 3 pav., siekiant nustatyti ar perdėtas perdirbimas gali sumažėtas ar likviduotas. Mažinant perdirbimo pastangas, mažės vartotojui kaina.

2002 05 08 45

Tyrimo rezultatai • Devyniose iš 65 testų LCL buvo mažesnis negu LL• Septyniuose iš 65 testų UCL buvo didesnis negu UL• Trijuose iš 65 testų apatinė ir viršutinė valdymo riba buvo už

testavimo ribų• Trisdešimt keturiuose iš 65 testų, testų rezultatų ir valdymo ribų

santykis (ULLL)/(UCLLCL) didesnis negu penki. Tai rodo, kad ateities analizės turi būti vykdomas, kad nustatyti ar pakankamumas yra per platus ir praleidžia klaidingas grandines

• Naudojant lygtis (Mėginių vidurkis – centrinė testavimo riba) / (3 standartiniai nuokrypiai) atskleidžia, kad 13 iš 65 testų mėginių vidurkis buvo perkeltas nuo centrinio leistino nuokrypio daugiau negu trys standartinės nuokrypos. Tai taip pat siūlo, kad ateities tyrimai turi nustatyti ar nuokrypis yra teisingas. Genichi Taguchi ir daugelis kitų ekspertų mano, kad kokybės kaina kyla jeigu procesas yra necentruotas į leistiną nuokrypį

2002 05 08 46

Išvados SPC technika turi būti naudojama kaip įrankis, kaip

testavimo programos automatizavimas testavimo įrangos ir panašios darbo struktūros todėl, kad taikant šią testavimo metodiką pastoviems skaičiavimams gali būti sutaupyti milijonai dolerių. Priešinimasis pakeitimams arba nenoras pripažinti, kad buvęs procesas buvo ne tobulas, gali kliudyti mėginimams. Programų vadybininkai, parduotuvių operatoriai ir inžinieriai privalo dirbti kartu, kad būtų užtikrintas duomenų surinkimas ir naudojamas optimaliausias būdas. Jie taip pat turi garantuoti, kad ateities ATE garantijos įsigijimas, testo rezultatai gali būti lengvai perimti, manipuliuoti ir vaizduojami kaip parodyta šiame straipsnyje.

2002 05 08 47

Apie autorių David B. Putman yra programavimo inžinerijos grupės

lyderis programavimo inžinerijos pasidalijime Hill Air Force bazėje, Jutoje. Jis turi virš 17 metų darbo patirtį su ATE, du metus su Hughes Aircraft ir virš 15 metų su Air Force. Jis buvo Aviacijos programinės įrangos inžinierius 9 metus ir prižiūrėjo du metus ATE inžinerijos komandas. Jis taip pat prižiūrėjo F-16 Operational Flight Program System Design ir Integration Test komandas vienerius metus. Jis turi bakalauro laipsnį elektronikos inžinerijos srityje, Jutos universitete ir magistro laipsnį verslo administravime Jutos universitete.

48 2002 05 08

Apie autorių

OO-ALC/TIS-3

7278 Fourth Street

Hill AFB, UT 84056-5205

Voice: 801-777-4726

Fax: 801-775-3023

E-mail:putmand@software.hill.af.mil

2002 05 08 49

Literatūra1. Crow, Edwin L. et al., Statistics Manual, Dover

Publications, Inc., New York, 1997.

2. Gujarati, Damodar, Essential of Econometrics, McGraw-Hill, Inc., 1992.

3. Chase, Richard and Nicholas Aquilano, Production & Operations Management, IRWIN, 1992.

4. Schmenner, Roger W., Production/Operations Management, Macmillian Publishing Company, 1990.