Haladó grafikaValasek Gábor

Adminisztráció● Előadás koordináló: Valasek Gábor ( valasek@inf.elte.hu )● Kurzus oldala: http://cg.elte.hu/˜msc_cg ● Előadás:

○ Hétfő 16:00-17:30, GrafLab (D2.219)○ Jegyszerzés:

■ Beadandó alapján vagy■ Vizsgaidőszakban írásbeli

● Gyakorlat: ○ Hétfő 17:45-19:15, GrafLab (D2.219)○ Jegyszerzés:

■ Beadandó ■ 100% feletti rész beleszámít az EA-ból a jegyszerzésbe

Államvizsga tétel grafikábólAz inkrementális szerelőszalag áttekintése, a GPU fejlődése, programozhatósága, shader fajták.

=> BScTextúrák, textúrák paraméterezése, mintavételezése és szűrése, procedurális textúrák. Nem-szín textúrák: normál térképek, eltolás térképek és környezeti térképek feladata és bemutatása.

=> ÚJValósidejű vetett árnyék technikák: sík-árnyékok, árnyék térképek, árnyék testek. Összehasonlításuk, előnyeik, hátrányaik.

=> ÚJAnimációs technikák. Animáció és a szimuláció. Animálható tulajdonságok és az animációs görbék megadásának módjai. Hierarchikus szerkezetek: előrehaladó és visszafele haladó kinematika.

=> BSc + Új

Egy kis motiváció

Videók● https://www.youtube.com/watch?v=5YvIHREdVX4 ● https://www.youtube.com/watch?v=yDT55_2_BsA ● https://www.youtube.com/watch?v=NmJ2vuk6mpU

Számítógépes grafika

Számítógépes grafika● Alkalmazott tudományterület, ahol kézzel (vagy legalább szemmel) fogható

eredményt kell produkálni● Feladata vizuális anyagok

○ Előállítása○ Elemzése○ Feldolgozása

● Az óra során képek előállításával fogunk foglalkozni

Ajánlott irodalom● Ingyenesen elérhető irodalom:

○ Szirmay-Kalos László, Antal György, Csonka Ferenc: Háromdimenziós grafika, animáció és játékfejlesztés, ComputerBooks, 2003

○ Andrew Glassner: Principles of digital image synthesis

● Szakmához irodalom:○ Pharr, Humphreys, Hanrahan: Physically Based Rendering (From Theory to Implementation)○ Akenine-Möller, Haines, Hoffman: Real-Time Rendering (3rd edition)

Ajánlott irodalom - gyakorlat● Darth Asylum blog● www.opengl-tutorial.org ● Edward Angel, Dave Shreiner: An Introduction to OpenGL Programming

(Siggraph University)● Patrick Cozzi, Christophe Riccio: OpenGL Insights

Valószerű képszintézisAz emberi vizuális érzékelés

Motiváció● Az általunk kiszámított képpel olyan ingereket akarunk előállítani a

szemlélőben, amilyenekhez hasonlókat tapasztalna, ha az valóságos lenne● Itt több kérdés is van:

○ A virtuális világ leírásához milyen reprezentációt használjunk○ Milyen algoritmusokkal állítsuk elő a képet

● Az utóbbi nagyban függ attól, hogy mi magunk emberek miképp érzékeljük a világot

● Ebben nem csak a szenzorok vesznek részt, hanem pszichológiai szintjei is vannak

Cydonia 1987

Cydonia 2001

Az emberi szem felépítése

A fény útja a szemben● A fény a szaruhártyán megtörve jut a szembe - ez lényegében egy

fény-gyűjtőlencse● A szivárványhártya (iris) csökkenti a szembe jutó fény mennyiségét (szűri), a

pupilla pedig fényreteszként funkcionál● A szemlencse a második gyűjtőlencse; a belépő fénysugarakat a

recehártyára (retinára) fókuszálja (az "egészséges" szemben)

A szem ereje● A szem különböző részeit összesítve kb. +60, +80D erejű - ez 16.7-12.5mm

fókusztávolságot jelent (dioptria)● Az átlagos emberi szem 24mm hosszú a szaruhártyától a retináig - a

sárgafoltra fókuszáláshoz így kb. 42D-t kell● A szemben maradó optikai erő a szem alakjának tökéletlenségeinek

kompenzálására kellenek illetve a nagyon közeli és nagyon távoli objektumokra való fókuszálásnál

A fény útja a szemben

A fény útja a szemben● A különböző hullámhosszú fény másképp törik● Ahhoz, hogy a szemlencse ezeket is a retinára tudja fókuszálni a

sugárizomnak módosítania kell a szemlencse alakját● Ugyanaz történik, mint amikor közelre, vagy távolra nézünk!

○ a piros szín azért kelt közelség érzetet, mert ugyanaz játszódik le piros felületre fókuszáláskor, mint amikor közelebbre nézünk

○ a kék színnél pedig ugyanaz játszódik le, mint amikor távolabbra nézünk, ezért kelt tágasabb érzést

A fény útja a szemben

Fényreceptorok● A retinában kétféle fény érzékelésére szolgáló idegsejt található:

○ Pálcikák (rod): alacsonyabb intenzitású fényre érzékenyek, a sötét-világos megkülönböztetésére alkalmas, alacsonyabb felbontásúak

○ Csapok (cone): erősebb fényingert igénylő idegsejtek, a színlátást és éleslátást szolgálják, tizedannyira érzékenyek a fényre, mint a pálcikák

● Az elektromágneses energia egy bizonyos sávjára érzékenyek csak a fenti sejtek

● Gyakorlati számításokban ennek a 380-780 nanométer közötti hullámhosszú részével foglalkozunk, ez a visual band

Fotoreceptorok● Amikor fény ér egy fotoreceptort egy kémiai reakció indul el, aminek

eredményeképp egy neurális jelet küldenek az agy felé, úgynevezett fotopigmentet

● Az egyes fotoreceptorok más-más mértékben reagálnak (érzékenyek) a különböző hullámhosszú fényekre:

○ Pálcikák: hullámhossztól függően az ugyanolyan erős fényre adott reakció nagysága harang-görbe jellegű görbével írható le - az ember éjszakai látásának nagyjából megfelelő módon

○ Csapok: háromféle van belőlük (S, M, L jelűek); mindegyik különböző hullámhosszú fényre ad maximális reakciót, azoktól fokozatosan eltérőkre egyre kisebbet

● A fotopigmentek csak az érzékelés tényét rögzítik: pontos hullámhosz nem továbbítódik az agy felé! (Térbeli és frekvenciabeli felbontás "trade-off")

Fotoreceptorok - pálcikák● Nem tudják megkülönböztetni a hullámhosszt (~”színvakok)● Kisebb intenzitású fénynél aktívak, de lassabban reagálnak (kb. 100

millisec-enként)● A retina szélén találhatóak, a belső rész felé haladva eltűnnek● 90-120 millió van az emberben

Fotoreceptorok - csapok● Háromféle csap található a szemben:

○ S csap: 420nm körüli fényre a legérzékenyebb (kék)○ M csap: 530nm körüli fényre a legérzékenyebb (zöld)○ L csap: 560nm körüli fényre a legérzékenyebb (vörös)

Fotoreceptorok - csapok● Ha egy csap egy adott hullámhosszra 30%-ban érzékeny az azt jelenti, hogy

átlagosan 10-ből 3-szor fogja abszorbeálni az olyan hullámhosszú fénykomponenst és küld jelet az agy felé

● A fényreceptorok észleléseit a látóideg továbbítja az agy felé● A látóideg csatlakozási pontja a szemgolyóhoz a vakfolt, itt nincsenek sem

csapok, sem pálcikák● A látógödör, ami a vakfolttól oldalra található az éleslátás helye, a közepe a

foveola, ahol kizárólag csapok találhatóak (150000 csap per mm, de: sólyomnál 1 millió a legsűrűbb rész)

● A foveolától kifelé haladva a csapok egyre ritkábbak és a pálcikák váltják fel őket

Fotoreceptorok - csapok● Összesen 6-7 millió csap van az emberi szemben● Nem ugyanannyi van belőlük: az L:M:S arány kb. 8:4:1● A retina közepén például nincs is egyáltalán S (=kék)

Csapok a retinában

A fotoreceptor jele● Az egyetlen fotonra adott neurális jel néhány ms-ig tart● Minden egyes újabb beérkező foton hatása hozzáadódik az előzőhöz● Vagyis a receptor által leadott jel lényegében egy időbeli átlag, egy

aluláteresztő szűrő, aminek vágási frekvenciája függ a megvilágítási körülményektől

A fotoreceptor jele● Egy lassan villogó fényt külön-külön felvillanásokként észlelünk● Azonban ha a felvillanások között eltelt idő egyre kisebb, akkor a

fotoreceptorok által leadott jelek "összetorlódnak" (eléri a Critical flicker frequency-t) => folyamatos fénypontként érzékeljük a látottakat

● A fenti képsorozatokra is igaz: CFF alatt a felvillanó képeket különálló elemekként kezeljük, azt átlépve folytonos képfolyamnak

● A flicker rate sok tényezőtől függ (háttérmegvilágítás, a megjelenített kép nagysága stb.)

● Ideális körülmények között ez nagyjából 60Hz az embereknél (de akár 500Hz-es anomáliákat is tudunk érzékelni!)

Megjegyzés● A beérkező fényintenzitáshoz hatalmas tartományban tud alkalmazkodni az

emberi szem (akár 1010 candela/m2)● Erős fényben kisebb, alacsonyabb intenzitású megvilágításban nagyobb

érzékenységet (=felbontást) ad● A látásban egyúttal a fényintenzitásra érzékenyebb az agyunk, mint a

színinformációra● Az eddigiek alapján néhány kitüntetett hullámhosszat felhasználva tudnánk

színinformációt tárolni a számítógépen

Út az agyba● Leonardo da Vinci 1500 körül leírta, hogy bizonyos színeket milyen

környezetben látjuk a legerősebbnek (a piros sárgán a legerősebb stb.)● Ez azzal is magyarázható, hogy az agy felé küldött információ nem

egyszerűen a háromféle csap által leadott jel● Már csak azért sem, mert a kb. 120 millió pálcika és 6 millió csap jelét

mindössze 1 millió idegrostot tartalmazó látóideg viszi az agyba● Ehelyett az S, M, L által leadott jelek összege vagy különbsége indul az

agyba

Út az agyba● Az agy felé három idegkötegen halad a színinformáció

○ A = M+L: az M és az L csapok által adott válaszok összege, akromatikus csatorna (valószínűleg ez volt az első látásra kifejlesztett csatorna)

○ R/G = M - L: vörös-zöld különbség○ B/Y = S - A: a kék és az akromatikus csatorna (kb sárga) különbsége

● Vagyis a színek a következő három koordinátatengely mentén jutnak el az agyba:

○ intenzitás, ○ vörös-zöld, ○ kék-sárga

● Azaz 1D-s intenzitás és 2D-s szín (króma) információból rekonstruálunk

Út az agyba● A fentiek egyik következénye, hogy például sohasem mondjuk azt egy színre,

hogy ez “vöröses-zöld”● Az agy felé továbbított csatornák azt is befolyásolják, hogy egy adott színt

mennyire tartunk telítettnek (saturated)○ Nagyjából a színt érzékelő kromatikus csatornák és az akromatikus csatorna válaszának

aránya határozza meg ezt○ Ezért is van, hogy például a sárgát (=erős akromatikus válasz) nem tartjuk annyira telítettnek,

mint akármilyen pirosat vagy kéket (=alacsony akromatikus válasz)

Színek a számítógépen

Angol nomenklatúra● Gamut: az összes lehetséges szín valamilyen konstrukción keresztül

előállítható részhalmaza. Grafikában ez alatt azt értjük, hogy egy adott szín-térrel és adott megjelenítő eszközzel milyen színeket lehet előállítani.

● Primary color (primaries): valahány szín halmaza, amelyek különböző intenzitású keveréséből (ez lehet additív, szubtraktív stb.) egy gamutot állítanak elő.

CIE

CIE

CIE RGB tér

Színek a számítógépen● International Commission on Illumination, 1931.: hogyan lehetne egy

"standard" leírást adni arra, hogy egy ember miképp érzékeli a színeket● A kísérletek egyik eredménye volt, hogy bármely szín előállítható három,

megfelelő szín keverékeként (itt: színes fények egymásra vetítésével) (ugyanaz a szín többféleképpen is előállhat különböző színek kombinációjaként! Ezek a metamerek.)

● => Bármely színérzet kódolható egy számhármassal,tristimulus értékkel● De ne feledjük: a színérzetet akár az étrend is befolyásolhatja (ld. 2. vh.

haditengerészes kísérlet)

CIE RGB tér● A három fény hullámhossza 700 nm, 546.1 nm és 435.8 nm volt● Ezekből az normalizált színillesztő függvényeket úgy határozták

meg, hogy először a görbék alatti területeket egyenlővé tették, majd pedig skálázták őket (attól függő arányokban, hogy luminanciát vagy radianciát akartak pontosan reprodukálni)

● Ha adott S spektrumú fény R, G, B koordináit akarjuk kiszámolni, akkor csak képezzük S és a színillesztő függvények skaláris szorzatát:

Szín-tér● Az RGB térrel az első problémát az jelentette, hogy negatív koordinátákra is

szükség volt bizonyos hullámhosszú monokromatikus fény érzékeléséhez hasonló fényérzet kialakításához

● Ezért a CIE kialakított 3 ideális “fényforrást”, amelyek segítségével a látható spektrumbeli fények csak pozitív súlyokkal kikeverhetőek voltak

● Ez lett az XYZ, ahol○ Y a CIE kísérlet által létrehozott “átlagos szemlélő” luminozitás függvényével egyezik meg○ Emellett volt még néhány követelmény○ Illetve feltették, hogy az RGB-ből egy lineáris leképezés át kell vigyen XYZ. Ez ez lett:

CIE

Szín-terek tovább● Sem az RGB, sem az XYZ nem túl kényelmes, amikor kreatív munkát kell

végeznünk színekkel● Például oldjátok meg a következő feladatot RGB-ben:

MacAdam ellipszisek RGB-ben

MacAdam ellipszisek● Kísérlet: eredetileg két fényforrás ugyanazt a színt vetítette● Aztán az RGB tengelyek mentén elkezdék az egyik fényforrás fényét

módosítani● Majd regisztrálták, hogy a kísérletben résztvevő alany mikor jelezte, hogy

számára a két szín különböző● Látható: nagyon különböző orientációjú és sugarú ellipsziseket kapunk =>

például egy kék árnyalatból egy adott nagyságú elmozdulást hogy ha megismétlek a zöldnél, akkor amíg a kék markánsan megváltozik, addig a zöld lényegében ugyanaz marad

Szín-terek tovább● Jó lenne egy olyan szín-teret találni, amiben a metrika arányos az emberi

érzékelés fényerő és króma metrikáival● Azaz ha lineárisan interpolálok két szín között, akkor a közbülső pontok

legyenek a két szín közötti szemünk által elvárt folytonos átmenet színei● Keressünk olyan szín-teret, amiben ez teljesül (legalább közelítően, az

előállítható színek egy alterében)

LMS

R-GB-Y

akrom

Emberi érzékelés input/output párja

?

CIE L*u*v* és CIE L*a*b*● Az XYZ egy-egy nemlineáris átképezése, egy referencia fehér szín

segítségével definiálták, CIE D65-tel. Az L mindkettőnél a fényerőt méri.

CIE L*u*v* és CIE L*a*b*● Sokkal intuitívabb: az L* tengely lényegében fényerőt mér● Az u*v* és az a*b* pedig egy L* tengelyre merőleges sík

polárkoorinátarendszerének tekinthető, ahol az egyik tengely a színárnyalatot méri, a másik pedig a szín telítettségét

Szín-tér problémák● A körszerű MacAdam ellipszisekkel rendelkező tereket uniformnak szokták

hívni● De nem ez az egyetlen probléma: szükségünk van arra is, hogy az adott

szín-térbeli koordinátái egy színnek lineárisak legyenek● Azaz a színeken végzett vektorműveletek megfeleljenek a valóságban

érzékelt színintenzitásoknak● Ezek a lineáris szín-terek● Csakhogy az emberi látás nem-lineáris. Egy lineáris RGB paletta elpazarolná

a rendelkezésre álló biteket számunkra alig megkülönböztethető árnyalatokra (ne feledjük: nagy fényintenzitásoknál a különbségekre kevésbé vagyunk érzékenyek, felesleges ugyanazt a felbontást használnunk nagy fényerejű színek kódolására, mint kisebbekére)

sRGB● A HP és a Microsoft közös szabványa, amivel monitorok, nyomtatók és az

internet színeit szabványosították● Az ITU-R BT.709-es primaries-eket használja● Egy lineáris, XYZ-ből induló transzformációval kezd:

● Ezután egy nemlineáris gamma-korrekciót alkalmaz minden C csatornára:

sRGB gamma (kék = log-log der)

Gamma correction

sRGB és lineáris RGB● Az sRGB nem lineáris! Azaz nem lehet csak úgy vektorműveleteket csinálni,

hiszen exponenciális értékeket tartalmaznak● Képfeldolgozásnál tipikusan lineáris térben akarunk lenni● Viszont tárolásnál nagyon gyakran sRGB van (legalábbis 8 bites

csatornánkénti formátumoknál● Írásnál kell egy RGB -> sRGB● Olvasásnál pedig egy sRGB -> RGB transzformáció

Megjelenítők

megjelenítők

fénykibocsátó fényterjesztő

CRT Led ... LCD TFT ...

A fény

A fény● Sokáig nem tudták, hogy pontosan mi is a fény● A pontos modell pedig jelenleg még nem alkalmazható valósidejű

képszintézisben● De más területeken, például már az orvosi képalkotásban fontosak lesznek

olyan dolgok, amiket a későbbi előadások során leegyszerűsítünk● Spoiler: a valósidejű (és produkciós) grafikában a fényt mint részecskét

kezeljük