Algoritmus umělé inteligence vrací barvu do černobílých filmů

Datum 21.03.2023

Vědci z TU Graz vyvinuli algoritmus založený na umělé inteligenci, který je nyní základem softwaru pro realistické kolorování historických černobílých filmů. Zdroj obrázku: HS-ART

Už minimálně půl století se objevují snahy o převádění starých černobílých filmových materiálů do barevných. Nedošlo však k žádnému skutečnému pokroku – úsilí a související náklady na ruční nebo poloautomatické techniky kolorování byly příliš vysoké. V zásadě je možné filmy kolorovat plně automaticky. Má to však tu nevýhodu, že barvy jsou sice pěkné na pohled, ale moc neodpovídají skutečnosti.

Právě zde přišel na řadu projekt “RE:Colo r: Efektivní kolorování filmů v kinematografické kvalitě na základě nových metod strojového učení” na Technické univerzitě ve Štýrském Hradci (TU Graz). Počítačoví vědci pod vedením Thomase Pocka z Ústavu počítačové grafiky společně se společností HS-Art se sídlem ve Štýrském Hradci, která se specializuje na restaurování historických filmů, vyvinuli integrovanou softwarovou aplikaci, která kombinuje interaktivní a automatizované techniky kolorování s technologiemi hlubokého učení. Výsledkem je algoritmus pro převážně automatický, avšak uživatelem plně řízený proces kolorování.

Podle Pocka je zásadní, aby člověk mohl proces barvení ovlivňovat: “Vždycky potřebujete někoho, kdo zná historické tradice a dokáže říct, jak tehdy vypadalo oblečení, fasády atd. Byla uniforma vojáka zelená nebo modrá? O tom žádný algoritmus nerozhodne, ale může se z toho poučit.”

Algoritmus proto musí být zásoben dostatečně velkou sbírkou tréninkových vzorků, aby pak mohl automaticky převzít barvení historických filmů.

“Jde o to obarvit filmy co nejefektivněji s co nejmenším vstupem uživatele. To může například znamenat, že člověk zadá obarvení jednoho filmového snímku a software pak převezme obarvení dalších snímků,” vysvětluje Pock.

Tento ústřední požadavek na řízení uživatelem je splněn pouze díky předem vycvičeným neuronovým sítím, které lze dynamicky ovlivňovat interakcí uživatele.

Za tímto účelem výzkumníci vyvinuli různé nové přístupy v oblasti automatizovaného barvení založené na umělé inteligenci (AI). Společně s vývojáři systému HS-Art pak implementovali nejefektivnější přístup do prototypové aplikace a vytvořili dostatečně výkonnou kolekci trénovacích vzorků. Poté proběhla implementace řízení člověkem, aby bylo možné získat autentická a vhodná barevná schémata.

Pomocí vyvinutých algoritmů lze filmy obnovit extrémně čistě a také barevně – to však nemusí být vždy žádoucí.

“U historických záběrů a filmů obecně potřebujete určité množství šumu, takzvaného ‘filmového zrna’, jinak to pro diváky nevypadá autenticky. Z tohoto důvodu může software tento šum po restaurování a obarvení také uměle generovat a znovu přidat.” říká Pock

Základní algoritmus byl zveřejněn na významném mezinárodním sympoziu a zdrojový kód je volně k dispozici. Pro efektivní využití je však nutný software, který je na něm založen a který vyvinul partner projektu, společnost HS-Art, a který je v jejím produktovém portfoliu.