• O Zpravodaji
• Pro autory
• Pro čtenáře
• Statistiky

• Aktuální číslo
• Archivní čísla

• Autoři
• Články
• Seriály

• Vyhledávání

   

Distribuované prostředí pro kódování multimédií

S příchodem rychlých osobních počítačů, vysokorychlostních sítí a s rozvojem širokopásmového připojení koncového uživatele, prodělává zpracování videa na počítači a jeho distribuce v počítačových sítích kvalitativní posun od malého obrazu s nízkou obnovovací frekvencí a nepříliš kvalitním zvukem k obrazu a zvuku, který již snese srovnání s plnou televizní kvalitou (například s normou PAL používající digitální rozlišení 720576 bodů a frekvenci 25 snímků respektive 50 půlsnímků za vteřinu). Pro efektivní ukládání a distribuci videa je využívána celá řada kompresních formátů. V současnosti získaly největší oblibu formáty Moving Picture Expert Group (MPEG). Komprese v MPEG formátech využívá rozklad obrazu do bloků, v nichž se spočítají obrazové "frekvence" pomocí diskrétní kosinové transformace (DCT) a následně se tyto frekvence komprimují v návaznosti na lidské vnímání obrazu - využívá se tzv. psychovizuálního efektu. Podrobnější informace o principech těchto kompresních formátů lze nalézt např. v [1], [2]. Typickými zástupci skupiny formátu MPEG jsou MPEG-1 používaný například na dnes již poněkud zastaralých VideoCD mediích, velmi rozšířený MPEG-2, který je výchozím standardem pro kompresi videa na DVD, a MPEG-4, který je dnes nejčastěji používán pro distribuci videa po Internetu a jsou na něm založeny téměř všechny běžné formáty jako MS Windows Media, RealMedia, DivX a mnoho dalších. Zvuková stopa je buď nekomprimovaná (PCM) pro snazší synchronizaci zvuku s obrazem, nebo se využívá formátů MPEG 1/2 Layer 3 (neboli známý formát MP3) a AC-3, přičemž posledně zmíněný je hojně využíván pro komerční distribuci vícekanálového zvuku v rámci proprietárního standardu Dolby Digital také na DVD. Konverze mezi různými formáty videa však zejména při požadavku dosažení vysoké kvality výsledného materiálu stále patří mezi natolik výpočetně náročné úlohy, že zpracování v reálném čase na běžně dostupných počítačích bez speciálního akceleračního hardwaru téměř nepřipadá v úvahu.

Na Masarykově univerzitě v Brně byl proto v roce 2002 vytvořen projekt nazvaný Distributed Encoding Environment (DEE) s cílem vybudovat distribuované prostředí pro zpracování videa, které by využilo obrovský výpočetní potenciál PC clusterů dostupných jako součást gridové infrastruktury projektu Centrum [3], [4]. V rámci této infrastruktury je nyní akademické komunitě v ČR dostupných více než 160 procesorů Pentium III a Pentium 4, organizovaných do dvouprocesorových uzlů, osazených typicky 2GB RAM a rychlým diskem pro ukládání mezivýsledků výpočtů. Každý uzel je vybaven gigabitovou ethernetovou síťovou kartou, uzly jsou propojeny gigabitovými přepínači a celé clustery jsou přímo připojeny na páteřní síť CESNET.

Shodou okolností začala současně s projektem DEE vznikat experimentální distribuovaná úložná infrastruktura DiDaS (Distributed Data Storage) založená na protokolu IBP (Internet Backplane Protocol) [5], [6]. Tato infrastruktura je distribuována po celé ČR: část je umístěna ve stejných lokalitách jako infrastruktur Centra (Praha, Brno), další úložiště jsou umístěna v jiných univerzitních městech (Liberec, České Budějovice). Celková kapacita dostupná v rámci této infrastruktury přesahuje 15TB. Projekt DEE se od samého začátku stal jednou z pilotních aplikací projektu DiDaS, jelikož tato úložná infrastruktura je ideální jak k ukládání velkého množství multimediálních dat určených ke zpracování tak i dlouhodobějšímu uložení zpracovaných výsledků.

1  Technické řešení

Prvním krokem ke zpracování videa je jeho nahrání do distribuované infrastruktury IBP. Na vstupu zpracování je typicky video ve formátu DV [8] zabalené do souboru AVI nebo QuickTime, vytvořené pomocí běžných střihových nástrojů (Adobe Premiere, AVID XPress DV atd.). Video je dále zpracováváno známým programem transcode [9], který podporuje velkou škálu vstupních formátů a uživatel si tak může zvolit kterýkoli z nich.

Příklad zpracování videa ve vstupním formátu DV do cílového formátu RealMedia (RM) je schématicky znázorněn na obrázku 1. Video je staženo z IBP pomocí speciálně upravené verze programu transcode, která je schopna s IBP přímo pracovat, následně je rozděleno na menší části a tyto části jsou zpracovány paralelně. V případě, že výstupním formátem má být formát RealMedia, jehož podpora není integrována v programu transcode1, je každá část videa nejdříve převedena na nekomprimované video (což je jediný možný vstupní formát pro kódovací program RealProducer) a následně převedena do formátu RealMedia. Všechny potřebné transformace, jako například odstranění prokládání obrazu (deinterlacing), zmenšení velikosti obrazu či omezení šumu, jsou provedeny programem transcode, který obsahuje velmi kvalitní a efektivní algoritmy pro zpracování a RealProducer či jiný externí software pro kompresi již provádí pouze samotnou kompresi do cílového formátu. Na závěr jsou jednotlivé části videa spojeny do cílového souboru a uživateli jsou k dispozici v IBP úložištích, z nichž si je buď může stáhnout, či s nimi může dále pracovat přímo na IBP, má-li k tomu vhodné nástroje.

Systém DEE umožňuje kódování videa většiny běžných formátů vhodných pro stahování či streamování, jako například DivX verze 3, 4 a 5, MS MPEG-4 (Windows Media), MPEG-2 vhodného také pro DVD, MPEG-1 či již zmíněný formát RealMedia, který je vhodný pro umístění na streamovací server sdružení CESNET [2].

2  Jak s pracovat se systémem DEE?

Zpracování videa si zběžně ukážeme na obdobném příkladu převodu videa ve formátu DV (ať už zabaleného do obálky QuickTime, jak je běžné pro výstup ze střihového softwaru firmy AVID, nebo v obálkovém formátu AVI, jak je to jednodušší v případě střižny Adobe Premiere). Prvním krokem ke zpracování videa na výpočetní a úložné infrastruktuře Centra je získání účtu, o nějž jde zažádat na adrese http://meta.cesnet.cz. O účet si může zažádat libovolný člen akademické obce v ČR. Pro práci s výpočetními zdroji Centra je třeba si přečíst základní dokumentaci, která je dostupná na webových stránkách2.

Samotné zpracování probíhá následujícím způsobem:

• Data je třeba nahrát do distribuované úložné infrastruktury IBP, což se v současnosti nejsnáze řeší pomocí tzv. lors tools, jež jsou součástí IBP a jsou dostupné pro řadu platforem (Windows, MacOS X, Linux) na http://loci.cs.utk.edu. Nahrání je vhodné provádět přímo ze zdrojových počítačů jako jsou střižny či snímací počítače zaznamenávající video v reálném čase. Nástroje pro IBP totiž podporují kromě běžných TCP připojení také připojení Multiple Stream TCP3, umožňující dosáhnout vyšší efektivity při přenosech na rychlých (např. gigabitových) spojích.
• Po přihlášení na PC cluster nahrajeme modul transcode a spustíme program run-encode s parametrem --help, který nám vypíše podrobnou nápovědu z níž si vybereme typ úlohy, který chceme provádět. Úlohu spustíme pomocí tohoto programu s patřičnými parametry. Tento program se sám postará o rozdělení videa na menší části, o spuštění překódování s požadovanými parametry a o následné spojení do finálního souboru. Všechny úlohy jsou spouštěny pomocí plánovacího systému PBS používanému na PC clusterech Centra, takže je možné využít například oznamování ukončení zpracování pomocí na e-mailovou adresu uživatele.
• Po dokončení zpracování můžeme k výslednému videu přistupovat opět pomocí lors tools a můžeme jej např. nahrát na streamovací server nebo na web či ftp server pro stahování.

V současné době také připravujeme grafické rozhraní, které - jak alespoň doufáme - zpřístupní kódovací prostředí i uživatelům, kterým rozhraní řádkové nevyhovuje.

3  Místo závěru ...

Systém DEE je v současnosti rutinně využíván pro zpracování záznamů přednášek na Fakultě informatiky MU, kde je týdně zaznamenáváno více než 20 hodin materiálu. Cílovými formáty jsou DivX pro stahování, RealMedia pro streamování a také samotný zvuk pro ty studenty, kteří obrazovou informaci z nějakého důvodu nechtějí nebo nemohou využít.

Společným úsilím sdružení CESNET a ÚVT MU bylo vybudováno také modelové střihové pracoviště postavené na softwaru AVID XPress DV Pro 4.0, které je využíváno jednak pracovníky ÚVT, FI MU a Fakultní nemocnice u Sv. Anny k produkční tvorbě výukových materiálů a také slouží případným dalším zájemcům z řad akademické obce MU ke školícím účelům. Všichni zájemci o tyto technologie jsou srdečně zváni do Laboratoře pokročilých síťových technologií (sdílené pracoviště FI MU, ÚVT MU a sdružení CESNET), kde je střižna umístěna.

Co říci závěrem? Jako autoři doufáme, že systém DEE začne být hojně využíván a že tím přispějeme k rozvoji využití multimediálních technologií pro podporu výuky stejně jako vědy a výzkumu. Zájemci se mohou o dalších detailech fungování systém DEE dozvědět ze sborníku vybraných příspěvků konference TNC 2004 [7], kde jsou diskutovány také teoretické problémy, které vývoj tohoto systému přinesl. S případnými dotazy a připomínkami je nejlépe se obrátit e-mailem na adresu autora tohoto článku.

A úplně závěrem snad jen malá poznámka: celý systém samozřejmě smí být používán pouze ke zpracování takových materiálů, k nimž máte autorská práva nebo k nimž vám jejich vlastník dal souhlas. Ale předpokládám, že tato informace je laskavému čtenáři již dávno známá...:-)

4  Poděkování

Tento projekt byl podpořen Fondem Rozvoje sdružení CESNET z.s.p.o. jako projekt číslo 017/2002. Distribuovaná úložná infrastruktura zmiňovaná v tomto článku byla vybudována za podpory projektu 018/2002 FR sdružení CESNET. Projekt Centrum je součást výzkumného záměru sdružení CESNET "Optická síť národního výzkumu a její nové aplikace", MŠM 6383917201.