\"/
\"/ \"/    

Distribuované prostředí pro kódování multimédií

Petr Holub, CESNET, ÚVT MU
Ročník XIV - číslo 5, červen 2004
Citace: P. Holub. Distribuované prostředí pro kódování multimédií. Zpravodaj ÚVT MU. ISSN 1212-0901, 2004, roč. XIV, č. 5, s. 6-9.
verze pro tisk: PDF
Tematické zařazení: Videokonference, videozáznam
 předchozí článek | následující článek 

S příchodem rychlých osobních počítačů, vysokorychlostních sítí a s rozvojem širokopásmového připojení koncového uživatele, prodělává zpracování videa na počítači a jeho distribuce v počítačových sítích kvalitativní posun od malého obrazu s nízkou obnovovací frekvencí a nepříliš kvalitním zvukem k obrazu a zvuku, který již snese srovnání s plnou televizní kvalitou (například s normou PAL používající digitální rozlišení 720576 bodů a frekvenci 25 snímků respektive 50 půlsnímků za vteřinu). Pro efektivní ukládání a distribuci videa je využívána celá řada kompresních formátů. V současnosti získaly největší oblibu formáty Moving Picture Expert Group (MPEG). Komprese v MPEG formátech využívá rozklad obrazu do bloků, v nichž se spočítají obrazové "frekvence" pomocí diskrétní kosinové transformace (DCT) a následně se tyto frekvence komprimují v návaznosti na lidské vnímání obrazu - využívá se tzv. psychovizuálního efektu. Podrobnější informace o principech těchto kompresních formátů lze nalézt např. v [1], [2]. Typickými zástupci skupiny formátu MPEG jsou MPEG-1 používaný například na dnes již poněkud zastaralých VideoCD mediích, velmi rozšířený MPEG-2, který je výchozím standardem pro kompresi videa na DVD, a MPEG-4, který je dnes nejčastěji používán pro distribuci videa po Internetu a jsou na něm založeny téměř všechny běžné formáty jako MS Windows Media, RealMedia, DivX a mnoho dalších. Zvuková stopa je buď nekomprimovaná (PCM) pro snazší synchronizaci zvuku s obrazem, nebo se využívá formátů MPEG 1/2 Layer 3 (neboli známý formát MP3) a AC-3, přičemž posledně zmíněný je hojně využíván pro komerční distribuci vícekanálového zvuku v rámci proprietárního standardu Dolby Digital také na DVD. Konverze mezi různými formáty videa však zejména při požadavku dosažení vysoké kvality výsledného materiálu stále patří mezi natolik výpočetně náročné úlohy, že zpracování v reálném čase na běžně dostupných počítačích bez speciálního akceleračního hardwaru téměř nepřipadá v úvahu.

Na Masarykově univerzitě v Brně byl proto v roce 2002 vytvořen projekt nazvaný Distributed Encoding Environment (DEE) s cílem vybudovat distribuované prostředí pro zpracování videa, které by využilo obrovský výpočetní potenciál PC clusterů dostupných jako součást gridové infrastruktury projektu Centrum [3], [4]. V rámci této infrastruktury je nyní akademické komunitě v ČR dostupných více než 160 procesorů Pentium III a Pentium 4, organizovaných do dvouprocesorových uzlů, osazených typicky 2GB RAM a rychlým diskem pro ukládání mezivýsledků výpočtů. Každý uzel je vybaven gigabitovou ethernetovou síťovou kartou, uzly jsou propojeny gigabitovými přepínači a celé clustery jsou přímo připojeny na páteřní síť CESNET.

Shodou okolností začala současně s projektem DEE vznikat experimentální distribuovaná úložná infrastruktura DiDaS (Distributed Data Storage) založená na protokolu IBP (Internet Backplane Protocol) [5], [6]. Tato infrastruktura je distribuována po celé ČR: část je umístěna ve stejných lokalitách jako infrastruktur Centra (Praha, Brno), další úložiště jsou umístěna v jiných univerzitních městech (Liberec, České Budějovice). Celková kapacita dostupná v rámci této infrastruktury přesahuje 15TB. Projekt DEE se od samého začátku stal jednou z pilotních aplikací projektu DiDaS, jelikož tato úložná infrastruktura je ideální jak k ukládání velkého množství multimediálních dat určených ke zpracování tak i dlouhodobějšímu uložení zpracovaných výsledků.

1  Technické řešení

Prvním krokem ke zpracování videa je jeho nahrání do distribuované infrastruktury IBP. Na vstupu zpracování je typicky video ve formátu DV [8] zabalené do souboru AVI nebo QuickTime, vytvořené pomocí běžných střihových nástrojů (Adobe Premiere, AVID XPress DV atd.). Video je dále zpracováváno známým programem transcode [9], který podporuje velkou škálu vstupních formátů a uživatel si tak může zvolit kterýkoli z nich.

Schématické znázornění průběhu zpracování videa
Obrázek 1: Schématické znázornění průběhu zpracování videa

Příklad zpracování videa ve vstupním formátu DV do cílového formátu RealMedia (RM) je schématicky znázorněn na obrázku 1. Video je staženo z IBP pomocí speciálně upravené verze programu transcode, která je schopna s IBP přímo pracovat, následně je rozděleno na menší části a tyto části jsou zpracovány paralelně. V případě, že výstupním formátem má být formát RealMedia, jehož podpora není integrována v programu transcode1, je každá část videa nejdříve převedena na nekomprimované video (což je jediný možný vstupní formát pro kódovací program RealProducer) a následně převedena do formátu RealMedia. Všechny potřebné transformace, jako například odstranění prokládání obrazu (deinterlacing), zmenšení velikosti obrazu či omezení šumu, jsou provedeny programem transcode, který obsahuje velmi kvalitní a efektivní algoritmy pro zpracování a RealProducer či jiný externí software pro kompresi již provádí pouze samotnou kompresi do cílového formátu. Na závěr jsou jednotlivé části videa spojeny do cílového souboru a uživateli jsou k dispozici v IBP úložištích, z nichž si je buď může stáhnout, či s nimi může dále pracovat přímo na IBP, má-li k tomu vhodné nástroje.

Systém DEE umožňuje kódování videa většiny běžných formátů vhodných pro stahování či streamování, jako například DivX verze 3, 4 a 5, MS MPEG-4 (Windows Media), MPEG-2 vhodného také pro DVD, MPEG-1 či již zmíněný formát RealMedia, který je vhodný pro umístění na streamovací server sdružení CESNET [2].

2  Jak s pracovat se systémem DEE?

Zpracování videa si zběžně ukážeme na obdobném příkladu převodu videa ve formátu DV (ať už zabaleného do obálky QuickTime, jak je běžné pro výstup ze střihového softwaru firmy AVID, nebo v obálkovém formátu AVI, jak je to jednodušší v případě střižny Adobe Premiere). Prvním krokem ke zpracování videa na výpočetní a úložné infrastruktuře Centra je získání účtu, o nějž jde zažádat na adrese http://meta.cesnet.cz. O účet si může zažádat libovolný člen akademické obce v ČR. Pro práci s výpočetními zdroji Centra je třeba si přečíst základní dokumentaci, která je dostupná na webových stránkách2.

Samotné zpracování probíhá následujícím způsobem:

V současné době také připravujeme grafické rozhraní, které - jak alespoň doufáme - zpřístupní kódovací prostředí i uživatelům, kterým rozhraní řádkové nevyhovuje.

3  Místo závěru ...

Systém DEE je v současnosti rutinně využíván pro zpracování záznamů přednášek na Fakultě informatiky MU, kde je týdně zaznamenáváno více než 20 hodin materiálu. Cílovými formáty jsou DivX pro stahování, RealMedia pro streamování a také samotný zvuk pro ty studenty, kteří obrazovou informaci z nějakého důvodu nechtějí nebo nemohou využít.

Společným úsilím sdružení CESNET a ÚVT MU bylo vybudováno také modelové střihové pracoviště postavené na softwaru AVID XPress DV Pro 4.0, které je využíváno jednak pracovníky ÚVT, FI MU a Fakultní nemocnice u Sv. Anny k produkční tvorbě výukových materiálů a také slouží případným dalším zájemcům z řad akademické obce MU ke školícím účelům. Všichni zájemci o tyto technologie jsou srdečně zváni do Laboratoře pokročilých síťových technologií (sdílené pracoviště FI MU, ÚVT MU a sdružení CESNET), kde je střižna umístěna.

Co říci závěrem? Jako autoři doufáme, že systém DEE začne být hojně využíván a že tím přispějeme k rozvoji využití multimediálních technologií pro podporu výuky stejně jako vědy a výzkumu. Zájemci se mohou o dalších detailech fungování systém DEE dozvědět ze sborníku vybraných příspěvků konference TNC 2004 [7], kde jsou diskutovány také teoretické problémy, které vývoj tohoto systému přinesl. S případnými dotazy a připomínkami je nejlépe se obrátit e-mailem na adresu autora tohoto článku.

A úplně závěrem snad jen malá poznámka: celý systém samozřejmě smí být používán pouze ke zpracování takových materiálů, k nimž máte autorská práva nebo k nimž vám jejich vlastník dal souhlas. Ale předpokládám, že tato informace je laskavému čtenáři již dávno známá...:-)

4  Poděkování

Tento projekt byl podpořen Fondem Rozvoje sdružení CESNET z.s.p.o. jako projekt číslo 017/2002. Distribuovaná úložná infrastruktura zmiňovaná v tomto článku byla vybudována za podpory projektu 018/2002 FR sdružení CESNET. Projekt Centrum je součást výzkumného záměru sdružení CESNET "Optická síť národního výzkumu a její nové aplikace", MŠM 6383917201.

Literatura

[1] The MPEG Home Page. http://www.chiariglione.org/mpeg/
... zpět do textu
[2] P. Holub. Streamovaná multimédia. Zpravodaj ÚVT MU. ISSN 1212-0901, 2002, roč.12, č.3, s.7-9.
... zpět do textu
[3] L. Matyska. Metapočítače a vysoké školy a Akademie věd České republiky. Zpravodaj ÚVT MU. ISSN 1212-0901, 1998, roč. 9, č. 1, s. 7-10.
... zpět do textu
[4] Projekt METACentrum, http://meta.cesnet.cz/
... zpět do textu
[5] M. Beck, T. Moore, J. S. Planck. An end-to-end approach to globally scalable network storage. In SIGCOMM'02, 2002. http://loci.cs.utk.edu/ibp/files/pdf/SIGCOMM02p1783-beck.pdf
... zpět do textu
[6] L. Hejtmánek, P. Holub. IBP Deployment Tests and Integration with DiDaS Project. Technická zpráva CESNET 20/2003. http://www.cesnet.cz/doc/techzpravy/2003/ibpdidas/
... zpět do textu
[7] P. Holub, L. Hejtmánek. Distributed Encoding Environment Based on Grids and IBP Infrastructure, In Proceedings of Terena Networking Conference '04. Rhodes, Greece, 2004. ISBN: 90-77559-04-3. http://www.terena.nl
... zpět do textu
[8] Internation Electrotechnical Commission. IEC 61834: Recording Helical-scan digital video cassette recording system using 6,35mm magnetic tape for consumer use (525-60, 625-50, 1125-60 and 1250-50 systems), 1998, 1999 - 2001. Parts 1-10.
... zpět do textu
[9] T. Oestreich and T. Bitterberg: transcode - Linux Video Stream Processing Tool. http://www.theorie.physik.uni-goettingen.de/~ostreich/transcode/
... zpět do textu
setting
1 Formát RealMedia je možné vytvářet pomocí programu RealProducer nazývaný v novějších verzích HelixProducer. Až donedávna byl tento software dodáván pouze v binárním tvaru, nicméně společnost RealNetworks nyní buduje platformu Helix, v jejímž rámci jsou uživatelům zpřístupněny také zdrojové kódy, do jejichž vývoje je možno se zapojit. Více podrobností je k dispozici na adrese http://www.helixcommunity.org.
... zpět do textu
2 http://meta.cesnet.cz/docs/index.cz.html
... zpět do textu
3 Multiple Stream TCP využívá několika paralelních spojeních mezi koncovými body spojení. Tento přístup umožňuje dosáhnout větší efektivity při přenosu na sítích s malým množstvím výpadků s náhodnou distribucí, neboť výpadkem je ovlivněn pouze jeden přenos z množiny paralelních přenosů.
... zpět do textu
Zpět na začátek
ÚVT MU, poslední změna 14.11.2011