S příchodem rychlých osobních počítačů, vysokorychlostních sítí a s rozvojem širokopásmového připojení koncového uživatele, prodělává zpracování videa na počítači a jeho distribuce v počítačových sítích kvalitativní posun od malého obrazu s nízkou obnovovací frekvencí a nepříliš kvalitním zvukem k obrazu a zvuku, který již snese srovnání s plnou televizní kvalitou (například s normou PAL používající digitální rozlišení 720576 bodů a frekvenci 25 snímků respektive 50 půlsnímků za vteřinu). Pro efektivní ukládání a distribuci videa je využívána celá řada kompresních formátů. V současnosti získaly největší oblibu formáty Moving Picture Expert Group (MPEG). Komprese v MPEG formátech využívá rozklad obrazu do bloků, v nichž se spočítají obrazové "frekvence" pomocí diskrétní kosinové transformace (DCT) a následně se tyto frekvence komprimují v návaznosti na lidské vnímání obrazu - využívá se tzv. psychovizuálního efektu. Podrobnější informace o principech těchto kompresních formátů lze nalézt např. v [1], [2]. Typickými zástupci skupiny formátu MPEG jsou MPEG-1 používaný například na dnes již poněkud zastaralých VideoCD mediích, velmi rozšířený MPEG-2, který je výchozím standardem pro kompresi videa na DVD, a MPEG-4, který je dnes nejčastěji používán pro distribuci videa po Internetu a jsou na něm založeny téměř všechny běžné formáty jako MS Windows Media, RealMedia, DivX a mnoho dalších. Zvuková stopa je buď nekomprimovaná (PCM) pro snazší synchronizaci zvuku s obrazem, nebo se využívá formátů MPEG 1/2 Layer 3 (neboli známý formát MP3) a AC-3, přičemž posledně zmíněný je hojně využíván pro komerční distribuci vícekanálového zvuku v rámci proprietárního standardu Dolby Digital také na DVD. Konverze mezi různými formáty videa však zejména při požadavku dosažení vysoké kvality výsledného materiálu stále patří mezi natolik výpočetně náročné úlohy, že zpracování v reálném čase na běžně dostupných počítačích bez speciálního akceleračního hardwaru téměř nepřipadá v úvahu.
Na Masarykově univerzitě v Brně byl proto v roce 2002 vytvořen projekt nazvaný Distributed Encoding Environment (DEE) s cílem vybudovat distribuované prostředí pro zpracování videa, které by využilo obrovský výpočetní potenciál PC clusterů dostupných jako součást gridové infrastruktury projektu Centrum [3], [4]. V rámci této infrastruktury je nyní akademické komunitě v ČR dostupných více než 160 procesorů Pentium III a Pentium 4, organizovaných do dvouprocesorových uzlů, osazených typicky 2GB RAM a rychlým diskem pro ukládání mezivýsledků výpočtů. Každý uzel je vybaven gigabitovou ethernetovou síťovou kartou, uzly jsou propojeny gigabitovými přepínači a celé clustery jsou přímo připojeny na páteřní síť CESNET.
Shodou okolností začala současně s projektem DEE vznikat experimentální distribuovaná úložná infrastruktura DiDaS (Distributed Data Storage) založená na protokolu IBP (Internet Backplane Protocol) [5], [6]. Tato infrastruktura je distribuována po celé ČR: část je umístěna ve stejných lokalitách jako infrastruktur Centra (Praha, Brno), další úložiště jsou umístěna v jiných univerzitních městech (Liberec, České Budějovice). Celková kapacita dostupná v rámci této infrastruktury přesahuje 15TB. Projekt DEE se od samého začátku stal jednou z pilotních aplikací projektu DiDaS, jelikož tato úložná infrastruktura je ideální jak k ukládání velkého množství multimediálních dat určených ke zpracování tak i dlouhodobějšímu uložení zpracovaných výsledků.
Prvním krokem ke zpracování videa je jeho nahrání do distribuované
infrastruktury IBP. Na vstupu zpracování je typicky video ve formátu
DV [8] zabalené do souboru AVI nebo QuickTime, vytvořené pomocí běžných
střihových nástrojů (Adobe Premiere, AVID XPress DV atd.). Video je dále
zpracováváno známým programem transcode
[9], který
podporuje velkou škálu vstupních formátů a uživatel si tak může zvolit
kterýkoli z nich.
Příklad zpracování videa ve vstupním formátu DV do cílového formátu RealMedia
(RM) je schématicky znázorněn na obrázku 1. Video je staženo z IBP
pomocí speciálně upravené verze programu transcode
, která je schopna s
IBP přímo pracovat, následně je rozděleno na menší části a tyto části jsou
zpracovány paralelně. V případě, že výstupním formátem má být formát
RealMedia, jehož podpora není integrována v programu
transcode
1, je každá část videa
nejdříve převedena na nekomprimované video (což je jediný možný vstupní formát
pro kódovací program RealProducer) a následně převedena do formátu RealMedia.
Všechny potřebné transformace, jako například odstranění prokládání obrazu
(deinterlacing), zmenšení velikosti obrazu či omezení šumu, jsou provedeny
programem transcode
, který obsahuje velmi kvalitní a efektivní
algoritmy pro zpracování a RealProducer či jiný externí software pro kompresi
již provádí pouze samotnou kompresi do cílového formátu. Na závěr jsou
jednotlivé části videa spojeny do cílového souboru a uživateli jsou k dispozici
v IBP úložištích, z nichž si je buď může stáhnout, či s nimi může dále pracovat
přímo na IBP, má-li k tomu vhodné nástroje.
Systém DEE umožňuje kódování videa většiny běžných formátů vhodných pro stahování či streamování, jako například DivX verze 3, 4 a 5, MS MPEG-4 (Windows Media), MPEG-2 vhodného také pro DVD, MPEG-1 či již zmíněný formát RealMedia, který je vhodný pro umístění na streamovací server sdružení CESNET [2].
Zpracování videa si zběžně ukážeme na obdobném příkladu převodu videa ve formátu DV (ať už zabaleného do obálky QuickTime, jak je běžné pro výstup ze střihového softwaru firmy AVID, nebo v obálkovém formátu AVI, jak je to jednodušší v případě střižny Adobe Premiere). Prvním krokem ke zpracování videa na výpočetní a úložné infrastruktuře Centra je získání účtu, o nějž jde zažádat na adrese http://meta.cesnet.cz. O účet si může zažádat libovolný člen akademické obce v ČR. Pro práci s výpočetními zdroji Centra je třeba si přečíst základní dokumentaci, která je dostupná na webových stránkách2.
Samotné zpracování probíhá následujícím způsobem:
lors tools
, jež jsou součástí
IBP a jsou dostupné pro řadu platforem (Windows, MacOS X, Linux) na
http://loci.cs.utk.edu.
Nahrání je vhodné provádět přímo ze zdrojových
počítačů jako jsou střižny či snímací počítače zaznamenávající video v reálném
čase. Nástroje pro IBP totiž podporují kromě běžných TCP připojení také
připojení Multiple Stream TCP3, umožňující
dosáhnout vyšší efektivity při přenosech na
rychlých (např. gigabitových) spojích.transcode
a spustíme
program run-encode
s parametrem --help
, který nám vypíše
podrobnou nápovědu z níž si vybereme typ úlohy, který chceme provádět. Úlohu
spustíme pomocí tohoto programu s patřičnými parametry. Tento program se sám
postará o rozdělení videa na menší části, o spuštění překódování s požadovanými
parametry a o následné spojení do finálního souboru. Všechny úlohy jsou
spouštěny pomocí plánovacího systému PBS používanému na PC clusterech
Centra, takže je možné využít například oznamování ukončení zpracování
pomocí na e-mailovou adresu uživatele.lors tools
a můžeme jej např. nahrát na streamovací server nebo
na web či ftp server pro stahování.V současné době také připravujeme grafické rozhraní, které - jak alespoň doufáme - zpřístupní kódovací prostředí i uživatelům, kterým rozhraní řádkové nevyhovuje.
Systém DEE je v současnosti rutinně využíván pro zpracování záznamů přednášek na Fakultě informatiky MU, kde je týdně zaznamenáváno více než 20 hodin materiálu. Cílovými formáty jsou DivX pro stahování, RealMedia pro streamování a také samotný zvuk pro ty studenty, kteří obrazovou informaci z nějakého důvodu nechtějí nebo nemohou využít.
Společným úsilím sdružení CESNET a ÚVT MU bylo vybudováno také modelové střihové pracoviště postavené na softwaru AVID XPress DV Pro 4.0, které je využíváno jednak pracovníky ÚVT, FI MU a Fakultní nemocnice u Sv. Anny k produkční tvorbě výukových materiálů a také slouží případným dalším zájemcům z řad akademické obce MU ke školícím účelům. Všichni zájemci o tyto technologie jsou srdečně zváni do Laboratoře pokročilých síťových technologií (sdílené pracoviště FI MU, ÚVT MU a sdružení CESNET), kde je střižna umístěna.
Co říci závěrem? Jako autoři doufáme, že systém DEE začne být hojně využíván a že tím přispějeme k rozvoji využití multimediálních technologií pro podporu výuky stejně jako vědy a výzkumu. Zájemci se mohou o dalších detailech fungování systém DEE dozvědět ze sborníku vybraných příspěvků konference TNC 2004 [7], kde jsou diskutovány také teoretické problémy, které vývoj tohoto systému přinesl. S případnými dotazy a připomínkami je nejlépe se obrátit e-mailem na adresu autora tohoto článku.
A úplně závěrem snad jen malá poznámka: celý systém samozřejmě smí být
používán pouze ke zpracování takových materiálů, k nimž máte autorská práva
nebo k nimž vám jejich vlastník dal souhlas. Ale předpokládám, že tato
informace je laskavému čtenáři již dávno známá...:-)
Tento projekt byl podpořen Fondem Rozvoje sdružení CESNET z.s.p.o. jako projekt číslo 017/2002. Distribuovaná úložná infrastruktura zmiňovaná v tomto článku byla vybudována za podpory projektu 018/2002 FR sdružení CESNET. Projekt Centrum je součást výzkumného záměru sdružení CESNET "Optická síť národního výzkumu a její nové aplikace", MŠM 6383917201.
[1] | The MPEG Home Page.
http://www.chiariglione.org/mpeg/
... zpět do textu |
[2] | P. Holub. Streamovaná multimédia. Zpravodaj ÚVT MU.
ISSN 1212-0901, 2002, roč.12, č.3, s.7-9.
... zpět do textu |
[3] | L. Matyska. Metapočítače a vysoké školy a Akademie
věd České republiky. Zpravodaj ÚVT MU. ISSN 1212-0901, 1998, roč. 9,
č. 1, s. 7-10.
... zpět do textu |
[4] | Projekt METACentrum,
http://meta.cesnet.cz/
... zpět do textu |
[5] | M. Beck, T. Moore, J. S. Planck. An end-to-end approach to
globally scalable network storage. In SIGCOMM'02, 2002.
http://loci.cs.utk.edu/ibp/files/pdf/SIGCOMM02p1783-beck.pdf
... zpět do textu |
[6] | L. Hejtmánek, P. Holub. IBP Deployment Tests and Integration with DiDaS
Project. Technická zpráva CESNET 20/2003.
http://www.cesnet.cz/doc/techzpravy/2003/ibpdidas/
... zpět do textu |
[7] | P. Holub, L. Hejtmánek. Distributed Encoding Environment Based on Grids
and IBP Infrastructure, In Proceedings of Terena Networking Conference '04.
Rhodes, Greece, 2004. ISBN: 90-77559-04-3.
http://www.terena.nl
... zpět do textu |
[8] | Internation Electrotechnical Commission. IEC 61834: Recording
Helical-scan digital video cassette recording system using 6,35mm
magnetic tape for consumer use (525-60, 625-50, 1125-60 and 1250-50
systems), 1998, 1999 - 2001. Parts 1-10.
... zpět do textu |
[9] | T. Oestreich and T. Bitterberg: transcode - Linux Video
Stream Processing Tool.
http://www.theorie.physik.uni-goettingen.de/~ostreich/transcode/
... zpět do textu |
1 | Formát RealMedia je možné vytvářet pomocí programu
RealProducer nazývaný v novějších verzích HelixProducer. Až donedávna byl tento
software dodáván pouze v binárním tvaru, nicméně společnost RealNetworks nyní
buduje platformu Helix, v jejímž rámci jsou uživatelům zpřístupněny také
zdrojové kódy, do jejichž vývoje je možno se zapojit. Více podrobností je k
dispozici na adrese http://www.helixcommunity.org.
... zpět do textu |
2 | http://meta.cesnet.cz/docs/index.cz.html
... zpět do textu |
3 | Multiple Stream TCP využívá několika
paralelních spojeních mezi koncovými body spojení. Tento přístup umožňuje
dosáhnout větší efektivity při přenosu na sítích s malým množstvím výpadků s
náhodnou distribucí, neboť výpadkem je ovlivněn pouze jeden přenos z množiny
paralelních přenosů.
... zpět do textu |