Celá řada předcházejících článků byla věnována projektu META Centrum, tedy prostředí pro podporu distribuovaných výpočtů. Dnes si ukážeme, že myšlenka propojování počítačů není pouze českou záležitostí a že existují problémy, jejichž řešení bez takovéto infrastruktury není vůbec myslitelné.
Jedním z velkých problémů Evropy je její roztříštěnost do jednotlivých národních států s rozdílnými kulturami, jazyky, obchodními bariérami, ale i finanční politikou a způsobem podpory vědy. Přes značnou snahu Evropské unie stále existuje výrazný rozdíl mezi situací v Evropě a USA či Japonsku, které daleko intenzivněji a úspěšně těží z homogennosti svých národních prostředí.
Zatímco v oblasti mezinárodní spolupráce vědeckých týmů, pracujících na řešení konkrétních odborných problémů, je situace uspokojivá až velmi dobrá a existují jasné mechanismy pro podporu této spolupráce, je situace v oblasti infrastruktury podstatně složitější. Typickým příkladem takovéto infrastruktury je počítačová síť: výzkum v oblasti telekomunikací je něco zcela jiného než zprovoznění a údržba rozsáhlé sítě, využívané pro předem nespecifikované účely lidmi, kteří s těmi, kdo síť provozují, nemají odborně naprosto nic společného. Od roku 1996 je vysokorychlostní mezinárodní počítačová síť nejen považována za jeden z nezbytných předpokladů pro úspěšnou mezinárodní vědeckou spolupráci, ale je rovněž v odpovídající míře finančně podporována1. Budování sítě bylo velmi finančně náročné a naráželo a stále naráží na obrovské rozdíly v chování národních telekomunikačních operátorů (Český Telecom zdaleka není nejhorším hráčem na tomto poli a v poslední době se posunul spíše do slušného průměru) - propojení dvou sousedních států se podle polohy v Evropě může lišit až řádovým cenovým rozdílem2. Přesto je v této záležitosti patrný výrazný pokrok, kdy síť GEANT, která je následníkem sítě TEN-155 a nahradí ji od listopadu tohoto roku, počítá s gigabitovými mezinárodními rychlostmi za cenu, která se příliš neliší od ceny placené před cca 5 lety za rychlosti 10-34Mb/s.
Počítačové sítě však nejsou a nemohou být jedinou infrastrukturou vědy, jejíž podpora na mezinárodní úrovni je nezbytná. Superpočítačová centra jsou dalším příkladem prostředků, které je možno sdílet - již v současné době je běžné, že vědci využívají výpočetní kapacity superpočítačových center, s nimiž nemají žádný fyzický kontakt, konkrétní využití (konkrétní výpočet) je však téměř výhradně omezeno vždy na jedno centrum. Zásadní nedostatek tohoto modelu, který spočívá v omezených možnostech růstu každého konkrétního centra (a tedy nemožnosti řešit pouze vlastními silami určité problémy), vede i samotná superpočítačová centra ke snahám o vzájemnou spolupráci a vytváření metapočítače (GRIDu, výpočetní mřížky).
Na podzim roku 1999 bylo neformálně ustaveno sdružení EGrid (European Grid), které v současné době sdružuje již téměř dvě desítky superpočítačových center a dalších pracovišť z oblasti paralelních a distribuovaných výpočtů z celé Evropy (viz www.egrid.org)3.
Cílem tohoto sdružení (nemá žádnou oficiální právní formu) je podpora spolupráce v oblasti metapočítání, zejména formou společného využívání dostupných výpočetních kapacit. V současné době je ustaveno pět pracovních skupin:
EGrid je v mnoha ohledech "mladším bratrem" obdobného amerického sdružení Gridforum; reakcí na ustavení EGridu je oboustranný zájem o užší mezinárodní spolupráci a v nejbližší době (5. Gridforum je plánováno na 15.-18. října do Bostonu) by mělo dojít k ustavení Globálního Gridfora, které by na celosvětové úrovni spojovalo zájemce o oblast metapočítání a podporovalo společný výzkum v této oblasti i využívání již dostupných či nově budovaných kapacit.
Pravděpodobně nejzajímavější aktivitou EGridu, která by měla současně prověřit skutečné možnosti mezinárodní spolupráce v této oblasti, je příprava demonstrace možností evropského Gridu v době konání mezinárodní konference o superpočítání SC2000 (přelom října a listopadu v Dallasu, USA). V podstatě se bude jednat o migrujícího internetového "červa", představovaného programem Wavetoy, který byl vytvořen v programovém prostředí Cactus4 (vyvinut v Albert Einstein Institute v Německu původně pro potřeby astrofyzikálních výpočtů). Programové prostředí Cactus podporuje vývoj i vlastní běh adaptabilních programů, tj. programů, které se mohou přizpůsobit dostupným výpočetním zdrojům. Vlastní program je paralelní, ale bude počítán vždy pouze na jednom konkrétním (paralelním) počítači, zdroje každého paralelního počítače však budou k dispozici pouze na omezenou dobu. Program (resp. podpůrné prostředí) bude schopen s předstihem před ukončením výpočtu na konkrétním počítači nalézt nový volný počítač - scénář počítá s výpočetními centry především v Evropě (včetně 40ti procesorového počítače Origin 2000 na MU Brno) ale i v USA a podle možností i v Japonsku. Po nalezení volného počítače se celý výpočet na něj přenese a bude pokračovat po dobu, po niž budou zdroje tohoto stroje k dispozici. Předpokládá se, že tímto způsobem bude výpočet "putovat" po jednotlivých centrech a současně celou dobu bude spočtené výsledky zasílat na místo konání konference tak, aby mohly být průběžně zobrazovány (bude k dispozici Immersa Desk pro realistickou 3D vizualizaci).
Vyhledání volného počítače i vlastní migrace budou zajišťovány automaticky podpůrnou infrastrukturou, která bude v tomto případě tvořena pomocí systému Globus5. Realizace tohoto výpočtu vyžaduje kromě jiného i vyřešení bezpečnostních otázek (aby zpřístupnění zdrojů jednotlivých center nemohly zneužít nepovolané osoby), problematiku údržby verzí (různé verze podpůrného prostředí i systému Globus nejsou bohužel často vzájemně kompatibilní) i další vývoj příslušného programového vybavení (Cactus i Globus) tak, aby skutečně takto rozsáhlou migraci dat podporovalo. Bude se jednat o jeden z nejrozsáhlejších testů "dospělosti" GRIDové infrastruktury mimo USA a je to i vhodný test současných možností Evropy z pohledu dále diskutovaného projektu DATAGRID.
Evropským největším mezinárodním pracovištěm je bezpochyby pracoviště fyziky vysokých energií v CERNu ve Švýcarsku. Špičkové vědecké pracoviště tohoto druhu je současně významným hráčem i v oblasti informačních technologií - ostatně samotná myšlenka webu a první implementace vznikly právě zde. Nepřekvapí proto, že CERN přišel s návrhem zatím největšího evropského projektu v oblasti podpory skutečně rozsáhlých distribuovaných výpočtů. Projekt DATAGRID prošel úspěšně prvním kolem a v době psaní článku se dokončují dokumenty pro závěrečné kolo přípravy kontraktu tak, aby vlastní řešení mohlo být zahájeno od 1. ledna 2001.
Bezprostřední motivací projektu DATAGRID jsou nové plánované experimenty v CERNu. Kromě jiného má být v roce 2005 spuštěn nový urychlovač (LHC, Light Hadron Collider), jehož výstavba již byla zahájena. Tento urychlovač umožní realizovat celou řadu experimentů, jejichž společným jmenovatelem je obrovský objem dat poskytovaných velkým počtem detektorů a čidel. Předpokládá se, že tok dat postupně dosáhne úrovně několika Terabyte (tisíce Gigabyte) denně, za jediný rok provozu tak bude vytvořeno přes 1PT (Petabyte, 1015 Byte) dat, která by měla být následně zpracována. Všechny detektory a čidla tato data poskytují samozřejmě v reálném čase, výpadek v ukládání může vést ke zcela nenahraditelné ztrátě dat a je proto zcela nezbytné zajistit co nejvyšší spolehlivost při požadované propustnosti (1TB/den odpovídá trvalému toku cca 12MB/s bez jediného výpadku). Návazným problémem je pak vlastní zpracování těchto experimentálních dat - pokud bychom si jeden petabyte dat představili jakou sloupec reálných čísel v dvojnásobné přesnosti, tak jejich prosté sečtení na počítači s výkonem jedna miliarda operací za sekundu by trvalo téměř dva dny.
CERN je typickým představitelem distribuovaného pracoviště. Zatímco primární (velká) experimentální zařízení jsou umístěna v sídle organizace, fyzici zpracovávající výsledky experimentů jsou rozptýleni po celém světě. Data získaná z experimentů jim musí být vhodnou formou zpřístupněna a musí jim být umožněno je dále zpracovat - pokud bychom data přesouvali rychlostí cca 10Gb/s (cílová plánovaná propustnost sítě GEANT), pak na pouhé zkopírování 1PT potřebujeme cca 10 dní. Je zřejmé, že bez vysoké míry paralelizace je jakékoliv následné zpracování nemožné.
Zajištění uvedených požadavků je principiálně možno realizovat dvěma způsoby:
Ekonomické, ale i technologické parametry ukazují, že druhé řešení, přestože staví na doposud teprve vyvíjených technologiích, je mnohem perspektivnější. Klíčovým slovem je zde totiž rozšiřitelnost, tedy schopnost systému růst v návaznosti jak na rostoucí objem dat produkovaných jednotlivými experimenty, tak i na očekávatelný rostoucí zájem o zpracování těchto dat - jakákoliv apriorní predikce potřebného výkonu bude zcela jistě špatná a návrh zajištění musí nabízet cestu k výraznému růstu výkonu za přijatelnou cenu. Proprietární řešení (tj. nákup velkých superpočítačů) vede k nepřípustné závislosti na dodavatelích, což se nejen negativně odráží na ceně, ale především vede k nebezpečí technologického zaostávání (nikdo nemůže garantovat, že firma, která dnes nabízí nejvýkonnější počítače, bude mít obdobně výkonné systémy i za pět let).
V případě návrhu projektu DATAGRID byla idea metapočítání dovedena do důsledků převažující orientací na tzv. commodity computing, tj. na využití běžně dostupné (a tedy výrazně levné) výpočetní techniky, tj. osobních počítačů s procesory Intel nebo kompatibilními. Hlavní výhodou tohoto rozhodnutí je faktická nezávislost na dodavateli a současně záruka, že obdobnou techniku mají a budou na svých pracovištích mít i všichni spolupracující fyzici a další odborníci. Orientace na tento typ výpočetní techniky a práce v co nejotevřenějším prostředí (Open Source přístup pro veškeré zdrojové texty programů vyvinutých v rámci projektu) současně nevylučuje využití i počítačů jiných výrobců (IBM, Sun, HP, SGI, ...); především velké databáze, v nichž budou ukládána primární data, budou zřejmě realizovány (i) na jiné než pouze PC technologii.
Co jsou tedy cíle projektu? Jsou jimi mimo jiné:
Idea metapočítání (či GRIDu) nabývá v posledním roce na intenzitě i v rámci Evropy. Propojení výzkumných a vzdělávacích institucí a infrastrukturních center výzkumu vysokorychlostní sítí vede k rozvoji nových aplikací a vytváření nových formálních i neformálních sdružení, snažících se překonat dosavadní formy spolupráce a zejména sdílení kapacit v rámci Evropy. Trend směrem k metapočítání začíná podporovat i Evropská unie, kde se v plánu výzev 5. rámcového programu k předkládání projektů na další rok objevuje GRID jako samostatná, rozvoj a tedy i finanční podporu vyžadující oblast výzkumu6. Vytvoření rozsáhlého funkčního GRIDu je přitom výzvou nejen provozní, ale především výzkumnou - chybí nejen technologie, ale i porozumění základním principům vývoje rozsáhlých rozšiřitelných systémů bez jakéhokoliv centrálního řízení (paralela GRIDu a Internetu je zcela na místě). Myšlenka GRIDu přitom není omezena pouze na podporu zpracování rozsáhlých souborů dat či náročných výpočtů (à la DATAGRID7), ale postupně zaujímá své místo jako základní infrastruktura pro "všudypřítomné" (ubiquitous) počítání. O tom ale zase někdy příště.
V aktivitách EGridu i projektu DATAGRID jsou angažováni především prostřednictvím sdružení CESNET i pracovníci Masarykovy univerzity. Zájemci o spolupráci či další informace se mohou obrátit na autora příspěvku.
| 1 | Je však třeba říci, že i zde se příslušná
rozhodnutí odehrála především pod tlakem stále se prohlubujícího rozdílu
mezi situací v EU a USA a nebyla bohužel výsledkem nějaké vlastní
evropské iniciativy v tomto směru.
... zpět do textu |
| 2 | Dlouhou dobu bylo např. připojení
Portugalska realizováno atlantickou linkou, protože připojení přes
Španělsko nebylo z cenových a dalších netechnických důvodů možné.
... zpět do textu |
| 3 | Je možná příznačné,
že k rozhodnutí ustavit takovéto sdružení došlo v rámci konference HPDC
v létě 1999 v USA. Rovněž první oficiální pracovní schůzka se
uskutečnila v průběhu konference SC99 v USA.
... zpět do textu |
| 4 | www.cactuscode.org
... zpět do textu |
| 5 | www.globus.org
... zpět do textu |
| 6 | V rámci 5. rámcového programu nebyly superpočítačové aktivity jako samostatná
oblast zařazeny mezi priority a nebyly proto samostatně podporovány, na
rozdíl od předchozích rámcových plánů. Teprve přidaná hodnota,
kterou představuje spolupráce při vytváření GRIDů, společně s rostoucími požadavky na
výpočetní kapacity, které ve špičkách přesahují možnosti jednotlivých center,
vedla k rozhodnutí vrátit i superpočítačové aktivity mezi prioritní
oblasti 5. rámcového programu.
... zpět do textu |
| 7 | Řada organizací sdružených v EGridu je současně řešiteli
projektu DATAGRID.
... zpět do textu |
předchozí číslo
