\"/
\"/ \"/    

Superpočítačové služby na MU?

Luděk Matyska, FI MU, ÚVT MU
Ročník XX - číslo 4, duben 2010
Citace: L. Matyska. Superpočítačové služby na MU?. Zpravodaj ÚVT MU. ISSN 1212-0901, 2010, roč. XX, č. 4, s. 17-20.
verze pro tisk: PDF
Tematické zařazení: Služby pro uživatele MU, Superpočítače a gridy
 předchozí článek | následující číslo 
Masarykova univerzita má své superpočítačové centrum již 16 let, od roku 1994, kdy bylo při Ústavu výpočetní techniky MU založeno Superpočítačové centrum Brno (SCB). SCB v devadesátých letech minulého století provozovalo nejvýkonnější počítače dostupné v akademickém prostředí v ČR.

Nedostatek vhodných programů podpory velkých infrastrukturních systémů pro vědu a výzkum v ČR však SCB vedl k postupné orientaci na clusterové systémy a gridy. Ty umožňují poskytovat jistou třídu velmi důležitých výpočetních systémů i bez masivních investic, přitom propojení do gridové infrastruktury na národní i mezinárodní úrovni nabízí přístup k dodatečné výpočetní kapacitě instalované mimo SCB a současně umožňuje využití pro spolupráci týmů nejrůznějších vědeckých disciplin. Ve spolupráci se sdružením CESNET a dalšími partnery, zejména UK a ZČU, se SCB podařilo prosadit v mezinárodním měřítku a nabídnout i na MU gridové výpočetní prostředí špičkových parametrů. Přes tyto nesporné výhody však zájemci o skutečně výkonné superpočítačové systémy museli hledat uplatnění jinde, zejména pak v německých i vzdálenějších superpočítačových centrech (často ovšem s pomocí SCB).

Situace by se však měla v nejbližší době změnit v souvislosti s plány dalšího rozvoje a transformace SCB, které našly své vyjádření v listopadu podaném projektu CERIT (Centre for Education, Research and Innovation in the information Technology). Jedná se o společný projekt Fakulty informatiky a Ústavu výpočetní techniky, jehož jedna ze tří divizí - divize CERIT-SC - má vzniknout právě transformací stávajícího SCB do nové generace superpočítačového centra. CERIT-SC by mělo začít sloužit nejen jako nástroj ukotvení ostatních aktivit centra CERIT, ale má v plánech rozsáhlé služby spolupracujícím projektům, jako je brněnský CEITEC či komplementární projekt BIOCEV, projekty CzechICOS, CzechGlobe, RECAMO, ADMAS a další. Zpravidla se jedná o české součásti celoevropských či globálních velkých výzkumných infrastruktur, popsaných v ESFRI roadmapě. Česká ESFRI roadmapa byla schválena vládou ČR 15. března 2010 a CERIT-SC je součástí kapitoly o národní e-Infrastruktuře, společně se sdružením CESNET a ostravským projektem IT4Innovations. CERIT-SC samozřejmě bude nabízet své služby i dalším subjektům a výzkumným skupinám a bude rovněž mít zájem na spolupráci při výchově nových generací vědců a odborníků obecně, kteří budou schopni docenit a zejména plně využít možnosti, které přístup k nejvýkonnější výpočetní technice nabízí.

Co jsou tedy služby, které můžeme od superpočítačového centra CERIT-SC nově očekávat? Co bude nabízet a čím se tato nabídka bude lišit od stávajícího stavu, kdy SCB, zpravidla jako součást národního gridu MetaCentrum, již základní služby nabízí?

Základem je samozřejmě výpočetní výkon počítačů, které budou v centru CERIT-SC instalovány. Nejjednodušší službou je zpřístupnění tohoto výkonu prostřednictvím dávkového systému, tj. možnosti připravit do vhodné fronty úlohu, která bude po nějaké době spuštěna. S ohledem na plánovanou virtualizaci clusterů, které by měly tvořit významnou část poskytované výpočetní kapacity, k dispozici bude i cloud rozhraní, které umožní vybrat a spouštět celé virtuální počítače se zapouzdřenými aplikacemi. Virtualizace umožní přes univerzální dávkové rozhraní spouštět i interaktivní úlohy, kdy uživatel ve velmi krátkém čase buď získá požadované zdroje (nejen jednotlivé stroje, ale i celé virtuální clustery, vhodné např. pro vývoj a práci s paralelními úlohami) nebo bude jeho požadavek na interaktivní přístup odmítnut.

Pod pojmem superpočítač je v plánech centra uvažován systém s větším počtem procesorů propojených velmi rychlou sítí, která umožňuje přímo adresovat celou instalovanou paměť. Jednou ze zvažovaných možností je i paralelní vektorový systém obdobného typu, jaký v tomto roce instaloval Český hydrometeorologický ústav pro zpracování úloh předpovědi počasí1. Velmi vysoká cena superpočítačů prakticky vylučuje jejich využití v interaktivním režimu (člověk je příliš pomalý na to, aby řádně zaměstnal procesory v superpočítači - přesněji, člověk je pomalý i při interaktivní práci s procesory v clusteru, tam ale výhoda interaktivní práce plně kompenzuje ztrátu teoretického výkonu jednoho relativně levného procesoru a celková efektivita práce může být vyšší než v čistě dávkovém přístupu). V prostředí superpočítače však bude umožněn přímý přístup k probíhajícímu výpočtu s možností jeho ovlivnění, tzv. steering. Uživatel v takovém případě může nejen v reálném čase průběh výpočtu sledovat, ale může přímo měnit jeho parametry tak, aby v co nejkratším čase dosáhl co nejlepších výsledků.

Všechny výpočetní systémy budou plně integrovány do národní a mezinárodní gridové infrastruktury. Centrum tak uživatelům bude garantovat bezproblémovou spolupráci na národní a mezinárodní úrovni, bez zbytečných problémů a nutnosti přecházet na jiná prostředí. Tato integrace se bude týkat jak clusterů, tak i samotného superpočítače, s možností do tohoto prostředí integrovat i vlastní výpočetní kapacity samotných uživatelů.

Uživatelé superpočítačového centra se samozřejmě liší jak ve svých požadavcích, tak i dosahovaných výsledcích. CERIT-SC počítá s kombinací tří základních principů přidělování dostupné kapacity. Část bude předem alokována spolupracujícím centrům a institucím, která budou odpovědná za efektivní využití přidělených zdrojů. Přístup k další části výkonu bude přidělovat vědecká rada superpočítačového centra CERIT-SC, na základě formálních (ale jednoduchých) požadavků konkrétních uživatelů či jejich skupin. Poslední část kapacity bude poskytována formou "best effort", tj. na podobném principu jako v případě rozdělování kapacity počítačových sítí. Uživatelé však budou současně muset centrum informovat o výsledcích (publikace, nový software, ...), které s využitím zdrojů centra vytvořili. Zvýšení či snížení priority přístupu (např. doba čekání ve frontě či maximální počet souběžně běžících úloh) pak bude odvozeno od "výkonu" uživatele, tj. množství a kvality zaregistrovaných výsledků. Vědecká rada CERIT-SC bude samozřejmě nejen přidělovat část kapacit, ale bude hodnotit využití všech zdrojů, včetně zhodnocení spolupráce se strategickými partnery. Nejvyšší prioritu získají vždy uživatelé a skupiny s nejkvalitnějšími vědeckými výsledky či s největším inovačním dopadem (např. nové metody modelování s bezprostředním praktickým využitím). Zatímco kvalitu není možné posoudit mechanicky a její "měření" bude primárním úkolem vědecké rady centra, návazná implementace rozhodnutí rady již bude automatizována tak, aby minimalizovala byrokracii jak na straně centra, tak zejména u jeho uživatelů.

Souběžně s výpočetní kapacitou bude centrum CERIT-SC poskytovat i datová úložiště, a to jak v přímé souvislosti s výpočty, tak i pro nezávislé dlouhodobé ukládání dat a jejich následné zpřístupnění dalším zájemcům. Snahou centra bude poskytovat v podstatě neomezenou úložnou kapacitu pro krátkodobé účely (spojené se zpracováním dat) a kapacitu v řádu PB (1015 bytů) pro dlouhodobější ukládání dat. Přístup k datům bude nabízen prostřednictvím převážné většiny běžných protokolů tak, aby si uživatelé mohli vybrat podle aktuální potřeby pro ně nejvhodnější (nejefektivnější) přístupovou metodu. Tam, kde to bude mít smysl, budou data zpřístupněna i přes webové rozhraní, které zpravidla představuje nejjednodušší všeobecně podporovaný přístup, byť zpravidla jen s omezenou propustností. Naopak vysokorychlostní protokoly budou k dispozici pro přesun dat mezi úložišti a výpočetními systémy, pro snadné zpracování i velmi rozsáhlých objemů dat (např. nové systémy pro zjišťování genetické sekvence mohou snadno vygenerovat jednotky až desítky TB dat v rámci jediného měření, tato data bude přitom třeba nejen uložit, ale i dále zpracovávat).

K dispozici budou nejen systémy souborů, ale data bude možné ukládat i v databázové formě. Databáze umožní snazší organizaci dat a jejich vyhledávání i podle většího počtu kritérií.

Veškerá data budou samozřejmě zálohována, v případě potřeby i ve více lokalitách v ČR. Centrum bude nabízet i nástroje a další podporu pro zpřístupnění uložených dat, a to jak s přísnou kontrolou přístupu, tak i v případech, kdy o data mohou mít zájem tisíce uživatelů současně a jednoduché způsoby vystavení nebudou dostatečně výkonné.

Ve spolupráci se sdružením CESNET a případně dalšími partnery se centrum bude věnovat problematice dlouhodobého ukládání dat a podílet se na souvisejícím výzkumu. Data budou zpravidla ukládána současně na několika místech v ČR, což zajistí dostupnost i v případě rozsáhlé havárie. Centrum bude udržovat i dlouhodobé autentizační a autorizační údaje tak, aby původní oprávnění k přístupu nebylo s postupem času zeslabeno (data zpřístupněna i subjektům bez příslušného oprávnění), nebo naopak zesíleno (k datům se nedostane ani jejich původní majitel, neboť jeho digitální identita se během let změnila). V případě skutečně dlouhodobého ukládání dat bude rovněž třeba najít vhodné finanční modely a zajistit, aby služba nebyla kapacitně limitována. Realisticky to znamená, že majitelé dat se budou postupně muset podílet na nákladech dlouhodobého ukládání dat, nalezení vhodného rámce a cenových relací bude jedním z výzkumných cílů centra, v úzké spolupráci s konkrétními uživateli.

Potenciálně největší přínos superpočítačového centra CERIT-SC však vychází z jeho integrace do centra CERIT a úzké návaznosti na další odborné skupiny. Hrubý výpočetní výkon či úložná kapacita budou vždy nabízeny společně s odborníky, kteří budou schopni analyzovat (dlouhodobé) potřeby uživatelů a ve spolupráci s nimi navrhnout a následně připravit prostředí, které bude maximálně vyhovovat konkrétním požadavkům. CERIT-SC se bude specializovat na vyhledávání synergií mezi požadavky uživatelů, vlastní odborností pracovníků superpočítačového centra a znalostmi a expertizou pracovníků dalších divizí centra CERIT. Bude tak možné skládat vysoce kvalifikované ad hoc týmy s krátkodobou i dlouhodobou existencí. Centrum CERIT-SC bude rovněž nabízet potřebná školení a možnosti zvýšení kvalifikace v oblasti práce s nejvýkonnější výpočetní technikou a rozsáhlými datovými úložišti.

Projekt CERIT prošel úspěšně první etapou národního hodnocení a v současné době se čeká na výsledky hodnocení mezinárodním odborným panelem. V případě kladného hodnocení by pak realizace celého projektu měla být zahájena nejpozději začátkem roku 2011 a první superpočítačové služby by měly být zájemcům k dispozici již v první polovině téhož roku.

setting
1 CERIT-SC má uzavřenu dohodu o spoluprácis klimatology, pro něž by volba takovéto platformy byla velmi výhodná.
... zpět do textu
Zpět na začátek
ÚVT MU, poslední změna 14.11.2011