V tomto článku navazujeme na článekInformační technologie a korpusová lingvistika publikovaný dříve ve Zpravodaji. Připomeňme jen, že korpusová lingvistika má v současné době pro lingvistický výzkum klíčový význam. Většina výsledků jazykových výzkumů je ověřována na korpusech textů a mnoho studií je na zpracování korpusů přímo založeno.
Dále stručně připomeňme některé základní informace o korpusech. Korpus je rozsáhlý soubor textů přirozeného jazyka. Texty jsou v korpusu strukturovány a organizovány se zřetelem k využití pro určitý cíl, vůči němuž pak je korpus považován za reprezentativní.
Podle účelu existují různé typy korpusů. Podle zdroje textů mohou být korpusy psaného či mluveného jazyka, všeobecné nebo specializované na určitý styl, publicistický nebo odborný. Většina korpusů s ohledem na svou reprezentativnost obsahuje v různém poměru zástupce všech možných kategorií textů. Podle typu uložených dat mohou korpusy obsahovat pouze holé texty nebo texty různě označkované (anotované). Značkovat lze logickou strukturu textu (kapitoly, odstavce, nadpisy apod.), typografický vzhled (řádkový a stránkový zlom, zvýraznění pomocí různých typů písma apod.) nebo jazykové jevy (slovní druh a gramatické kategorie pro jednotlivé slovní tvary či slovní spojení, syntaktická struktura vět, sémantika a pragmatika vět či částí textu).
Značkované korpusy samozřejmě poskytují více informací o jazyku, a proto je snaha korpusy značkovat. To lze provádět buď ručně, což je ale velice nákladné, nebo automaticky (strojově), což může někdy znamenat zanesení jisté míry nepřesností do značkování. Proto se také mnoho výzkumů v korpusové lingvistice zabývá právě automatickým značkováním textů.
Technicky může mít uložení korpusu v počítači různou podobu. "Nejvolnější" formou je pouhý archiv (kolekce) textů v různých formátech a kódováních podle toho, z jakého zdroje text pochází. Organizovanější jsou textové banky: texty jsou v nich uloženy v jednotném formátu a je na nich provedeno základní značkování - rozdělení textu na jednotlivé články (dokumenty), určení typu zdroje pro každý článek apod. Konečnou formou uložení je použití nějakého korpusového manažeru, který texty zakóduje do určité databáze a uživateli umožňuje prohlížení korpusu z různých úhlů.
Na Fakultě informatiky MU, ale například i v ÚČNK (Ústav Českého národního korpusu), je používán korpusový manažer CQP. Jde o rozsáhlý systém na platformě UNIX obsahující programy pro zakódování korpusu, jeho prohlížení na textových terminálech i v X Window System a další pomocné programy na údržbu korpusu. Systém byl vyvinut na IMS (Institut für maschinelle Sprachverarbeitung) při univerzitě ve Stuttgartu.
Tento systém má několik vlastností, které se neobjevují u jiných korpusových manažerů. V korpusu je možné u každého slova uchovávat libovolné množství atributů. To například pro češtinu znamená, že můžeme u každého slova v korpusu uchovávat kromě základního tvaru slova i všechny jeho gramatické kategorie, zcela podle svého výběru.
V systému lze provádět tzv. přírůstkové dotazování (Incremental Queries). Složité dotazy je tedy možné vytvářet postupně: nejdříve si jednodušším dotazem zúžíme rozsah, potom složitějším dotazem, který se vyhodnocuje pouze na výsledku předchozího dotazu, upřesníme požadavek. Celý postup vede k jednodušší a rychlejší práci s korpusem. Z výsledků jednotlivých dotazů je možné vytvořit tzv. subkorpus. Ten potom můžeme zpřesňovat a rozšiřovat dalšími dotazy a nakonec uložit k pozdějšímu použití.
Také je zajištěn přístup k externím zdrojům informací: v dotazech je možné používat externí "funkce", které jsou zajištěny samostatným programem. Například je možné použít samostatný thesaurus pro zjišťování synonym či nadpojmů jednotlivých slov v dotazu. V tom případě se pro daný korpus v popisu jeho atributů definuje jméno a typ funkce a jméno odpovídajícího programu s případnými parametry. Pak můžeme vytvořit dotaz, který vyhledá všechna slovní spojení se slovy, jejichž nadpojmem je například "člověk".
Bohužel implementace tohoto přístupu není, už z podstaty věci, příliš efektivní, a tak je možné tyto externí funkce z časových důvodů použít pouze pro omezené subkorpusy.
Korpus je v CQP chápán jako posloupnost tzv. pozic. Typicky jsou na jednotlivých pozicích slovní tvary nebo interpunkční znaménka a jiné oddělovače tak, jak jdou v textu za sebou. Každé pozici je přiřazena množina atributů. Každý atribut nese nějakou textovou informaci (slovní tvar, lemma, slovní druh apod.). Pozice libovolného korpusu obsahuje vždy minimálně atribut se jménem word, který obsahuje vlastní slovní tvar na dané pozici.
V korpusu mohou být zaznamenány také různé strukturální značky, jako například hranice vět, odstavců, dokumentů apod. Značky mohou obsahovat další informaci, například značky určující hranice dokumentů nesou informaci o zdroji daného dokumentu.
Pro zkoumání a prohlížení korpusu na textovém terminálu slouží konkordanční program cqp, v grafickém prostředí pak program xkwic. Oba poskytují stejné funkce, xkwic je uživatelsky přívětivější, cqp lze naopak využít v dávkovém zpracování. Práce s oběma programy spočívá mimo jiné v kladení dotazu na vybraný korpus či subkorpus, třídění a prohlížení výsledku, spočítání a zobrazení statistických rozložení různých atributů uvnitř konkordancí ve výsledku dotazu.
Každým dotazem lze vybrat určitou množinu pozic, která je potom se svým okolím zobrazena ve formátu KWIC (Key Word In Context). Nejjednodušší formu dotazu tvoří pouze slovo (zapsané v uvozovkách), které chceme vyhledat. V dotazu také můžeme použít běžné konstrukce regulárních výrazů, známé např. z programu grep. Následující příklad tedy vyhledá všechny výskyty slovních tvarů začínající "počítač", případně s velkým "P".
| DESAM> "[Pp]očítač.*"; obě je centrální <počítač> v Praze pro termin prostředí jako v <počítačové> branži . Přesto ch . Pokud jde o <počítače> , Arxon přišel na i malý prostor . <Počítač> lze dokonce s pomo stolu . Kdo už s <počítači> přišel do styku , izují svůj první <počítač> , však jeho veliko určeny americké <počítače> ALR s pětiletou z |
Pokud chceme hledané pozice omezit i v jiných atributech než word, zapíšeme celou podmínku pro hledanou pozici do hranatých závorek. V podmínce mohou být použity klasické logické operátory (& | !).
| DESAM> [lemma="s?počítat" & tag="k5.*tP.*"]; " Červenec vůbec <nepočítáme> jako sezónu , " ěco později , ale <počítáme> s tím , že by zde o plánu ale zatím <počítá> pouze s rozvojem ul hlavního nádraží <počítají> se zatunelováním ický starosta . " <Počítáme> s tím , že někter , v níž se snímky <počítají> na desítky , zvaž Poměrně snadno se <spočítají> poskytnuté dotac tšení asi 30000:1 <počítají> a měří jednotlivá |
Ještě složitější dotaz může obsahovat regulární výrazy nad pozicemi.
| DESAM> [lemma="počítat" & tag="k5.*"]
[tag="k[234].*"]{0,3} [tag="k1.*"]; . A to <nepočítáme autobusy> . Na tomto místě pomalu <počítá ztrátu> . Film sice vydělal v z asek . <Počítejte sami Tisícikorunové rozdíly> čím <počítat jednotlivé podnikatelské subjekty> roby , <počítány oběti> , vyčíslovány škody ? |
Pro zájemce z FI MU je systém CQP dostupný na strojích anxur, artemis a pyrrha po zadání module add korpus. Pro ostatní zájemce je omezený přístup realizován pomocí WWW na adrese http://www.fi.muni.cz/~pary/korp/.
Na Fakultě informatiky jsou pod korpusovým manažerem CQP dostupné následující korpusy:
|
Obecně o korpusové lingvistice, příkladech korpusů a korpusových nástrojích pojednává již uvedený článek Informační technologie a korpusová lingvistika. O korpusu DESAM, jeho vzniku a použití, vyjde v nejbližší době technická zpráva FI MU (Pala, Rychlý, Smrž). Na již zmíněné stránce http://www.fi.muni.cz/~pary/korp/ lze nalézt další informace o systému CQP a další zajímavé odkazy týkající se korpusové lingvistiky. Více o systému CQP lze nalézt na stránce IMS http://www2.ims.uni-stuttgart.de/~oli/CorpusToolbox/. O Českém národním korpusu existuje stránka ÚČNK http://ucnk.ff.cuni.cz/cnc.
Všechny popsané korpusy jsou na FI MU používány k dalším výzkumům v oblasti počítačového zpracování přirozeného jazyka. Pracuje se na pravděpodobnostním značkování textů, získání seznamu syntaktických struktur, který by měl vést k popisu formální gramatiky. Dále se pracuje na získávání dat pro potřeby seznamu valencí slov. O těchto výzkumech budeme informovat v připravovaných technických zprávách FI MU.
| [1] | K. Pala.
Informační technologie a korpusová lingvistika.
Zpravodaj ÚVT MU, 1996, roč. VI, č. 3 a 4.
... zpět do textu |
předchozí článek
