Výskum, ktorý hľadal najlepší jazyk na zadávanie príkazov AI, dospel k prekvapivému výsledku

Poľský jazyk sa podľa výskumu americkej Marylandskej univerzity v Baltimore a spoločnosti Microsoft ukázal ako najpresnejší pri zadávaní príkazov umelej inteligencii.

V medzinárodnom porovnaní 26 jazykov získal prvé miesto pred francúzštinou a taliančinou, zatiaľ čo angličtina skončila až šiesta. Výsledky boli zverejnené v rámci nového benchmarku OneRuler, ktorý testuje schopnosť veľkých jazykových modelov (LLM) spracovávať dlhé textové vstupy. Informuje o tom varšavský spravodajca TASR podľa Rzeczpospolity.

Podľa autorov štúdie „One ruler to measure them all: Benchmarking multilingual long-context language models“ (Jedno kritérium pre všetky jazyky: Meranie viacjazyčných modelov s dlhým kontextom) poľština dosiahla priemernú úspešnosť 88 percent, zatiaľ čo angličtina necelých 84 percent.

Modely AI pritom zvyčajne trénujú na najväčšom množstve dát práve v angličtine a čínštine, no čínsky jazyk sa v rebríčku umiestnil s výsledkom 62 percent až na štvrtom mieste od konca.

Poľština zabodovala pri dlhých otázkach

Skúmanie prebiehalo na siedmich typoch úloh, rozdelených do kategórií vyhľadávania a agregácie, s kontextami od 8000 do 128.000 tokenov.

Výskumníci zistili, že čím je kontext dlhší, tým sa viac prehlbuje rozdiel vo výkonnosti medzi tzv. vysokozdrojovými jazykmi, ako sú európske, a nízkozdrojovými, ako swahilčina či sothčina. Rozdiel sa zvýšil z 11 na 34 percent pri najdlhších textoch.

Napriek relatívne obmedzenému množstvu dát, na ktorých sa veľké jazykové modely učia po poľsky, dosahujú v tomto jazyku vyššiu presnosť odpovedí, menej chýb a lepšie výsledky pri analýze rozsiahlych dokumentov.

Autori štúdie uviedli, že poľština sa ukázala ako najvhodnejší jazyk na tzv. promptovanie - zadávanie dlhých a komplexných otázok AI.

V priloženom videu si môžete pozrieť reportáž na tému umelá inteligencia na školách: