V Evropské unii se formuje dynamické prostředí iniciativ zaměřených na vývoj velkých jazykových modelů. Tyto projekty reagují na rostoucí potřebu digitální suverenity a konkurenceschopnosti v oblasti umělé inteligence.

Rozvíjející se prostředí evropských iniciativ v oblasti velkých jazykových modelů

OpenEuroLLM

Projekt OpenEuroLLM je kolaborativní snahou více než 20 evropských výzkumných institucí, technologických firem a center vysoce výkonného počítání. Cílem této iniciativy je vyvinout open-source, vícejazyčné LLM, které posílí digitální autonomii a konkurenceschopnost Evropy v oblasti AI. Mezi klíčové účastníky patří Aleph Alpha z Německa, CSC z Finska a Lights On z Francie. Iniciativu vedou Jan Hajič z Univerzity Karlovy v České republice a Peter Sarlin ze společnosti Silo AI ve Finsku. Projekt získal významnou finanční podporu od Evropské komise ve výši 52 milionů eur a strategickou podporu prostřednictvím platformy STEP. OpenEuroLLM klade důraz na evropské hodnoty transparentnosti, demokratického dohledu a účasti komunity, přičemž zajišťuje otevřený přístup k modelům, softwaru a datům. Iniciativa si klade za cíl zachovat jazykovou a kulturní rozmanitost Evropy podporou všech 24 oficiálních jazyků EU a dalších.

EuroLLM

Dalším významným projektem je EuroLLM, který si klade za cíl nabídnout konkurenceschopný vícejazyčný a multimodální LLM pro všech 24 oficiálních jazyků EU. První modely, EuroLLM-1.7B a jeho jemně doladěná verze EuroLLM-1.7B-Instruct, byly uvolněny pod licencí Apache 2.0 s otevřenými váhami. Model EuroLLM-1.7B byl trénován na rozsáhlém souboru dat o velikosti 4 bilionů tokenů z různých zdrojů a jazyků. Pro jemné doladění instrukcí byl použit multijazyčný soubor dat EuroBlocks. Vývojáři modelu uvádějí, že EuroLLM dosahuje srovnatelných a v některých případech i lepších výsledků než jiné přední LLM, včetně benchmarků jako Hellaswag a Arc Challenge. Projekt si klade za cíl podpořit inovativní evropský ekosystém AI prostřednictvím otevřeného přístupu.

LLMs4EU

Projekt LLMs4EU, koordinovaný Aliancí pro jazykové technologie (ALT-EDIC), si klade za cíl zachovat evropskou jazykovou a kulturní rozmanitost v digitálním věku. Projekt usiluje o zajištění přístupu evropských společností, zejména malých a středních podniků, ke konkurenceschopným jazykovým technologiím. Cílem je zpřístupnit LLM a související nástroje jako otevřená data ve všech jazycích EU. Konsorcium zahrnuje organizace z více než 20 zemí a zaměřuje se na vytváření LLM specifických pro odvětví, jako je energetika, telekomunikace, cestovní ruch, veřejné služby a věda.

TrustLLM

TrustLLM je evropský projekt koordinovaný Linköping University, zaměřený na vývoj důvěryhodných, otevřených a udržitelných LLM, primárně pro germánské jazyky. Projekt si klade za cíl trénovat modely na největším množství evropského textu a posouvat hranice evropského exascale computingu. Důraz je kladen na zajištění faktické správnosti a vytvoření otevřeného ekosystému pro LLM nové generace.

EuroLingua-GPT

EuroLingua-GPT je spolupráce mezi AI Sweden a Fraunhofer IAIS z Německa. Cílem projektu je vyvinout otevřené, velké vícejazyčné jazykové modely pro 45 evropských jazyků, dialektů a kódů. Pro trénování modelů bude využíván superpočítač MareNostrum 5 v Barceloně. Projekt si klade za cíl vytvořit rodinu modelů s počtem parametrů od 7 do 180 miliard.

OpenLLM Europe

OpenLLM Europe je open-source komunita, která si klade za cíl posílit projekty LLM ve všech evropských jazycích, zejména v těch s menšími zdroji. Komunita usiluje o vytvoření prvního multimodálního vícejazyčného evropského modelu ve spolupráci s partnery z celého kontinentu a o podporu otevřených a suverénních generativních digitálních commons.

LLMs4Europe Science Pilot

V rámci projektu LLMs4EU existuje vědecký pilotní program koordinovaný společností CrossLang. Jeho cílem je vytvořit nástroje založené na LLM pro výzkumníky a tvůrce politik, podporující vícejazyčné vyhledávání literatury, syntézu důkazů a automatizované tvorby politických shrnutí. Pilotní program je propojen s Evropským cloudem pro otevřenou vědu (EOSC).

OpenGPT-X

OpenGPT-X je projekt, jehož cílem je vytvořit pokročilé inteligentní služby kompatibilní s GAIA-X, založené na jazykových modelech typu GPT-3, které podporují všechny hlavní evropské jazyky.

Tyto iniciativy představují významný krok směrem k vytvoření silného a nezávislého evropského ekosystému AI.

Decentralizovaná a suverénní evropská umělá inteligence

Vize pro budoucnost

Evropa stojí na prahu nové éry digitální transformace, kde umělá inteligence (AI) hraje klíčovou roli. Vytvoření vlastního velkého jazykového modelu (LLM) pro Evropu se stává strategickou nutností pro zajištění digitální budoucnosti kontinentu. Tato zpráva se zabývá inovativní myšlenkou využití decentralizovaného výpočetního výkonu od občanů Evropské unie pro trénování a provozování takového LLM.

Tato vize zahrnuje mnohostranné cíle: posílení technologické nezávislosti na globálních technologických gigantech (zejména z USA a Číny), zvýšení konkurenceschopnosti Evropy v globálním závodě v oblasti AI a zajištění veřejně dostupné AI, která je v souladu s evropskými hodnotami a vyhýbá se vnější korporátní kontrole. Tato zpráva prozkoumá proveditelnost, přínosy a klíčové aspekty realizace této ambiciózní vize.

Decentralizovaný výpočetní výkon

Základ evropské umělé inteligence

Decentralizovaný výpočetní výkon představuje distribuci výpočetních úloh mezi mnoho propojených zařízení nebo uzlů, namísto spoléhání se na centralizovaný server. Tento přístup nabízí řadu potenciálních výhod pro umělou inteligenci, včetně škálovatelnosti, posílené spolupráce, robustní bezpečnosti, lepší ochrany soukromí a snížené zkreslenosti. Pro trénování a provozování velkých jazykových modelů, které vyžadují značné výpočetní zdroje, může být decentralizovaný výpočetní výkon klíčovým řešením

Potenciální decentralizované platformy a technologie

Akash Network: Akash Network je decentralizovaný trh s cloudovým výpočetním výkonem postavený na blockchainu Cosmos, který nabízí přístup k výpočetním zdrojům GPU za potenciálně nižší náklady. Síť se strategicky zaměřila na podporu úloh AI a strojového učení, včetně GPU NVIDIA. Na síti Akash již běží reálné aplikace AI, jako je Akash Chat a AkashGen.
OORT: OORT je decentralizovaná, ověřitelná cloudová výpočetní platforma, která využívá globální zdroje od datových center po chytré telefony. Služba OORT Compute je určena pro trénování a jemné doladění modelů AI a má být spuštěna ve čtvrtém čtvrtletí roku 2025. Platforma využívá protokol Olympus (vrstva 1 blockchainu) pro propojení zařízení a algoritmus Proof of Honesty (PoH) pro zajištění poctivého provozu a optimalizované alokace zdrojů.
Internet Computer (ICP): ICP umožňuje spouštění modelů AI jako chytrých kontraktů přímo na blockchainu, což zajišťuje transparentnost, ověřitelnost a odolnost vůči cenzuře. Platforma nabízí výkonný hardware uzlů a podporu pro on-chain inference frameworky. V ekosystému ICP již existují decentralizované aplikace AI.

Federated Learning: Federated learning je přístup, který zachovává soukromí a umožňuje kolaborativní trénování modelů AI na mnoha zařízeních nebo v organizacích bez sdílení surových dat. Tento přístup je relevantní pro LLM, protože umožňuje trénování na distribuovaných soukromých datech při zachování soukromí. Existují frameworky jako Flower a FATE-LLM, které podporují federated learning pro LLM.

Postavení Evropy v globálním závodě LLM

Výzvy a příležitosti

Globální trh s velkými jazykovými modely je v současnosti ovládán hráči jako OpenAI (ChatGPT) a Google (Gemini). Významnou roli začínají hrát i čínské společnosti, například DeepSeek. Evropa má však jedinečné silné stránky, které může využít:

Vícejazyčnost: Jazyková rozmanitost Evropy představuje výzvu, ale zároveň i příležitost pro evropský LLM, který může vynikat v jazycích často opomíjených globálními modely.
Regulatorní zaměření: Důraz EU na etickou AI, ochranu soukromí (GDPR) a Akt o AI může být konkurenční výhodou, budující důvěru uživatelů.
Silná výzkumná základna: Evropa má bohatou tradici akademického výzkumu a odborných znalostí v oblasti AI a NLP.

Mezi slabé stránky Evropy patří nedostatek finančních prostředků ve srovnání s USA a Čínou , omezené výpočetní zdroje a roztříštěnost úsilí.

Velké jazykové modely mají strategický význam napříč různými odvětvími, včetně zákaznického servisu, tvorby obsahu, vývoje softwaru, zdravotnictví, financí a práva. Mohou zvýšit provozní efektivitu, podpořit inteligentnější rozhodování, personalizovat zákaznickou zkušenost a urychlit inovace.

Zmocnění jednotlivců: Osobní AI a sdílení zdrojů

Koncept osobních AI asistentů, jako jsou Microsoft Copilot, Google Gemini a Pi, se stává stále reálnějším. Platformy jako Personal AI a Kin umožňují uživatelům vytvářet a trénovat vlastní AI persony s osobními daty. Tito asistenti mají potenciál pomáhat s výměnou informací, rozhodováním, automatizací úkolů a poskytováním personalizované podpory.

Možnost, aby jednotlivci přispívali svým volným výpočetním výkonem, je koncept s historií v projektech jako SETI@home a Folding@home. Decentralizované výpočetní platformy jako Akash a OORT umožňují jednotlivcům sdílet své výpočetní zdroje. Trénování LLM vyžaduje značné výpočetní zdroje a distribuované trénování na okrajových zařízeních je potenciálním řešením. Nicméně, správa distribuovaných zdrojů, zajištění bezpečnosti a soukromí a koordinace trénovacích procesů představují značné výzvy.

Strategická nutnost: Dosažení evropské technologické nezávislosti v oblasti AI

Snížení závislosti Evropy na neevropských technologiích AI je strategickým imperativem pro zajištění digitální suverenity a autonomie. Spoléhání se na zahraniční AI s sebou nese rizika v oblasti ochrany dat, zranitelnosti zabezpečení a potenciálního nesouladu s evropskými hodnotami. AI suverenita přináší Evropě kontrolu nad daty, soulad s evropskými hodnotami a podporu domácího ekosystému AI.

Posílení evropské konkurenceschopnosti: Role nativního LLM

Evropský LLM, podporovaný decentralizovaným výpočetním výkonem, má potenciál významně přispět ke konkurenceschopnosti různých evropských odvětví. Poskytnutím jazykové podpory šité na míru, porozuměním kulturním nuancím a zajištěním datové suverenity může evropský LLM posílit inovace a efektivitu v mnoha odvětvích. Potenciální ekonomický dopad zahrnuje zvýšení produktivity, vytváření pracovních míst v sektoru AI a vývoj nových produktů a služeb poháněných AI. Nativní LLM může také podpořit inovace a výzkum v rámci kontinentu.

České know-how: Základ pro evropský pokrok v oblasti AI

Česká republika disponuje silnou výzkumnou základnou v oblasti AI, s institucemi jako Univerzita Karlova, České vysoké učení technické (ČVUT) a Akademie věd. Čeští experti, jako je Jan Hajič, hrají vedoucí roli v evropských iniciativách LLM, například v projektu OpenEuroLLM. V České republice působí také společnosti s odbornými znalostmi v oblasti AI a NLP, jako je Geneea a CMT Language Technology. Iniciativy jako prg.ai usilují o transformaci Prahy v významné evropské centrum AI. Česká republika má také národní strategii AI zaměřenou na posílení využití AI v různých sektorech. Toto silné zázemí v oblasti AI a NLP činí z České republiky klíčového přispěvatele k rozvoji evropského LLM a potenciálně i ústřední uzel pro takovou iniciativu.

Směrem k veřejně dostupné a otevřené evropské AI

V Evropě sílí hnutí směrem k open-source AI a veřejně dostupným modelům. Open-source AI přináší výhody, jako je demokratizace přístupu, podpora spolupráce, umožnění spravedlivého vývoje a zvýšení transparentnosti. Iniciativy jako OpenEuroLLM a LLMs4EU se zavázaly k principům open-source. Evropský úřad pro umělou inteligenci (AI Office) také usiluje o AI pro veřejné blaho vývojem otevřených a přístupných modelů a algoritmů AI. Tento silný trend směrem k open-source v Evropě podporuje cíl uživatele vytvořit veřejně dostupnou a neovládanou AI, která je v souladu s evropskými hodnotami otevřenosti a přístupnosti v oblasti technologií.

Nastavení kurzu pro decentralizovanou a nezávislou evropskou budoucnost v oblasti AI

Závěr

Evropský velký jazykový model, poháněný decentralizovaným výpočetním výkonem, má obrovský potenciál pro dosažení technologické nezávislosti, posílení konkurenceschopnosti a poskytnutí veřejně dostupné umělé inteligence, která je v souladu s evropskými hodnotami. Stávající evropské iniciativy v oblasti LLM, jako je OpenEuroLLM, EuroLLM a LLMs4EU, představují pevný základ, na kterém lze stavět. Decentralizovaný výpočetní výkon nabízí slibné řešení pro uspokojení značných výpočetních nároků spojených s trénováním a provozováním těchto modelů, přičemž federated learning může zajistit ochranu soukromí při zapojení jednotlivců.

Doporučení:

Tvůrci politik: Podporujte a financujte iniciativy, které kombinují decentralizovaný výpočetní výkon a vývoj open-source LLM v Evropě. Podporujte spolupráci mezi stávajícími evropskými projekty LLM, abyste zabránili roztříštěnosti úsilí. Implementujte politiky, které podněcují jednotlivce k přispívání výpočetního výkonu při současném zajištění bezpečnosti a soukromí. Upřednostňujte etický vývoj AI a slaďte předpisy tak, aby podporovaly inovace v této oblasti. Investujte do infrastruktury, včetně vysoce výkonných výpočetních zdrojů, které budou dostupné širšímu okruhu výzkumníků a vývojářů.
Výzkumníci a vývojáři: Zaměřte se na vývoj architektur LLM a metod trénování, které jsou efektivní a lze je efektivně trénovat na decentralizovaných zdrojích. Prozkoumejte a zdokonalte techniky federovaného učení pro LLM, abyste umožnili kolaborativní trénování s ochranou soukromí. Přispívejte k open-source evropským projektům LLM a vytvářejte nástroje a aplikace na jejich základě.
Jednotlivci: Prozkoumejte a využívejte osobní AI asistenty ke zvýšení produktivity a digitální gramotnosti. Zvažte účast v iniciativách, které umožňují přispívání volného výpočetního výkonu pro výzkum a vývoj AI, pokud jsou zavedena vhodná bezpečnostní opatření a opatření na ochranu soukromí.

Evropa má jedinečnou příležitost utvářet svou vlastní budoucnost v oblasti AI na základě svých jedinečných hodnot a silných stránek. Kombinací decentralizovaného výpočetního výkonu, otevřeného přístupu a silného výzkumného zázemí může Evropa vytvořit suverénní a konkurenceschopnou umělou inteligenci, která bude sloužit jejím občanům a podnikům.

AI Act

Co s tím ?

Pomáháme společnostem řešit AI pakt.

Michal z AI Univerzity hezky vysvětluje co nás čeká.