Ukazuje sa, že preteky v zbrojení, ktoré sa v oblasti informačných technológií rozbehli približne pred desiatimi rokmi, sa blížia ku križovatke. Kvalitné dáta, ktoré sú pre tréning a zostavovanie čoraz objemnejších jazykových modelov generatívnej umelej inteligencie (AI) rozhodujúce, nie sú nevyčerpateľným zdrojom.
Preteky o ovládnutie globálneho trhu s produktmi generatívnej AI sa riadia pravidlom, že väčšie je zvyčajne aj lepšie. Viac parametrov použitých pri vývoji a fungovaní jazykových modelov vytvára systémy AI, ktoré sú nielen výkonnejšie, ale aj efektívnejšie, rýchlejšie a vo všeobecnosti vytvárajú menej chýb ako menšie systémy. Zvyčajne však nie je vždy.
Súťaž vo veľkosti
Technologické spoločnosti, ktoré sa najviac prezentujú v médiách, trend neustáleho zväčšovania často posilňujú, uviedla Aili McConnonová z IBM na stránkach spoločnosti v júli tohto roku. Systém, ktorý sme práve sprevádzkovali, je v mierke veľký ako veľryba. A ukázalo sa, že so superpočítačom s veľkosťou veľryby dokážete vytvoriť veľké množstvo AI, vyhlásil napríklad nedávno technický riaditeľ firmy Microsoft Kevin Scott o superpočítači, ktorý poháňa vývoj najnovšej verzie generatívneho AI chatbota spoločnosti OpenAI ChatGPT-5. Trhová kapitalizácia spoločnosti Nvidia medzitým v júni 2024 dosiahla hranicu troch biliónov dolárov: výrobca procesorov rástol závratným tempom práve preto, lebo jeho čipy poháňajú čoraz väčšie jazykové modely, superpočítače a dátové centrá, ktoré rastú po celom svete.
Po vydaní ChatGPT technologické spoločnosti, ktorých ohodnotenie výrazne profitovalo z rozmachu umelej inteligencie, presviedčali verejnosť, že škálovanie súčasných modelov prostredníctvom pridávania väčšieho množstva údajov a výpočtového výkonu bude neustále viesť k zlepšovaniu modelov umelej inteligencie. Pre spoločnosti vyvíjajúce veľké jazykové modely je rozsah vo väčšine prípadov naozaj výhodou. Keď sa však používatelia snažia oddeliť reklamný humbug od toho, kde môže AI pridať skutočnú hodnotu, zisťujú, že čoraz väčšie jazykové modely nemusia viesť vždy k lepším riešeniam napríklad pre podniky.
Dáta nie sú nekonečné
Všetko závisí od pohľadu. V budúcnosti nebudeme potrebovať modely, ktoré sú 100-násobkom toho, čo máme dnes, aby sme získali väčšinu hodnoty, hovorí Kate Souleová, riaditeľka IBM pre výskum generatívnej AI. Mnoho spoločností, ktorým sa už investície do AI vracajú, ich používa na úlohy, ako sú klasifikácia a sumarizácia, pri ktorých ani nevyužívajú plnú kapacitu súčasných jazykových modelov. Zároveň laboratóriá AI narážajú na neuspokojivé výsledky v pretekoch o vydanie veľkého modelu, ktorý by prevýšil doteraz najvýkonnejší model GPT-4 od OpenAI (GPT-5 je plánovaný na uvedenie do konca tohto roku alebo v prvých mesiacoch 2025). Hoci spoločnosť OpenAI nezverejnila presnú veľkosť GPT-4, predpokladá sa, že by mohol mať od stoviek miliárd až po viac ako bilión parametrov.
Náklady na údaje neustále rastú, pretože veľmi kvalitné podklady používané na trénovanie modelov AI sú čoraz vzácnejšie. Analýza výskumnej organizácie Epoch AI zistila, že modely AI by mohli vyčerpať všetky súčasné takéto kvalitné jazykové údaje dostupné na internete už v roku 2026. Hoci obsah internetu rastie závratnou rýchlosťou – každý deň podľa výskumnej organizácie Statista pribudne na sieti viac ako 400 miliónov terabajtov (terabajt: 1012 bajtov) – dáta nie sú nevyčerpateľným zdrojom, ak majú byť originálne a kvalitné.
R
Článok vznikol v spolupráci s magazínom NEXTECH.
