De nieuwe technologie-wapenwedloop: de strijd van miljarden dollars om kunstmatige intelligentie op te bouwen

Tijdens het testen kwam een ​​onlangs uitgebracht Large Language Model (LLM) naar voren identificeren Dat hij werd geëvalueerd en becommentarieerd op het belang van de informatie die hij verwerkte. Dit heeft geleid tot speculatie dat dit antwoord hiervan een voorbeeld zou kunnen zijn voorbij kennisHet begrijpen van de eigen denkprocessen. Hoewel het recente LLM-onderzoek aanleiding heeft gegeven tot discussie over het potentieel van AI voor zelfbewustzijn, is het echte verhaal de enorme kracht van het model, dat een voorbeeld biedt van de nieuwe mogelijkheden die ontstaan ​​naarmate LLM groter wordt.

En net zoals zij dat doen, geldt dat ook voor de opkomende mogelijkheden en kosten, die nu astronomische aantallen bereiken. En net zoals de halfgeleiderindustrie zich heeft verenigd rond een handvol bedrijven die in staat zijn om state-of-the-art chipfabrieken van miljarden dollars te kopen, kan het vakgebied van de kunstmatige intelligentie binnenkort… Het wordt alleen gedomineerd door de grootste technologiereuzen – en hun partners – kunnen de rekening betalen voor de ontwikkeling van de nieuwste LLM-fundamentele modellen zoals GPT-4 en Claude 3.

De kosten voor het trainen van deze nieuwere modellen, die capaciteiten hebben die de menselijke prestaties evenaren en in sommige gevallen zelfs overtreffen, stijgen exponentieel. Sterker nog, de bijbehorende opleidingskosten Nieuwste modellen Het nadert de $200 miljoen en dreigt het industriële landschap te veranderen.

Als deze exponentiële prestatiegroei zich voortzet, zullen de AI-capaciteiten niet alleen snel vooruitgaan, maar zullen er ook enorme kosten ontstaan. Anthropic behoort tot de leiders in het bouwen van taalmodellen en chatbots. Minstens evenveel Gestandaardiseerde testresultaten Het display is misschien wel het vlaggenschip Cloud 3 Huidige leider In prestaties. Net als GPT-4 is het een basismodel dat vooraf is getraind in een grote verscheidenheid aan gegevens om een ​​breed begrip van taal, concepten en patronen te ontwikkelen.

Mede-oprichter en CEO van het bedrijf Dario Amodei onlangs DSkoppig De kosten voor het trainen van deze modellen, waardoor het trainen van Cloud 3 ongeveer $ 100 miljoen bedraagt. Hij voegde eraan toe dat de modellen die nu in training zijn en later in 2024 of begin 2025 gelanceerd zullen worden, “wat de kosten betreft dichter bij een miljard dollar liggen.”

Om de reden achter deze hoge kosten te begrijpen, moeten we kijken naar de steeds toenemende complexiteit van deze modellen. Elke nieuwe generatie bevat een groter aantal parameters die een complexer begrip en uitvoering van query's mogelijk maken, meer trainingsgegevens en grotere hoeveelheden computerbronnen die nodig zijn. Amodei verwacht dat het in 2025 of 2026 tussen de 5 en 10 miljard dollar zal kosten om de nieuwste modellen te trainen. Dit zal voorkomen dat alle bedrijven, behalve de grootste, en hun partners deze basis LLM-programma's opzetten.

Kunstmatige intelligentie volgt de halfgeleiderindustrie

Op deze manier volgt de AI-industrie een vergelijkbaar pad als de halfgeleiderindustrie. In het laatste deel van de 20e eeuw ontwierpen en bouwden de meeste halfgeleiderbedrijven hun eigen chips. Terwijl de industrie de wet van Moore volgde – een concept dat de exponentiële snelheid van verbetering van de chipprestaties beschrijft – stegen de kosten van elke nieuwe generatie apparatuur en fabrieken voor de productie van halfgeleiders proportioneel.

Als gevolg hiervan kiezen veel bedrijven er uiteindelijk voor om de productie van hun producten uit te besteden. AMD is een goed voorbeeld. Het bedrijf vervaardigde zijn eigen loodhalfgeleiders, maar nam in 2008 het besluit om zijn eigen loodhalfgeleiders te produceren Spin-off van hun fabriekenook wel fabs genoemd, om de kosten te verlagen.

Vanwege de noodzakelijke kapitaalkosten zijn er tegenwoordig slechts drie halfgeleiderbedrijven die moderne fabrieken bouwen met behulp van de nieuwste technologieën voor verwerkingsknooppunten: TSMC, Intel en Samsung. TSMC onlangs Hij zei Het bouwen van een nieuwe, ultramoderne productiefabriek voor halfgeleiders zou ongeveer 20 miljard dollar kosten. Veel bedrijven, waaronder Apple, Nvidia, Qualcomm en AMD, besteden de productie van hun producten uit aan deze fabrikanten.

Implicaties van kunstmatige intelligentie – LLM's en SLM's

De impact van deze hogere kosten varieert binnen het AI-landschap, omdat niet elke toepassing de nieuwste en beste MBA vereist. Dit geldt ook voor halfgeleiders. De centrale verwerkingseenheid (CPU) van een computer wordt bijvoorbeeld vaak vervaardigd met behulp van de nieuwste geavanceerde halfgeleidertechnologie. Ze worden echter omringd door andere geheugen- of netwerkchips die op lagere snelheden werken, wat betekent dat ze niet met de snelste of krachtigste technologie hoeven te worden gebouwd.

De AI-analogie hier is de vele kleinere LLM-alternatieven die zijn ontstaan, zoals Mistral en Llama3, die enkele miljarden parameters bieden in plaats van Meer dan een biljoen Er wordt aangenomen dat het deel uitmaakt van GPT-4. Microsoft heeft onlangs zijn eigen kleine taalmodel (SLM) uitgebracht, Phi-3. leuk vinden genoemd Volgens The Verge heeft het 3,8 miljard parameters en is het getraind op een kleinere dataset vergeleken met LLM's zoals GPT-4.

De kleinere omvang en de kleinere trainingsdataset helpen de kosten binnen de perken te houden, hoewel deze mogelijk niet hetzelfde prestatieniveau bieden als grotere modellen. Op deze manier lijken deze SLM's sterk op de chips in een computer die de centrale verwerkingseenheid (CPU) ondersteunen.

Voor sommige toepassingen kunnen kleinere modellen echter geschikt zijn, vooral voor toepassingen waarvoor geen volledige kennis over meerdere gegevensdomeinen nodig is. SLM kan bijvoorbeeld worden gebruikt om bedrijfsspecifieke gegevens en terminologie te verfijnen om nauwkeurige en gepersonaliseerde antwoorden op vragen van klanten te bieden. Of het individu kan worden getraind met behulp van gegevens die specifiek zijn voor een bepaalde sector of marktsegment, of worden gebruikt om uitgebreide en op maat gemaakte onderzoeksrapporten en antwoorden op vragen te maken.

Zoals Rowan Curran, een senior AI-analist bij Forrester Research zei hij onlangs Over de verschillende taalmodelopties: “Je hebt niet altijd een sportwagen nodig. Er zal geen brede categorie modellen zijn die iedereen voor alle toepassingen zal gebruiken.

Een paar spelers voegen risico toe

Net zoals stijgende kosten historisch gezien het aantal bedrijven hebben beperkt dat in staat is geavanceerde halfgeleiders te bouwen, geeft soortgelijke economische druk nu vorm aan het landschap van de ontwikkeling van grote taalmodellen. Deze escalerende kosten dreigen AI-innovatie te beperken tot een paar dominante spelers, waardoor bredere creatieve oplossingen mogelijk worden onderdrukt en de diversiteit in het veld wordt beperkt. Hoge toetredingsdrempels kunnen startups en kleine bedrijven ervan weerhouden bij te dragen aan de ontwikkeling van AI, waardoor de reikwijdte van ideeën en toepassingen wordt beperkt.

Om deze trend te compenseren moet de industrie kleinere, gespecialiseerde taalmodellen ondersteunen, die, net als kerncomponenten in een breder systeem, belangrijke en krachtige mogelijkheden bieden voor verschillende gespecialiseerde toepassingen. Het bevorderen van open source-projecten en samenwerkingsinspanningen is van cruciaal belang voor het democratiseren van de AI-ontwikkeling en het mogelijk maken van een breder scala aan deelnemers om deze geavanceerde technologie te beïnvloeden. Door nu een inclusieve omgeving te bevorderen, kunnen we ervoor zorgen dat de toekomst van AI de voordelen voor mondiale gemeenschappen maximaliseert, gekenmerkt door brede toegang en gelijke kansen voor innovatie.

Gary Grossman is uitvoerend vice-president van Technology Practice bij Edelman en mondiaal leiderschap van het Edelman AI Center of Excellence.