We zijn verheugd om Transform 2022 persoonlijk terug te brengen op 19 juli en rond 20-28 juli. Sluit je aan bij AI- en dataleiders voor inzichtelijke gesprekken en spannende netwerkmogelijkheden. Registreer vandaag!
Met alle opwinding en innovatie die kunstmatige intelligentie (AI) de afgelopen jaren heeft omringd, is één belangrijk ding vaak verlaten: ondersteuning voor meerdere talen, behalve alleen Engels.
Daar komt nu verandering in, mede dankzij de lancering van BLOOM (een acroniem voor BigScience Large Open-access Open-access Multilingual Language Model). BLOOM ging van start in 2021, geleid door ontwikkeling Beginnen met machineleren met knuffelend gezichtdie in mei $ 100 miljoen ophaalde.
De inspanningen van BigScience profiteren ook van een Een breed scala Van bijdragers, waaronder: Megatron Nvidia en de Microsoft Deep Speed teams, evenals het ontvangen van ondersteuning van CNRSFrans Nationaal Onderzoeksbureau. Het BLOOM-model is gebouwd en getraind met behulp van supercomputer jan ze die zich in Frankrijk bevindt.
BLOOM heeft een architectuur die lijkt op: GPT-3 van OpenAI Een geweldig taalmodel, maar met als belangrijkste verschil dat BLOOM meertalig is.
“GPT-3 is eentalig en BLOOM is vanaf het begin ontworpen om meertalig te zijn, dus het is in meerdere talen getraind en ook om veel programmeertaalgegevens te integreren”, vertelde Tiffin Lou Skau, onderzoeksingenieur bij Hugging Face, aan VentureBeat . “BLOOM ondersteunt 46 menselijke talen en 13 programmeertalen – dat is een heel groot verschil.”
Hoe BLOOM werd getraind in open source machine learning-modellen
De inspanningen van BLOOM hadden meerdere componenten, waaronder het verzamelen van een grote dataset en het bouwen van een trainingsmodel.
Le Scao legde uit dat Hugging Face heeft geprofiteerd van Nvidia’s Megatron- en Microsoft’s DeepSpeed-projecten, inspanningen die zijn ontworpen om datawetenschappers in staat te stellen grote taalmodellen te trainen. Zowel Megatron als DeepSpeed zijn gebaseerd op het open source PyTorch machine learning framework. Voor BLOOM ontwikkelden de onderzoekers een fork van de Megatron- en DeepSpeed-projecten waardoor het model naar alle verschillende talen kon kijken.
Wat BLOOM zelf betreft, het project is openlijk ontwikkeld en gebruikt zijn eigen open licentie gemodelleerd naar AI verantwoordelijk licentie.
“We proberen te definiëren wat open source betekent in de context van grote AI-modellen, omdat ze niet echt werken als software”, zegt Le Scao.
Hij legt uit dat het doel van de BLOOM-licentie is om het model zo open mogelijk te maken, met behoud van een zekere mate van controle over de use cases die organisaties voor het model hebben.
Hoe grote taalmodellen passen in natuurlijke taalverwerking
Large Language Models (LLM) is een subset van het publieke domein van natuurlijke taalverwerking (NLP).
Le Scao zei dat het taalmodel een soort “atomaire eenheid” van NLP is, die de bouwstenen levert waarop complexe AI-interacties en toepassingen kunnen worden gebouwd.
Hij wees er bijvoorbeeld op dat het voor een NLP-model geen zin heeft om te leren samenvatten en tegelijkertijd een taal te spreken. Le Scao zei dat mensen niet leren hoe ze Engels moeten spreken en dan tegelijkertijd een heel onderzoeksrapport schrijven. Het is meestal logisch dat iemand eerst de taal leert spreken.
Use cases voor meertalige formulieren zoals BLOOM
Tot nu toe hebben de meeste modellen van AI-talen Engels of Chinees gebruikt. BLOOM zal nu gebruiksscenario’s uitbreiden, met name voor Frans-, Spaans- en Arabischtaligen, waar voorheen geen open Master was.
Naast het bieden van een nieuwe basis voor meerdere gesproken menselijke talen, kan Bloom ook een nieuw tijdperk van code-ontwikkeling mogelijk maken.
Het gebruik van AI voor code-ontwikkeling is een relatief jonge ruimte, met: GitHub-copiloot, die eind juni algemeen beschikbaar kwam, als een van de eerste leiders. Le Scao verwacht dat het, gezien de verscheidenheid aan programmeertalen die BLOOM begrijpt, zal helpen nieuwe applicaties voor ontwikkelaars mogelijk te maken.
“BLOOM wordt een krachtig platform voor codeertoepassingen”, zegt Le Scao.
Nu BLOOM klaar is voor gebruik, anticipeert Le Scao ook op nieuwe en onverwachte use-cases.
“Dat is het leuke, want we hebben al het harde werk gedaan om Bloom te laten werken, en nu kan iedereen elk gek experiment doen dat ze willen met een sterk taalmodel,” zei hij.
VentureBeat-missie Het moet de digitale stadsarena worden voor technische besluitvormers om kennis op te doen over transformationele bedrijfstechnologie en transacties. Leer meer over lidmaatschap.