Hon Hai Research Institute lanceert Traditional Chinese LLM met redeneervermogen
Eerste versie gebruikt door AI-onderzoekscenter presteert goed in wiskunde en redeneren
TAIPEI, 10 maart 2025 /PRNewswire/ -- Het Hon Hai Research Institute kondigde vandaag de lancering aan van de eerste Traditional Chinese LLM (Large Language Model), waarmee een nieuwe mijlpaal is gezet in de ontwikkeling van de Taiwanese AI-technologie met een efficiëntere en goedkopere trainingsmethode voor modellen die in amper vier weken is voltooid.
Het instituut, dat wordt gesteund door Hon Hai Technology Group ("Foxconn") (TWSE:2317), 's werelds grootste elektronicafabrikant en toonaangevende leverancier van technologische oplossingen, verklaarde dat de LLM - met FoxBrain als codenaam - in de toekomst open source zal zijn en publiekelijk zal worden gedeeld. Het was oorspronkelijk ontworpen voor toepassingen die in de interne systemen van de groep werden gebruikt, met functies zoals gegevensanalyse, beslissingsondersteuning, samenwerking voor documenten, wiskunde, redeneren en problemen oplossen, en het genereren van codes.
FoxBrain getuigt niet alleen van een krachtig begrips- en redeneervermogen, maar is ook geoptimaliseerd voor de taalstijl van Taiwanese gebruikers en vertoont uitstekende prestaties in wiskundige en logische redeneertesten.
"De afgelopen maanden zijn het verdiepen van het redeneervermogen en het efficiënte gebruik van GPU's geleidelijk de mainstream ontwikkeling op gebied van AI geworden. Ons FoxBrain-model heeft een zeer efficiënte trainingsstrategie, waarbij de nadruk ligt op het optimaliseren van het trainingsproces in plaats van het blindelings vergaren van rekenkracht," aldus Dr. Yung-Hui Li, directeur van het Artificial Intelligence Research Center van het Hon Hai Research Institute. "Via zorgvuldig ontworpen trainingsmethoden en optimalisatie van resources, hebben we met succes een lokaal AI-model met krachtige redeneercapaciteiten tot stand gebracht."
Het FoxBrain-trainingsproces werd aangedreven door 120 NVIDIA H100 GPU's, op schaal gebracht met NVIDIA Quantum-2 InfiniBand-netwerken en voltooid in slechts ongeveer vier weken. In vergelijking met inferentiemodellen die onlangs op de markt zijn gebracht, vormt de efficiëntere en goedkopere methode voor modeltraining een nieuwe mijlpaal voor de ontwikkeling van de Taiwanese AI-technologie.
FoxBrain is gebaseerd op de Meta Llama 3.1-architectuur met 70B parameters. In de meeste categorieën van de TMMLU+ test dataset, presteert het beter dan Llama-3-Taiwan-70B van dezelfde schaal. Het blinkt vooral uit in wiskunde en logisch redeneren (voor TMMLU+ benchmark van FoxBrain, zie Afb.1). Hierna volgen de technische specificaties en trainingsstrategieën voor FoxBrain:
-- Gegevensuitbreidingsmethoden en kwaliteitsbeoordeling bepaald voor 24 onderwerpcategorieën met behulp van eigen technologie, waarmee 98B-tokens van hoogwaardige pre-traininggegevens voor Traditioneel Chinees zijn gegenereerd -- Lengte van het contextvenster: 128 K tokens -- 120 NVIDIA H100 GPU's gebruikt voor training, met totale rekenkosten van 2.688 GPU-dagen. -- Architectuur voor parallelle training met meerdere knooppunten gebruikt om hoge prestaties en stabiliteit te garanderen -- Unieke Adaptive Reasoning Reflection-techniek gebruikt om het model te trainen in autonoom redeneren
In testresultaten vertoonde FoxBrain aanzienlijke verbeteringen in wiskunde vergeleken met het basismodel Meta Llama 3.1. Het boekte grote vooruitgang in wiskundige testen in vergelijking met Taiwan Llama, momenteel het beste Traditional Chinese LLM, en overtrof Meta's huidige modellen van dezelfde klasse in wiskundig redeneervermogen. Hoewel er nog steeds een kleine kloof is met het distillatiemodel van DeepSeek, liggen de prestaties al heel dicht bij de wereldstandaarden.
De ontwikkeling van FoxBrain - van het verzamelen, opschonen en aanvullen van gegevens tot continue pre-training, Supervised Finetuning, RLAIF en Adaptive Reasoning Reflection - werd stap voor stap uitgevoerd door middel van onafhankelijk onderzoek. Uiteindelijk zijn er ondanks de beperkte rekenkrachtresources voordelen behaald die in de buurt komen van AI-modellen van wereldklasse. Dit LLM-onderzoek toont aan dat het Taiwanees technologisch talent met internationale tegenhangers op gebied van AI-modellen kan wedijveren.
Hoewel FoxBrain oorspronkelijk is ontworpen voor toepassingen binnen de groep, zal de Groep in de toekomst met technologiepartners blijven samenwerken om de toepassingen van FoxBrain uit te breiden, de open-source informatie te delen en AI te promoten in productie, beheer van toeleveringsketens en intelligente besluitvorming.
Tijdens de modeltraining bood NVIDIA ondersteuning via de Taipei-1 supercomputer en technisch advies, waardoor het Hon Hai Research Institute de pre-training van het model met NVIDIA NeMo met succes kon voltooien. FoxBrain wordt ook een belangrijke motor achter de upgrade van de drie belangrijkste platforms van Foxconn: Smart Manufacturing. Smart EV. Smart City.
Volgens planning worden de resultaten van FoxBrain voor het eerst gedeeld op een belangrijke conferentie tijdens NVIDIA GTC 2025 Session Talk "From Open Source to Frontier AI: Build, Customize, and Extend Foundation Models [https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=foxconn#/session/1734052072050001Ux0A]" op 20 maart.
Over het Hon Hai Research Institute
Het instituut omvat vijf onderzoekscentra. Elk centrum telt gemiddeld 40 hightech R&D-professionals die zich allemaal richten op het onderzoek naar en de ontwikkeling van nieuwe technologieën, het versterken van de technologie- en productinnovatiepijplijn van Foxconn, inspanningen om de transformatie van de Groep van "brawn" naar "brains" te ondersteunen en het verbeteren van het concurrentievermogen van de "3+3" strategie van Foxconn.
Over Foxconn hier.
Foto -
CONTACT: Jimmy Huang, plaatsvervangend woordvoerder, media@foxconn.com
Andere persberichten of expertquotes van deze organisatie:
Dit is een origineel bericht van PR Newswire
Ga naar alle berichten van deze organisatie.
