YouTube Instagram Vimeo RSS VIDEOAKTIV
  • Home
  • NewsĂŒbersicht

Fraunhofer IAIS: RechenkapazitĂ€ten fĂŒr KI-Sprachmodelle

Das Fraunhofer-Institut fĂŒr Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Sweden haben gemeinsam Rechenzeit am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center erhalten.

Es handelt sich um eines der grĂ¶ĂŸten Kontingente, die seitens des Gemeinsamen Unternehmens fĂŒr europĂ€isches Hochleistungsrechnen (GU EuroHPC) fĂŒr die Entwicklung europĂ€ischer großer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur gewĂ€hrt wurden. Ab Ende Mai 2024 starten die Partner damit, die ersten multilingualen Modelle zu rechnen. Laufzeit des Projekts »EuroLingua-GPT« ist ein Jahr. Damit sollen nun große europĂ€ische multilinguale Open-Source-Modelle in greifbare NĂ€he rĂŒcken. Das ĂŒber einen EuroHPC »Extreme Scale Access« bewilligte Kontingent umfasst 8,8 Millionen GPU-Stunden auf H100-Chips. Die damit trainierten Modelle sollen den Einsatz generativer KI in Unternehmen massiv beschleunigen und sowohl Wirtschaft als auch Wissenschaft einen Boost geben.

Fraunhofer MareNostrum5

Das Rechenzentrum MareNostrum 5 steht in Barcelona und ist fĂŒr die Forschung vorbehalten. Das Fraunhofer Institut belegt zusammen mit AI Sweden eines der grĂ¶ĂŸten KapazitĂ€tskontingente fĂŒr das nĂ€chste Jahr.

Mit den neuen RechenkapazitĂ€ten werden kleine Modelle im Bereich von 7 bis 34 Milliarden Parametern, und große Modelle mit bis zu 180 Milliarden Parametern von Grund auf trainiert. Die neuen EuroLingua-Modelle bauen auf einem Trainingsdatensatz auf, der aus 45 europĂ€ischen Sprachen, Dialekten und Code besteht, einschließlich der 24 europĂ€ischen Amtssprachen. Damit liegt eine signifikante Gewichtung auf europĂ€ischen Sprachen und Werten – bisher sind multilinguale KI-Sprachmodelle noch selten. Die Veröffentlichung erster gemeinsamer Modelle soll im Laufe der kommenden Monate erfolgen. Wie wichtig eine gute Spracherkennung und Sprachausgabe ist, haben wir in den verschiedenen Tests der KI-Funktionen in den letzten Monaten festgestellt. TatsĂ€chlich sind beides derzeit die gĂ€ngigsten KI-Integrationen, wobei die vorhandenen KI-Modelle besser mit englischer Sprache funktionieren.

Fraunhofer IAIS EuroLingua DE

Auch bei diesem Sprachtrining spielt die englische Sprache die wichtigste Rolle. Doch es sollen eben auch andere Sprachen mittrainiert und analysiert werden.