Künst­li­che Intel­li­genz ist mit vie­len Begrif­fen und ebenso vie­len tech­no­lo­gi­schen Ein­zel­kom­po­nen­ten ver­bun­den. Phil­ipp Ber­ger, Senior Sys­tem Engi­neer Dat­a­cen­ter Net­wor­king bei CAN­COM Aus­tria, hat eine umfas­sende Über­sicht erstellt. 

Als ChatGPT am 30. Novem­ber 2022 der Öffent­lich­keit vor­ge­stellt wurde mar­kierte das den Beginn einer neuen Epo­che. Die KI-Anwen­dung löste einen regel­rech­ten Hype aus, nach nur zwei Mona­ten nut­zen rund 100 Mil­lio­nen Men­schen den KI-Dienst des Unter­neh­mens Open AI. 

Kurz dar­auf brach­ten auch andere Unter­neh­men Pro­dukte die­ser Art auf den Markt: Micro­soft Bing Chat (heute Copi­lot), Google Bard (heute Gemini) oder Claude von Anthro­pic. Damit begann ein Wett­rüs­ten der AI-Unter­neh­men, die immer grö­ßere und bes­sere Modelle her­vor­brach­ten und dies immer noch tun. Heute gibt es unzäh­lige Unter­neh­men die inter­es­sier­ten Benut­zern Abos für „AI-as-a-ser­vice“ zur Ver­fü­gung stellen. 

Turing Test von Alan Turing im Jahre 1950 als Start

Die Idee von AI ist aber gar nicht so neu. Bereits in den 1940er Jah­ren wur­den mathe­ma­ti­sche Modelle künst­li­cher Neu­ro­nen ent­wi­ckelt und 1950 publi­zierte der Eng­län­der Alan Turing sei­nen berühm­ten „Turing Test“. Hier sollte die Frage beant­wor­tet wer­den, ob Maschi­nen den­ken kön­nen. Man ver­suchte den dama­li­gen Com­pu­tern intel­li­gente Dinge bei­zu­brin­gen, wie Schach spie­len oder logi­sche Pro­bleme lösen. 

Sollte ein Com­pu­ter diese Dinge bewerk­stel­li­gen kön­nen, so die Über­le­gung, wäre es eine Art von künst­li­cher Intel­li­genz (Arti­fi­cial Intel­li­gence). Im heu­ti­gen Kon­text spre­chen wir meist von gene­ra­ti­ver AI, soge­nann­ten LLMs (Large Lan­guage Model­len). Im Gegen­satz zu frü­he­ren Sprach­mo­del­len basie­ren viele der heu­ti­gen LLMs auf der soge­nann­ten Transformer-Architektur.

Neu­ro­na­les Netzwerk 

Als Men­schen schaf­fen wir gerne Maschi­nen nach unse­rem Abbild. Dies ist (nicht nur in Sci­ence Fic­tion Fil­men) bei Robo­tern so, son­dern auch beim Gehirn. Dort sind viele Mil­li­ar­den Neu­ro­nen durch Den­dri­ten und Syn­ap­sen mit­ein­an­der ver­bun­den und bil­den so ein neu­ro­na­les Netz­werk. Diese Neu­ro­nen ver­ar­bei­ten Infor­ma­tio­nen indem sie elek­tri­sche Signale aus­tau­schen, das Den­ken. Um dies nun in die Com­pu­ter­welt zu über­tra­gen haben For­scher eine mathe­ma­ti­sche Abs­trak­tion bestehend aus Kno­ten (Neu­ro­nen) und Ver­bin­dun­gen unter­ein­an­der (Syn­ap­sen) erstellt. Und das bil­det die Grund­lage für alle moder­nen AI-Modelle.

Die Neu­ro­nen sind in soge­nann­ten Schich­ten (Layer) ange­ord­net. Diese glie­dern sich in eine Eingabe‑, eine Aus­gabe- und viele hun­dert oder tau­send ver­steckte Schich­ten, wobei diese ver­steck­ten Schich­ten die eigent­li­che Arbeit erle­di­gen. Die Neu­ro­nen einer Schicht sind mit jenen der nächs­ten Schicht ver­bun­den. Jede die­ser Ver­bin­dun­gen ist gewich­tet. Erst die tech­ni­schen Inno­va­tio­nen der letz­ten 20 Jahre mach­ten es mög­lich so viele ver­steckte Schich­ten über­haupt trai­nie­ren zu können.

LLM (Large Lan­guage Model) und LRM (Large Reaso­ning Model) 

Die der­zeit ver­füg­ba­ren Chat­bots fal­len unter die Kate­go­rie LLM (bzw. LRM). Ein LLM erhält als Ein­gabe eine Serie von Tokens und berech­net die Wahr­schein­lich­keit, wel­cher Token als nächs­tes fol­gen könnte. Diese Vor­her­sage pro­du­ziert meh­rere mög­li­che Kan­di­da­ten und wählt zufäl­lig einen davon aus. Dadurch kann es pas­sie­ren, dass das Model auf ein und die­selbe Frage jedes Mal ver­schie­dene Ant­wor­ten gibt. Über spe­zi­elle Para­me­ter lässt sich die­ses Ver­hal­ten jedoch kon­trol­lie­ren. LLMs wer­den mit Bil­lio­nen von Wör­tern in ver­schie­de­nen Kon­tex­ten trai­niert, daher stammt das „Large“. 

Ein LRM ist ein LLM, das einen inter­nen Gedan­ken­gang (CoT; Chain of thought) durch­läuft. Im Gegen­satz zu einem LLM denkt es, bevor es spricht. Man erkennt es daran, dass es einer­seits wesent­lich län­ger dau­ert bis man eine Ant­wort erhält und die Chat­ober­flä­che ein „Denke nach…“ ein­blen­det. LRMs arbei­ten nach dem Schema: pla­nen ➔ über­le­gen ➔ant­wor­ten. Man erhält ein LRM, wenn ein LLM etwa mit Rein­force­ment Lear­ning ange­passt wird.

Vision Model

Ein Vision Model ist eines, das statt mit Text mit Bil­dern trai­niert wird, oder mit einer Kom­bi­na­tion aus bei­dem. Es ist dadurch in der Lage ein Bild zu beschrei­ben (Image- to-Text), ein Bild zu ver­än­dern (Image-to-Image) oder ein Bild aus einem Text zu erstel­len (Text-to-Image). Der Token ist die Maß­ein­heit des LLMs. Erfolgt bsplw. die Abrech­nung nach Tokens, bezahlt man einen Preis für Ein­gabe- und Ausgabetokens.

Token

Ein Token ist etwa ein hal­bes bis ein Wort, tech­nisch ist es ein Wort­fet­zen. Diese Wort­fet­zen sind so gewählt, dass sich dar­aus mög­lichst viele andere Wör­ter zusam­men­set­zen las­sen. Die Auf­tei­lung des Texts auf Tokens kann zwi­schen den Model­len vari­ie­ren, ist aber an das Model gebun­den. ChatGPT‑5 teilt etwa das Wort „Gericht“ auf 2 Tokens auf: „Ger“ und „icht“, „Gerichts­ver­hand­lung“ ergibt 5 Tokens: „Ger“, „ichts“, „ver“, und „hand­lung“. Je nach Spra­che wer­den pro Wort unter­schied­lich viele Tokens ver­wen­det, im Eng­li­schen ca. 1,2 Tokens pro Wort, im Deut­schen 1,5 – 1,8. Wer­den Dateien (Doku­mente, Bil­der, etc.) hoch­ge­la­den, so wer­den diese eben­falls in Tokens zerlegt. 

Kon­text

Das Kon­text-Fens­ter legt fest, an wie viele Tokens sich ein Model erin­nern kann. Das betrifft einer­seits die Ein­gabe selbst (Prompt-Text, Datei­uploads, etc.) als auch die His­to­rie der aktu­el­len Unter­hal­tung (also alle Ein- und Aus­ga­ben). So kann es pas­sie­ren, dass sich das Modell bei lan­gen Unter­hal­tun­gen oder gro­ßen Dateien plötz­lich nicht mehr an Infor­ma­tio­nen erin­nern kann. Je grö­ßer der Kon­text, desto mehr Res­sour­cen wer­den benötigt. 

Die Erfah­rung zeigt, dass Modelle Infor­ma­tio­nen am Anfang und am Ende des Kon­text- Fens­ters mehr berück­sich­ti­gen als jene in der Mitte. Eine Ana­lo­gie wäre ein län­ge­res Mee­ting, wo man sich gut an die Folien 1–3 und die letz­ten Folien 150–152 erin­nern kann, aber auf Nach­frage die Zeile 5 auf Folie 60 nicht feh­ler­frei zitie­ren kann. Mehr ist also nicht immer bes­ser und eigene Chats pro the­ma­tisch neuer Anfrage (neuer Kon­text) ver­bes­sern die Qua­li­tät der Ant­wor­ten unge­mein. Der­zeit übli­che Kon­text­län­gen erstre­cken sich von 64.000 – 1 Mio. Tokens. 

Trai­ning

Das beste und größte Model ist sinn­los ohne Trai­ning. Wenn ein Model erstellt wird, erhal­ten alle Ver­bin­dun­gen zwi­schen den Neu­ro­nen ein zufäl­li­ges Gewicht. Beim Trai­ning wird dem Model nun eine Ein­gabe gelie­fert (z.B eine Frage) und es pro­du­ziert eine Aus­gabe (Ant­wort). Diese Ant­wort ist aber natur­ge­mäß falsch, jedoch ist dem Trai­nie­ren­den die kor­rekte Ant­wort bekannt.

Über einen Pro­zess namens Back­pro­pa­ga­tion (Feh­ler­rück­füh­rung) wer­den nun die Gewichts­werte der Ver­bin­dun­gen so ver­än­dert, dass beim nächs­ten Mal die kor­rekte Ant­wort her­aus­kommt. Wenn man das nun meh­rere Mil­li­ar­den mal mit ver­schie­de­nen Ein- und Aus­ga­ben macht, erhält man ein trai­nier­tes Model.

Infe­rence

Infe­rence bedeu­tet, dass ein Modell genutzt wird. Es gibt die Trai­nings-Phase in der dem Modell das „Wis­sen“ bei­gebracht wird und die Infe­rence-Phase in der auf das Wis­sen zuge­grif­fen und es mit Prompts befragt wer­den kann. Dazwi­schen gibt es ggf. die Anpas­sungs- (Fine- Tuning) Phase. 

Die Anzahl der Para­me­ter gibt dann an, wie viele gelernte Werte es in einem Model gibt. Ver­ein­facht gesagt sind dies die Gewich­tun­gen, die beim Trai­ning trai­niert wer­den. Die Anzahl der Para­me­ter hat einen direk­ten Ein­fluss auf die Größe der Models und die benö­tig­ten Res­sour­cen. GPT‑1 hatte 117 Mio. Para­me­ter, GPT‑2 bereits 1,5 Mrd und GPT‑3 etwa 175 Mrd. Das frei ver­füg­bare GLM- 5 ver­fügt über 754 Mrd. Para­me­ter und schlägt sich mit einer Größe von 1,5 TB zu Buche.

Prompt-Engi­nee­ring

Der Prompt ist die Anfrage an das Model. Das kann rei­ner Text sein, aber auch PDFs, DOCX oder Bild­da­teien. Man unter­schei­det hier zwi­schen dem User (Benut­zer) und Sys­tem Prompt. Der User-Prompt ist der Text den der Benut­zer ein­gibt, der Sys­tem-Prompt legt Ver­hal­tens­re­geln des Models fest. Der Sys­tem-Prompt kann nicht bei jedem Model ver­än­dert wer­den bzw. nur indi­rekt, indem Anwei­sun­gen im User-Prompt ver­packt werden.

Hier­bei han­delt es sich um die Kunst den Prompt mög­lichst so zu for­mu­lie­ren, dass man die höchste Genau­ig­keit und die rele­van­tes­ten Infor­ma­tio­nen vom Model erhält. So wie es frü­her wich­tig war die kor­rek­ten Such­worte in Google ein­zu­ge­ben ist es bei der AI hilf­reich für den Prompt eine genaue und umfas­sende For­mu­lie­rung zu wählen. 

Hal­lu­zi­nie­ren

Unter dem Hal­lu­zi­nie­ren ver­steht man den Umstand, dass die AI Tat­sa­chen erfin­det. Das erstreckt sich von fal­schen Zusam­men­fas­sun­gen über feh­ler­hafte Erklä­run­gen bis hin zum Erfin­den von Zita­ten und Fak­ten. Auch wenn eine Quelle ange­ge­ben wird, bedeu­tet das nicht, dass der Text dort irgend­et­was mit dem Thema zu tun hat oder die Quelle über­haupt exis­tiert. Da die Aus­füh­run­gen der AI den­noch plau­si­bel klin­gen und eben ggf auch Quel­len­an­ga­ben ent­hält, ist das Hal­lu­zi­nie­ren von Laien schwer zu erkennen. 

Agen­tic AI

AI Agen­ten sind das aktu­elle Go-To wenn es um die Ver­wen­dung von AI geht. Anders als die Chat­bots wie ChatGPT beant­wor­ten sie nicht Prompt für Prompt, son­dern arbei­ten nach dem Mus­ter: beob­ach­ten ➔ über­le­gen ➔ han­deln ➔ Ergeb­nis prü­fen ➔ beob­ach­ten ➔… . Die Anfor­de­run­gen kön­nen viel­fäl­tig sein, je nach­dem wel­che Werk­zeuge einem Agen­ten zur Ver­fü­gung ste­hen (zB. „Buche mir eine Reise nach Madrid“ oder „Prüfe alle neuen Man­dats­an­fra­gen, ordne sie Arbeits­recht, Miet­recht oder Gesell­schafts­recht zu und erstelle eine Kurz-Zusammenfassung.“). 

Abhän­gig vom ver­wen­de­ten Agen­ten ist es aber mög­lich, dass die Ver­wen­dung des­sel­ben durch die vie­len ver­deck­ten Anfra­gen eine hohe Anzahl an Tokens kon­su­miert und somit ent­spre­chend teuer ist. Ein Agent ver­wen­det hier­für im Hin­ter­grund Modelle die für das Nach­den­ken aus­ge­legt sind (LRM). 

Auto­ma­ti­sie­rung

Vor allem AI-Agen­ten eig­nen sich um Work­flows zu defi­nie­ren und diverse Auf­ga­ben des daily Busi­ness zu auto­ma­ti­sie­ren. Auto­ma­ti­sie­rung an sich ist aber nicht von einer AI abhän­gig, jedoch lässt sie sich in eini­gen Fäl­len ein­fa­cher und dyna­mi­scher umset­zen. Da viele Unter­neh­men alleine aus Kos­ten­grün­den keine AI Infra­struk­tur im Büro betrei­ben kön­nen, müs­sen diese AI Agen­ten LLMs in der Cloud nut­zen, was unwei­ger­lich zum Thema Daten­schutz führt. Oft reicht aber auch ein ein­fa­ches Excel oder ein Script auf einem PC in der Kanz­lei, um den gewünsch­ten Effekt zu erhalten.

Appli­ca­tion Pro­gramming Interface

Der Begriff API steht für „Appli­ca­tion Pro­gramming Inter­face“ und ist eine Schnitt­stelle. Wäh­rend mensch­li­che Benut­zer über­sicht­lich und bedie­nungs­freund­lich ihre Prompts und Dateien über Text­bo­xen auf schö­nen Web­sei­ten über­mit­teln (wie zB. bei ChatGPT), ist ein Sol­ches für Pro­gramme, die auf AI-Funk­tio­nen zugrei­fen wol­len, eher hin­der­lich. Diese Pro­gramme, aber auch Scripte oder Agen­ten ver­wen­den die API des jewei­li­gen Modells um Prompts und Daten mit­tels eines stan­dar­di­sier­ten For­mats (in die­sem Fall JSON) zu übertragen.

Con­text Engineering

Das Con­text Engi­nee­ring ist die „Wei­ter­ent­wick­lung“ des Prompt Engi­nee­rings. Bei kom­ple­xe­ren Anfra­gen (zB durch Agents) ist es not­wen­dig, Infor­ma­tio­nen oder Anwei­sun­gen zum kor­rek­ten Zeit­punkt an das Modell zu über­ge­ben, um ein opti­ma­les Ergeb­nis zu erhal­ten. Aber auch zusätz­li­che Arbeits­schritte wie das Zusam­men­fas­sen der bis­he­ri­gen Infor­ma­tio­nen, um wie­der Platz im Con­text zu schaf­fen, gehört dazu. 

Finale Con­clu­sio 

Wie alle tech­ni­schen Errun­gen­schaf­ten ist die AI ein sehr wert­vol­les Werk­zeug für bestimmte Auf­ga­ben, wenn sie kor­rekt ver­wen­det wird. Wie die Ein­füh­rung des Inter­nets, wel­che die Suche in Büchern erleich­tert hat, so ist Recher­che nun mit AI noch schnel­ler und kom­for­ta­bler geworden. 

Im eige­nen Inter­esse wird jedoch drin­gend emp­foh­len gene­rierte Inhalte und recher­chierte Ergeb­nisse auf ihren Wahr­heits­ge­halt zu prü­fen. Die AI erleich­tert den Arbeits­all­tag, aber sie kann den Men­schen nicht voll­stän­dig erset­zen – die Arbeit fällt nicht weg, sie ver­än­dert sich nur. (Phil­ipp Ber­ger ist Senior Sys­tem Engi­neer für Dat­a­cen­ter Net­wor­king bei CAN­COM Aus­tria). (Con­ten­tAd)