Die Triage von 60 Kunden-E-Mails, bewertet.

Wo die Modelle danebenlagen

1. Ein grösseres Modell schliesst die Sprachlücke nur zum Teil. Auf Französisch fand 8B jede Frist, 20 von 20, und benannte die Themen 9 Mal richtig, gegenüber einmal bei 0.6B. Auf Deutsch fand es ebenfalls jede Frist, ordnete aber 19 der 20 E-Mails unter «Anderes» ein.
2. Grösser ist nicht automatisch besser. Mit denselben Anweisungen hatte 32B in jeder Sprache seltener alle drei richtig als 8B: Es stufte E-Mails als dringend ein, die in den geprüften Antworten als normal gelten, und fügte Themen hinzu, nach denen der Kunde nicht gefragt hatte.
3. Ab einer gewissen Grösse zählen die Anweisungen mehr als die Grösse. Mit den ergänzten Regeln beurteilte dasselbe 32B die Dringlichkeit in 19 oder 20 von 20 E-Mails richtig und fand jede Frist, in allen drei Sprachen. Ausformulierte Dringlichkeitsregeln hatten das kleinste Modell fast jede E-Mail als dringend einstufen lassen.
4. Die Themen bleiben das Schwierigste. Auch mit den Regeln wählte 32B nur in 6 bis 10 von 20 E-Mails genau die richtigen Themen, meist weil es ein Thema hinzufügte, das die E-Mail nur erwähnt. Dafür sind Beispiele aus Ihren eigenen E-Mails da.

Was ein Bericht zu Ihren Dokumenten hinzufügt

Was der Betrieb kostet

Pro Dokument und pro Monat, auf der Hardware, die das gewählte Modell braucht: in der Schweizer Cloud von Infomaniak, auf Meows Servern in der Schweiz oder bei Ihnen vor Ort.

Ihre Dokumente, Ihre Referenzantworten

30 bis 50 Ihrer echten Dokumente, gelesen auf einem GPU-Server im Büro von Meow in der Schweiz und bewertet anhand von Antworten, die mit Ihnen geprüft wurden.

Schriftliche Bestätigung der Löschung

Ihre Dokumente werden am Ende des Tests gelöscht, und Sie erhalten eine schriftliche Bestätigung. Die E-Mails dieses Beispiels wurden für den Test geschrieben: Es gab nichts zu löschen.