Spaces:
Running
Jaký model na kategorizaci emailů?
Ahoj vespolek, snažím se o emailového asistenta a první co musím vyřešit je kategorizace emailů. Jde tu o stavařinu, takže je to poměrně různorodé a budu potřebovat pravděpodobně alespoň 6-8 kategorií. Chtěl jsem se zeptat co by jste mi doporučili?
Výpočetní výkon bude asi pravděpodobně jeden Mac studio M4 MAX 36 jader na gpu a 36 GB RAM, nebo cluster 4x Mac mini M4 24-32GB RAM - takže něco do 14B (nebo?). Poběží za tím ještě několik dalších LLM úloh, tak nevím. Každopádně i s HW si nechám poradit. Kdyby se někomu chtělo. mi zareagovat budu moc rád.
Díky a ať tokeny sviští... :)
Ahoj,
začal by som z phi-4, ktorý funguje celkom všestranne, v kvantizovanej verzii by mal v poriadku fungovať ( viď llamacpp). Podľa výsledkov v BCM je tiež robustný voči výberu promptu (viď veľmi nízka max-centered variance). U mňa Q4_K_M quantizovaná verzia, ide z 30GB ram a A4000 16G GPU s rychlosťou 30.41 tok/sec.
Ak by si chcel ísť do menšieho modelu, tam je to ťažko určiť bez menšej validačnej sady a validácie model/prompt kombinacií. Podľa BCM by som vyskúšal aspoň LLama3.1 / Qwen 2.5 / Bielik 11B alebo Ministral 8B.