Crimson Tokenizer
Tokenizator BPE trenowany na korpusie polskich tekstów datasetu SpeakLeash.
- Moja rola
- Eksperyment z tokenizacją i przygotowaniem danych językowych.
- Technologie
- Python / NLP
Kontekst
Modele językowe zaczynają się od danych i tokenizacji. Chciałem zrozumieć ten etap praktycznie.
Realizacja
Tokenizator BPE trenowany na polskim korpusie tekstowym.
Mój zakres pracy
Przygotowanie eksperymentu i praca z mechaniką tokenizacji.
Podejście
Projekt skupia się na etapie przygotowania reprezentacji tekstu, który poprzedza trening modeli.
Wyzwania
- Praca z korpusem tekstowym i polskim językiem.
- Zrozumienie BPE jako mechanizmu, nie buzzwordu.