Paragon Pipeline
Eksperymentalny projekt OCR/NLP do odczytu i ekstrakcji danych z polskich paragonów. Koncepcja pipeline’u i badania modeli, bez wdrożenia produkcyjnego.
- Moja rola
- Projekt pipeline'u, eksperymenty modelowe, przygotowanie danych, klasyfikacja i ekstrakcja informacji.
- Technologie
- Python / Jupyter / PyTorch ecosystem / NLP
Kontekst
Paragon to trudny dokument: ma nieregularne formatowanie, skróty, szumy OCR i dane, których nie da się wygodnie parsować prostymi regexami.
Realizacja
Zbudowałem koncepcję pipeline'u: ParagonOCR odczytuje linie, ParagonNER klasyfikuje je, a ParagonPIE wydobywa informacje produktowe.
Mój zakres pracy
Samodzielne badanie problemu, eksperymenty z modelami, projekt etapów pipeline'u i dokumentowanie zależności między repozytoriami.
Podejście
Pipeline rozbija problem na mniejsze etapy: obraz → linie tekstu → klasyfikacja linii → filtrowanie → ekstrakcja informacji.
Wyzwania
- Podział złożonego problemu ML na mierzalne etapy.
- Praca z polskim językiem, skrótami i formatem paragonów.
- Myślenie o całym systemie, nie tylko pojedynczym notebooku.