Programy: Przetwarzanie Języka Naturalnego (PJN)
Programiki z PJN służą głównie do analizy statystycznej tekstów. Laborki 2 i 3 wymagają do uruchomienia zainstalowanej w systemie biblioteki CLP, stworzonej przez Grupę Lingwistyki Komputerowej KI AGH, dostępnej tylko dla studentów AGH. Potrzebny jest także mój interfejs Javowy do CLP (JLP, na dole strony), w starszej wersji 1.0 (wersja 1.1 nie jest kompatybilna wstecznie ;).
- Laborka 1: statystyka tekstu - liczy ilość wystąpień poszczególnych słów
- Opis zadania
- stat3.c (6 KB) - wersja w C
- stat.phps (481 B) - wersja w PHP
- stat.pl (407 B) - wersja w Perlu
- stat.py (499 B) - wersja w Pythonie
- TextStatistics.java (1.7 KB) - wersja w Javie
- pjn-lab1.zip (5.7 KB) - wszystkie pliki
- Laborka 2: statystyka tekstu - jw., ale rozpoznaje różne formy tych samych słów dzięki CLP
- Opis zadania
- stat.cpp (2.6 KB) - wersja w C++ (wymaga CLP)
- TextStatistics.java (1.9 KB) - wersja w Javie (wymaga CLP + JLP 1.0)
- pjn-lab2.zip (3.3 KB) - wszystkie pliki
- Laborka 3: statystyka tekstu - Prawo Zipfa
- Opis zadania
- TextStatistics.java (5.6 KB) - wersja w Javie (wymaga CLP + JLP 1.0)
- Laborka 4: rozpoznawanie języka tekstu metodą N-gramów i generowanie losowych słów i zdań
- Opis zadania
- pjn-lab4.zip (7.6 KB) - wersja w C# (pod Mono)
- Laborka 5: sprawdzanie pisowni korzystające z kilku różnych algorytmów (Levenshteina, N-gramowy, Soundex i Metaphone)
- Opis zadania
- pjn-lab5.zip (667 KB) - wersja w Javie
- Wszystko: nlp-all-pl.zip (781.4 KB)
Biblioteka JLP
JLP to interfejs JNI umożliwiający dostęp do CLP z poziomu Javy. Wersja 1.0 jest potrzebna do uruchomienia niektórych przykładów, a wersja 1.1 jest nowsza i trochę lepsza, ale nie jest wstecznie kompatybilna, więc przykłady się z nią nie uruchomią (ale można jej używać do pisania swoich programów).
Uwaga: JLP wymaga do działania zainstalowanej odpowiednio biblioteki CLP. Jeżeli nie masz dostępu do CLP, albo jeżeli przykłady w C z CLP nie działają, to JLP też nie zadziała. JLP jest tylko adapterem do CLP, nie zastępuje jej. Nie sprawi również, że będzie się dało korzystać z CLP pod Windowsem.
- jlp-1.0-source.zip (6.6 KB) - 1.0 - kod źródłowy
- jlp-1.0-bin.zip (15.3 KB) - 1.0 - wersja skompilowana
- jlp-1.1-source.zip (14.6 KB) - 1.1 - kod źródłowy
- jlp-1.1-bin.zip (58.3 KB) - 1.1 - wersja skompilowana