Tematy (lato 2024; III 2024 - VI 2024)
Lista może zostać rozszerzona.
W razie potrzeby można korzystać z GPU w ramach https://colab.research.google.com/ bądź https://gradient.run/free-gpu. Można także wystąpić o grant obliczeniowy https://task.gda.pl/pl/zasoby/superkomputer/zostan-uzytkownikiem/ bądź https://www.plgrid.pl/oferta/zasoby_obliczeniowe/granty_obliczeniowe.
Przystosowanie modelu (RoBERTa) do okreslania podobienstwa semantycznego (iSTS - https://alt.qcri.org/semeval2016/task2/) dwoch zdan w jezyku angielskim. Odniesienie sie do wynikow z obronionej pracy magisterskiej/projektu. 2-3 os. (zajety)
- jezyk implementacji: Python
Zadania:
1. Zapoznac sie z praca magisterska/projektem i przygotowanym rozwiazaniem.
2. Zapoznac sie z wykorzystywanym modelem RoBERTa
3. Zmodyfikowac model RoBERTa zgodnie z informacjami przekazanymi przez prowadzacego (udostępniona zostanie szczegółowa informacja na temat wymaganych modyfikacji)
4. Policzyc miary F dla stworzonego systemu dla wszystkich dostepnych danych z SemEval 2015 Interpretable STS z pojedynczymi relacjami oraz SemEval 2016 - Interpretable STS z rozbudowanymi relacjami.
Praca magisterska/projekt, dostepne dane.
Zrealizowanie rozwiazania okreslania podobienstwa semantycznego (iSTS) dwoch zdan w jezyku angielskim w formie document level. Rozwiazanie a) na ksztalt document level entity and relation extraction/ b) context. Odniesienie sie do wynikow z obronionej pracy magisterskiej/projektu. 2-3 os.
- jezyk implementacji: zalezny od dostepnych rozwiazan (zazwyczaj Python)
Zadania:
1. Zapoznac sie z praca magisterska/projektem i przygotowanym rozwiazaniem.
2. Zapoznac sie z rozwiązaniami dla document level entity and relation extraction i zbliżonych
3. Zgromadzic dostepne rozwiazania dla document level entity and relation extraction i zbliżonych.
4. Zmodyfikowac dostepne rozwiazanie na potrzeby iSTS. Opcje:
a) na ksztalt document level entity and relation extraction
b) wykorzystujac kontekst
5. Policzyc miary F (F score, F type, F score+type) dla stworzonego systemu dla wszystkich dostepnych danych z SemEval 2015 Interpretable STS z pojedynczymi relacjami oraz SemEval 2016 - Interpretable STS z rozbudowanymi relacjami i porównanie z dotychczasowymi rezultatami (dotychczasowe rezultaty będą udostępnione) - dopisanie rezultatow do tabelki w arkuszu kalkulacyjnym.
Praca magisterska/projekt, dostepny system (z pracy magisterskiej/projektu) i dane.
Fine-tuning modelu jezykowego z wykorzystaniem metod LoRA/QLoRA. 2-3 os.
- jezyk implementacji: Python
Zadania:
1. Zapoznac sie z metoda LoRA/QLoRA. np. https://www.run.ai/guides/generative-ai/lora-fine-tuning
2. Wykonac klasyczny fine-tuning i przy uzyciu LoRA/QLoRA.
3. Porownanie wynikow.