Tematy (zima 2025; X 2025 - I 2026)
Lista może zostać rozszerzona.
W razie potrzeby można korzystać z GPU w ramach https://colab.research.google.com/ bądź https://gradient.run/free-gpu. Można także wystąpić o grant obliczeniowy https://task.gda.pl/pl/zasoby/superkomputer/zostan-uzytkownikiem/ bądź https://www.plgrid.pl/oferta/zasoby_obliczeniowe/granty_obliczeniowe.
Sprawdzenie skuteczności działania ChatGPT/LLaMA w okreslaniu podobienstwa semantycznego (iSTS - https://alt.qcri.org/semeval2016/task2/) dwoch zdan w jezyku angielskim. Odniesienie sie do wynikow z obronionej pracy magisterskiej/projektu. 2-3 os. (Zajety)
- jezyk implementacji: Python
Zadania:
1. Zapoznac sie z praca magisterska/projektem.
2. Przetestować ChatGPT i LLaMA w zadaniu iSTS (Zapewniony będzie dostęp do mocy obliczeniowej i ChatGPT). Wykorzystać różne rodzaje promptów:
a) zero-shot learning
b) few-shot learning
c) strukturyzacja odpowiedzi w json
dla podejścia golden chunks i system chunks.
4. Policzyc miary F (korzystając z dostarczonego skryptu) dla stworzonego systemu dla wszystkich dostepnych danych z SemEval 2015 Interpretable STS z pojedynczymi relacjami oraz SemEval 2016 - Interpretable STS z rozbudowanymi relacjami.
5. Porównać wyniki z dotychczasowymi rezultatami (dotychczasowe rezultaty będą udostępnione) - dopisać rezultaty do tabelki w arkuszu kalkulacyjnym
Praca magisterska/projekt, dostepne dane.
Zrealizowanie rozwiazania okreslania podobienstwa semantycznego (iSTS) dwoch zdan w jezyku angielskim w formie document level. Rozwiazanie a) na ksztalt document level entity and relation extraction/ b) context. Odniesienie sie do wynikow z obronionej pracy magisterskiej/projektu. 2-3 os.
- jezyk implementacji: zalezny od dostepnych rozwiazan (zazwyczaj Python)
Zadania:
1. Zapoznac sie z praca magisterska/projektem i przygotowanym rozwiazaniem.
2. Zapoznac sie z rozwiązaniami dla document level entity and relation extraction i zbliżonych
3. Zgromadzic dostepne rozwiazania dla document level entity and relation extraction i zbliżonych.
4. Zmodyfikowac dostepne rozwiazanie na potrzeby iSTS. Opcje:
a) na ksztalt document level entity and relation extraction
b) wykorzystujac kontekst
5. Policzyc miary F (F score, F type, F score+type) dla stworzonego systemu dla wszystkich dostepnych danych z SemEval 2015 Interpretable STS z pojedynczymi relacjami oraz SemEval 2016 - Interpretable STS z rozbudowanymi relacjami i porównanie z dotychczasowymi rezultatami (dotychczasowe rezultaty będą udostępnione) - dopisanie rezultatow do tabelki w arkuszu kalkulacyjnym.
Praca magisterska/projekt, dostepny system (z pracy magisterskiej/projektu) i dane.
Rozbudowa i ewaluacja rozwiazania multi-agent LLMs. 2-3 os.
- jezyk implementacji: Python
Zadania:
1. Zapoznac sie z przykladowymi materialami: https://arxiv.org/abs/2402.01680, https://www.superannotate.com/blog/multi-agent-llms
2. Analiza literaturowa pod kątem rozwiązań multi-agent LLM dla zadania analizy sprawozdań finansowych oraz ewaluacji takich systemów
3. Rozbudować rozwiazanie multi-agent LLM dla zadania analizy sprawozdań finansowych.
4. Zbadać efektywność co najmniej dwóch podejść współpracy, np. concurent, group chat, sequential, parallel
5. Przeprowadzic eksperymenty i ewaluację systemu, zaprezentowac mierzalne wyniki.
Dostępna dotychczasowa wersja rozwiązania.