Evaluation of the knowledge of large language models in plasma physics
Adam Šanovec · Cvut DSpace (Czech Technical University) · 2026
Velké jazykové modely v posledních letech procházejí rychlým vývojem a nacházejí uplatnění ve vědě i mimo ni. Jejich testování v mnoha konkrétních oborech, jako je fyzika plazmatu, však bylo dosud velmi omezené. V rámci práce byly sestaveny dva vlastní testovací datasety tvořené otázkami s výběrem z více možností. První dataset se zaměřuje na úvod do fyziky plazmatu na bakalářské úrovni, druhý na statistiku a pravděpodobnost na magisterské úrovni. Práce vyhodnocuje inferenci různých současných i historických jazykových modelů na těchto datasetech, a to jak lokálně provozovaných modelů s otevřenými vahami, tak nejnovějších proprietárních modelů. Jednotlivé modely jsou porovnány z hlediska různých charakteristik, jako jsou jejich velikost, rychlost a datum vydání. Celkem bylo otestováno 36 modelů. Část otázek byla za účelem kalibrace obtížnosti testována také na bakalářských a magisterských studentech fyziky plazmatu.