# Modele językowe uczone na tekstach finansowych

EN: **Finance-specific language models** · id `finllm` · aliases: financial LLM, domain-specific financial LLM, finansowe modele językowe

Path: [AI Atlas](https://aiatlasgraph.com/llms.txt) › [AI w finansach](https://aiatlasgraph.com/t/finance.md) › [Przetwarzanie języka w finansach](https://aiatlasgraph.com/t/finnlp.md) › Modele językowe uczone na tekstach finansowych

## Description

- PL: Modele językowe pretrenowane lub dotrenowane na korpusach finansowych (raporty, wiadomości, transkrypcje), by poprawić wyniki w zadaniach dziedzinowych.
- EN: Language models pretrained or further trained on financial corpora (filings, news, transcripts) to improve domain task performance.

## In one sentence

- PL: Modele językowe, które poza zwykłymi tekstami czytały mnóstwo raportów, wiadomości giełdowych i dokumentów finansowych.
- EN: Language models that, besides ordinary text, have read huge amounts of reports, market news and financial documents.

## Problem it solves

- PL: Ogólne modele mylą żargon finansowy, skróty i liczby w raportach, a pomyłka w finansach szybko kosztuje.
- EN: General models stumble over financial jargon, abbreviations and figures in reports, and mistakes in finance get expensive fast.

## What it does

- PL: Jak tłumacz, który po studiach językowych przepracował lata w banku: zna język ogólny i branżowy.
- EN: Like a translator who after language school spent years at a bank: fluent in both everyday and trade language.

## Everyday example

- PL: Analityk prosi asystenta o wyłuskanie z kwartalnego raportu wszystkich wzmianek o ryzyku walutowym i dostaje trafne, opisane fragmenty.
- EN: An analyst asks an assistant to pull every mention of currency risk from a quarterly report and gets accurate, labelled passages.

## This concerns you if you…

- PL: analizujesz raporty spółek lub wiadomości rynkowe
- PL: wybierasz model do zastosowań finansowych
- EN: analyse company reports or market news
- EN: choose a model for finance tasks

## Keywords

BloombergGPT · FinBERT · FinGPT · SEC-BERT · domain-adaptive pretraining · FinBen · FLUE · financial instruction tuning

## How it works

- PL: Stosuje się pretrening od zera na mieszance danych finansowych i ogólnych, dalszy pretrening ogólnego modelu na tekstach z dziedziny albo dostrajanie instrukcjami do zadań finansowych. Przykładowo model o 50 mld parametrów uczono na ok. 363 mld tokenów finansowych i 345 mld ogólnych; wypadał lepiej w zadaniach finansowych przy zachowaniu wyników ogólnych.
- EN: Options are pretraining from scratch on a mix of financial and general data, continued pretraining of a general model on domain text, or instruction tuning on financial tasks. For instance, a 50-billion-parameter model was trained on about 363 billion financial and 345 billion general tokens, doing better on financial tasks while keeping general performance.

## Limits

- PL: Pretrening od zera jest bardzo drogi, a przewagę szybko dogania kolejna generacja modeli ogólnych. Najcenniejsze dane finansowe są płatne i zastrzeżone. Wiedza o rynku starzeje się w miesiące, więc bez wyszukiwania model podaje nieaktualne fakty.
- EN: Pretraining from scratch is very costly, and the next generation of general models quickly closes the gap. The most valuable financial data are paid and proprietary. Market knowledge ages within months, so without retrieval the model gives stale facts.

## Key terms

- PL: **model dziedzinowy**: Model uczony głównie na tekstach z jednej branży.
- PL: **dalszy pretrening**: Douczanie gotowego modelu na tekstach z nowej dziedziny.
- PL: **FLUE / FinBen**: Zestawy testów porównujących modele w zadaniach finansowych.
- EN: **domain model**: A model trained mainly on text from one industry.
- EN: **continued pretraining**: Further training a ready model on text from a new domain.
- EN: **FLUE / FinBen**: Test suites comparing models on financial tasks.

## Know first

- [Dotrenowanie na tekstach z dziedziny (continued pretraining) (Continued (domain-adaptive) pretraining)](https://aiatlasgraph.com/t/continuedpretraining.md)

## Related topics

Untyped, symmetric "see also" links.

- [Modele językowe uczone na tekstach prawnych (Domain-adapted legal language models)](https://aiatlasgraph.com/t/legallm.md)

## Sources

- [BloombergGPT: A Large Language Model for Finance](<https://arxiv.org/abs/2303.17564>) `bloomberggpt-2023` · by Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann
- [FiNER: Financial Numeric Entity Recognition for XBRL Tagging](<https://arxiv.org/abs/2203.06482>) `finer-xbrl-2022` · by Lefteris Loukas, Manos Fergadiotis, Ilias Chalkidis, Eirini Spyropoulou, Prodromos Malakasiotis, Ion Androutsopoulos, Georgios Paliouras

---

AI Atlas revision 122 (2026-10-30) · HTML: https://aiatlasgraph.com/t/finllm · index: https://aiatlasgraph.com/llms.txt · everything: https://aiatlasgraph.com/llms-full.txt · updated 2026-10-30