Uruchamianie otwartych modeli na laptopie lub komputerze stacjonarnym. Jedna z popularnych ścieżek wykorzystuje skwantyzowane pliki GGUF i dobiera poziom kwantyzacji do dostępnej pamięci; lokalny serwer API jest opcjonalnym sposobem udostępnienia modelu aplikacjom.
Running open models on a laptop or desktop computer. One common path uses quantised GGUF files and selects a quantisation level that fits available memory; a local API server is an optional way to expose the model to applications.
To uruchamianie modelu językowego bezpośrednio na własnym komputerze.
This runs a language model directly on your own computer.
Chcesz używać modelu bez stałego internetu lub wysyłania każdego pytania do zewnętrznej usługi.
You want to use a model without constant internet access or sending every question to an external service.
Pobierasz odpowiedni zapis modelu i program uruchomieniowy, dopasowujesz pamięć oraz sprawdzasz, które zadania sprzęt wykonuje wystarczająco dobrze.
You download a suitable model representation and runtime, match memory requirements and check which tasks your hardware handles well enough.
Podczas podróży bez internetu lokalny model pomaga ci uporządkować notatki na laptopie.
While travelling without internet access, a local model helps organise notes on your laptop.