Podgląd aktualizacji dla bezpiecznego dostrajania

Update-preview defense for safe fine-tuning · id lookaheaddefense · aliases: LookAhead Defense, update-preview defense, obrona z podglądem aktualizacji

Przewiduje i karze aktualizacje dostrajania osłabiające bezpieczne zachowanie z bufora.

Previews and penalizes fine-tuning updates that weaken safe behaviour from a buffer.

In one sentence

Przed przyjęciem kroku dostrajania sprawdza, czy osłabi on bezpieczne zachowanie ukrycie zatrutego modelu.

Before accepting a fine-tuning step, it checks whether the update would weaken the apparently safe behavior of a dormantly poisoned model.

Problem it solves

Ukryte szkodliwe zachowanie może pozostać nieaktywne przy wydaniu modelu i ujawnić się dopiero po zwykłym dostrajaniu.

A hidden harmful behavior can remain inactive at model release and emerge only after ordinary downstream fine-tuning.

What it does

Buduje z wydanego modelu bufor odniesienia i karze tylko kandydackie aktualizacje przewidywane jako osłabiające bezpieczeństwo.

It builds a reference buffer from the released model and penalizes only candidate updates predicted to weaken safety.

Everyday example

Dostrajasz agenta na zwykłych zadaniach matematycznych; podgląd aktualizacji ogranicza ryzyko, że uśpione zatrucie uaktywni wysyłanie poufnych danych.

You fine-tune an agent on ordinary math tasks; update preview limits the risk that dormant poisoning activates the sending of private data.

This concerns you if you…

Related topics

Sources