Zestawy zadań do oceny modeli na tekstach prawnych, obejmujące rozumienie języka, klasyfikację i różne typy rozumowania prawniczego.
Task collections for evaluating models on legal text, covering language understanding, classification, and multiple forms of legal reasoning.
Zestawy zadań przygotowane przez prawników, które sprawdzają, w czym model językowy radzi sobie z prawem, a gdzie zawodzi.
Task sets prepared by lawyers that check where a language model handles law well and where it fails.
Bez wspólnych testów każdy producent chwali się własnymi wynikami, a kancelaria nie ma jak porównać narzędzi przed zakupem.
Without shared tests every vendor boasts its own results, and a law firm has no way to compare tools before buying.
Rozbija pracę prawnika na drobne umiejętności, np. rozpoznanie problemu czy odczytanie definicji, i każdą mierzy osobnym zestawem pytań.
It breaks legal work into small skills, such as spotting an issue or reading a definition, and measures each with its own set of questions.
Dział innowacji kancelarii porównuje trzy asystenty na tych samych stu zadaniach i widzi, że najlepszy w streszczeniach słabo stosuje przepisy do faktów.
A law firm's innovation team compares three assistants on the same hundred tasks and sees that the best summariser is weak at applying rules to facts.