Szukanie i łatanie podatności z AI

AI-assisted vulnerability discovery and repair · id vulndiscovery · aliases: AI vulnerability research, automated vulnerability discovery, cyber reasoning systems, AI bug hunting, wyszukiwanie podatności

Modele językowe i agenci, którzy generują testy fuzzingowe, czytają kod w poszukiwaniu błędów bezpieczeństwa i proponują poprawki.

Language models and agents that generate fuzz tests, read code for security bugs and propose fixes.

In one sentence

AI, które przegląda kod programów w poszukiwaniu ukrytych dziur bezpieczeństwa i podpowiada, jak je załatać.

AI that combs through program code for hidden security holes and suggests how to patch them.

Problem it solves

W powszechnie używanych bibliotekach latami leżą błędy, bo ludzi zdolnych je znaleźć jest za mało, a kodu za dużo.

Bugs sit for years in widely used libraries because there are too few people able to find them and too much code.

What it does

Jak niestrudzony korektor, który czyta każdą linijkę, próbuje ją złamać na tysiąc sposobów i od razu dopisuje poprawkę.

Like a tireless proofreader who reads every line, tries to break it a thousand ways and writes the fix straight away.

Everyday example

Opiekunka darmowej biblioteki dostaje zgłoszenie: zautomatyzowany system znalazł błąd pozwalający zawiesić program i dołączył gotową, przetestowaną łatkę.

A maintainer of a free library gets a report: an automated system found a crash-causing bug and attached a ready, tested patch.

This concerns you if you…

utrzymujesz kod, z którego korzystają inni
odpowiadasz za bezpieczeństwo aplikacji w firmie
zastanawiasz się, czy AI znajdzie błędy w twoim kodzie
maintain code that others depend on
are responsible for application security at a company
wonder whether AI could find bugs in your code

Subtopics

Bezpieczeństwo kodu pisanego przez AI (Security of AI-generated code): Measuring and reducing vulnerabilities in code produced by coding assistants and agents, via tests, benchmarks and secure-generation techniques.
Fuzzing wspomagany modelami językowymi (LLM-assisted fuzzing): Language models write and fix fuzzing harnesses and classify crashes, raising code coverage without manual work.
- Generowanie sterowników fuzzingu przez modele językowe (LLM-based fuzz driver generation): Language models automatically writing the glue code that connects a fuzzer to a library's functions so random inputs reach deep into the tested code.
Systemy automatycznego znajdowania i łatania błędów (Cyber reasoning systems for automated find-and-patch): Autonomous systems combining fuzzing, static analysis and language models that find a vulnerability, confirm it and generate a tested patch.
- Generowanie łatek na podatności przez modele językowe (LLM-based vulnerability patch generation): Generative models propose code changes intended to repair a known vulnerability. A candidate requires functional testing and security evaluation before use.
Wykrywanie podatności w kodzie przez modele językowe (Vulnerability detection in source code with language models): Language models and agents analysing source code and changes to flag security bugs and variants of known vulnerabilities.

Sources

Large Language Models for Cyber Security: A Systematic Literature Review · Hanxiang Xu, Shenao Wang, Ningke Li, Kailong Wang, Yanjie Zhao, Kai Chen, Ting Yu, Yang Liu, Haoyu Wang
Leveling Up Fuzzing: Finding more vulnerabilities with AI · Google Open Source Security Team (Google Security Blog) · sponsored
From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code · Big Sleep team (Google Project Zero, Google DeepMind) · sponsored
Vulnerability Detection with Code Language Models: How Far Are We? · Yangruibo Ding, Yanjun Fu, Omniyyah Ibrahim, Chawin Sitawarin, Xinyun Chen, Basel Alomair, David Wagner, Baishakhi Ray, Yizheng Chen
AI Cyber Challenge marks pivotal inflection point for cyber defense (AIxCC final results) · DARPA