distillazione avvelenata

Oggi parliamo di un paper pubblicato ad aprile su Nature, da Anthropic, da Berkeley e da altre università, nel quale sostanzialmente si evidenza un comportamento inaspettato quando avvengono delle distillazioni da modelli grandi ai modelli piccoli, ovvero si trasmette un comportamento, e può essere benevolo o malevolo, senza che questo comportamento sia esplicitato all'interno del dataset di training. Una cosa molto curiosa e molto interessante, e la sentiamo tra poco.