Microsoft Azure AI Studio specialisti ir izstrādājuši vairākas jaunas drošības funkcijas klientiem.
Sarakstes vadītāja Sāra Berdz saka, ka šīs rīku, kas balstīti uz plašu valodu modeli, var atklāt potenciālas sistēmu haļucinācijas.
"Mēs zinām, ka ne visiem klientiem ir pieredze ar ātrām uzbrukumiem, tāpēc novērtēšanas sistēma rada nepieciešamās norādes, lai imitētu šāda veida uzbrukumus. Tad klienti var saņemt novērtējumu un redzēt rezultātus," - saka viņa.
Sistēma potenciāli var atrisināt strīdus par ģeneratīvo AI, ko izraisa nevēlamas vai nejaušas atbildes.
Pašlaik Azure AI sākotnējā versijā pieejamas trīs funkcijas:
- Prompt Shields, kas bloķē ātrās pieprasījumus vai ļaunprātīgas norādes, kas liek modeļiem aizmirst mācību datus;
- Groundedness Detection, kas atrod un bloķē halucinācijas;
- Drošības novērtējuma funkcija, kas novērtē modeļa ievainojamības.
Aptuveni divas citas funkcijas, lai virzītu modeļus uz drošiem rezultātiem un sekotu norādēm, lai atzīmētu potenciāli problēmīgus lietotājus, tiks pieejamas drīzumā.
Neatkarīgi no tā, vai lietotājs ievada norādi vai modelis apstrādā trešo pušu datus, uzraudzības sistēma novērtēs to, lai redzētu, vai tiek aktivizēti kādi aizliegti vārdi, vai ir slēptās norādes, pirms to nosūtīšanas modeļa atbildei. Pēc tam sistēma pārbauda atbildi un pārbauda, vai modelis nav halucinējis (tas ir, nav sniedzis viltus datus).
Nākotnē Azure klienti arī varēs saņemt ziņojumus par lietotājiem, kas mēģina izdarīt bīstamas darbības. Berdz saka, ka tas ļaus sistēmas administratoriem atšķirt sarkanās komandas no cilvēkiem ar ļaunprātīgiem mērķiem.
Tiek uzsvērts, ka drošības funkcijas tūlīt "pieslēdzas" pie GPT-4 un citiem populāriem modeļiem, piemēram, Llama 2. Taču, ņemot vērā, ka Azure modeļu kolekcija ietver daudzus AI sistēmas - lietotājiem ar mazāk populārām atvērtā pirmkoda sistēmām iespējams būs jāpievieno tās manuāli.
Avots: The Verge
Komentāri (0)
Šobrīd nav neviena komentāra