«Divniekam pagaidām lieku ar zīmuli!»
OpenAI izstrādāja atsevišķu modeli CriticGPT, kas meklēs kļūdas ChatGPT atbildēs – sākotnēji, "skolotājs" koncentrēsies uz koda fragmentiem un, kā tiek atzīmēts, būs tikai palīginstruments cilvēku speciālistiem, kuri pārbaudīs tērzēšanas robota tekstus manuāli.
CriticGPT, kas izveidots uz GPT-4 valodu modeļu saimes bāzes, papildus tika apmācīts ar koda paraugiem, kuros tīši ievietotas kļūdas, un pirmajos testos tas parādīja sevi labāk nekā cilvēki 63% gadījumu. Tiek apgalvots, ka tas rakstīja labāku un detalizētāku kritiku, biežāk samazinot tā saukto halucināciju biežumu tērzēšanas robotā.
Apmācības laikā CriticGPT veiksmīgi atrada gan cilvēku tīši ievietotas kļūdas, gan kļūdas, ko sākotnēji pievienoja ChatGPT.
OpenAI pētnieki arī izveidoja jaunu paņēmienu Force Sampling Beam Search (FSBS), kas palīdz CriticGPT rakstīt detalizētākus koda pārskatus un var tikt līdzsvarots atkarībā no modeļa-kritika apmācības vajadzībām.
Interesanti, ka vienā no eksperimenta posmiem CriticGPT lika pārbaudīt atbildes, kuras cilvēki iepriekš bija apzīmējuši kā ideālas – un tas atklāja kļūdas 24% gadījumu (pēc tam tās tika apstiprinātas recenzentiem). OpenAI uzskata, ka tas demonstrē modeļa potenciālu uzdevumu pārbaudē, kas nav saistīti ar kodu, un uzsver tās spēju uzķert "visniecīgākās kļūdas", ko pat rūpīga cilvēka pārbaude var palaist garām.
Neskatoties uz CriticGPT daudzsološajiem rezultātiem, tāpat kā visas mākslīgā intelekta modeļiem, ir ierobežojumi. Tas trenējās uz salīdzinoši īsām ChatGPT atbildēm, tāpēc pagaidām nav gatavs gariem un sarežģītākiem uzdevumiem.
Komentāri (0)
Šobrīd nav neviena komentāra