Google DeepMind SAFE AI жүйесін әзірледі. Ол ChatGPT сияқты үлкен тіл үлгілерінің (LLM) нәтижесін тексеруге арналған. Бұл туралы SecurityLab жазады.
LLM нәтижесінің негізгі фактчекиң әдісі – Google-дан расталған дереккөзді табу. DeepMind командасы ұқсас тәсілді қолданды: олар ЖИ жауаптарындағы мәлімдемелерді талдайтын LLM үлгісін әзірледі, содан кейін Google-дан тексеру үшін пайдалануға болатын сайттарды іздейді, содан кейін дәлдікті анықтау үшін екі жауапты салыстырады. Жаңа жүйе Search-Augmented Factuality Evaluator (SAFE) деп аталады.
Тестілеу кезінде зерттеу тобы ChatGPT, Gemini, PaLM, бірнеше LLM жауаптары арқылы 16 000 фактіні тексерді. Нәтижелер фактчекерлердің қорытындыларымен салыстырылды. SAFE дерегі адамдардыкімен 72%-ке бірдей болып шықты. SAFE пен адамдар арасындағы келіспеушіліктерді талдау кезінде зерттеушілер 76% жағдайда құқықтарды SAFE жүйесі бергенін анықтады.
DeepMind командасы GitHub сайтында SAFE кодын жариялады. Бұл кез келген адамға LLM үлгісі жауаптарының дәлдігі мен сенімділігін жақсарту үшін жүйені пайдалануға мүмкіндік береді.
