Уисконсин-Стаут университетінің зерттеушісі Кевин Матте Карамансион танымал үлкен тіл үлгілерінің жаңалықтың рас-өтірігін қаншалық ажырата алатынын зерттеген. Нәтижесі arXiv алдын ала басып шығару жүйесіндегі мақалаға жарияланған. Онда үлкен тіл үлгілері болашақта интернеттегі дезинформациямен күресу үшін қолдана алатын құнды ақпараттар берілген. Бұл туралы SecurityLab жазды.
Біз бұл үлкен тіл үлгілерінің жұмысын сынақ жиынтығы – тәуелсіз фактчекиң агенттіктері тексерген 100 жаңалық арқылы бағаладық. Біз әр жаңалықтың тексерілмеген нұсқасын ұсындық және үш санаттың бірі бойынша жауап беруін сұрадық: “шын ақпарат”, “жалған ақпарат”, “жартылай шын ақпарат”. Тәуелсіз агенттіктердің тексерген деректерімен салыстырып, үлгілердің қаншалық дұрыс жіктегенін анықтадық.
Кевин Матте Карамансион, зерттеуші
Карамансионның мәліметінше, OpenAI компаниясының GPT-4.0 нұсқасы басқа тіл үлгілерінен асып түсті.
“Дегенмен барлық үлгі фактчекер адамдардан қалып қойды. Осылайша, олар адам білімінің орасан зор құндылығын көрсетті. Бұл нәтижелер деректі тексергенде симбиотика тұрғысынан адам дағдыларымен интеграцияланатын, баланс сақтайтын жасанды интеллектіні дамытуға назар аудартуы мүмкін”.
Кевин Матте Карамансион, зерттеуші
