과학

MS와 알리바바의 인공지능, 문장 독해력 테스트에서 사람을 넘어서


  • 우예진 기자
    • 기사
    • 프린트하기
    • 크게
    • 작게

    입력 : 2018-01-18 18:14:44

    마이크로소프트는 1월 15일 자사가 개발한 인공지능이 SQuAD(Stanford Question Answering Dataset) 문장 독해력 시험에서 알리바바의 인공지능와 함께 인간을 뛰어 넘는 점수를 기록했다고 발표했다.

    SQuAD는 500가지 이상의 위키페디아 항목 중 네티즌이 입력한 10만 가지 이상의 질문과 대답으로 구성되어 있으며, 인공지능은 이 중 하나의 단문을 읽고 이해하여 몇 가지 질문에 대한 문건에 따른 답을 도출한다.


    SQuAD의 어려운 점은 인공지능이 동의어나 문법적 차이를 이해해야 답을 낼 수 있기 때문이다. 예를 들면 인공지능은 “~로 알려진”이라는 짧은 글을 이해하고 “뭐라고 부를까?”라는 질문에 답해야 한다.


    또 답을 얻기 위한 외부 지식도 필요하다. 예를 들어 “유럽 연합 이사회”라는 단어가 짧은 글에 나와도, 그것이 정부 관련 기관이라는 설명이 없기 때문에 질문에서 “이 역할을 하는 정부 기관을 뭐라고 할까?”라는 대답을 하는 것이 어려워진다.


    SQuAD에서는 2가지 측정 기준을 두고 인공지능 시스템을 평가하고 있다. 하나는 하나의 답에 얼마나 일치한 답을 냈는지, 또 하나는 F1 스코어에서의 예측과 정확한 답이 어느 정도 일치하는지 평가한다.


    이번 마이크로소프트가 1월 3일 제출한 모델은 완전 일치 평가에서 82.650점을 달성했다. 이어 알리바바가 1월 5일에 제출한 모델도 82.440점을 달성했다. 이 점수는 인간의 최고 점수인 82.304점을 넘어 인공지능은 “인간 수준의 독해력을 얻게 된 것”이라고 평가받았다.


    마이크로소프트는 향후 인공지능에 의한 기계 해독으로 컴퓨터가 책이나 서류의 정보를 빨리 해석하고 쉽게 이해할 수 있는 방법으로 필요한 정보를 사람들에게 제공할 수 있게 될 것으로 기대하고 있다.


    또한 마이크로소프트에서는 이 외에도 사람의 능력보다 앞서는 음성 인식 기술을 개발하고 있다. 또 구글도 사람을 넘는 독순술(청각 장애인이 상대방의 입술 움직임을 보고 말을 판단하는 기술) 개발에 성공했다.

    ▲ © 마이크로소프트 로고


    베타뉴스 우예진 기자 (w9502@betanews.net)
    Copyrights ⓒ BetaNews.net