23 수능 국어 상위 5%에 도달한 인공지능
게시글 주소: https://ui.orbi.kr/00064160457
안녕하세요, 오르비 여러분.
오픈소스 한국어 문서 기반 질의응답 AI 시스템을 탐구하는 프로젝트 팀 NomaDamas입니다.
23 수능 국어에서 상위 5%를 인공지능으로 달성하여 뉴스 기사가 나왔습니다!
수험생시절 오르비에서 도움을 많이 받았던 기억이 나
혹시 저희 프로젝트가 수험생 여러분들께 조금이나마 도움이 될까 싶어 공유합니다!
세 줄 요약
- 기존 3등급(86점, 상위 22%)이던 GPT-4의 수능 국어 성적을, 프롬프트 엔지니어링으로 2등급(94점, 상위 5%)로 향상시켰습니다.
- 문제 유형에 특화된 프롬프트를 사용하면 1등급(96점, 상위4%)까지 달성할 수 있습니다.
- 사용한 프롬프트 전문과 소스코드, 수능 국어 데이터셋을 오픈소스로 공개했습니다.
1. 프롬프트 엔지니어링?
긴 글을 시작하기에 앞서, 많은 분들의 이해를 돕기 위해 저희가 사용한 프롬프트 엔지니어링에 대한 간단히 설명 드리겠습니다.
프롬프트 엔지니어링은 대화형 인공지능 (예: Chat-GPT)에 들어가는 입력 프롬프트를 신중하게 작성하고 개선하여, 원하는 고품질의 응답을 생성하는 과정입니다.
간단히, 어떻게 인공지능에 ‘잘’ 질문 하는지 연구하는 것입니다.
‘수험공부를 하면서 얻은 나름의 노하우들을 프롬프트에 적용하면, 인공지능의 수능 점수가 어디까지 올라갈까?’ 라는 의문이 들었고, 프롬프트 엔지니어링을 통해 적용해 보았습니다.
2. 사용한 프롬프트
어떤 프롬프트를 사용했는지 궁금하시죠?
핵심부터 말씀 드리자면, 지문 속에서 정답과 관련이 있는 문장을 찾도록 한 것입니다.
수험생 시절에 지문에서 ‘1+1=3’ 이라고 한다면 그냥 받아들이고 풀겠다는 마음가짐으로
지문 속에서 근거를 찾는 연습을 하며 기출 문제 분석을 많이 했었는데요,
그 경험을 프롬프트에 반영해 보았습니다.
그 결과 인공지능의 점수가 8점 상승하여 94점이 되었습니다.
지문에서 근거를 찾는 능력의 중요성을 다시 한번 느낄 수 있었고, 수험생분들에게도 공유하고 싶었습니다.
[실제 사용 프롬프트]
위의 프롬프트는 <보기> 가 없는 경우에 사용한 프롬프트 입니다.
저희는 <보기>가 있는 경우와, 없는 경우를 구분하여 프롬프트를 사용하였습니다.
본문이 너무 길어질 것 같아 <보기>가 있을 때 프롬프트는 더 궁금하신 분들이 참고하실 수 있도록
자세한 설명이 있는 링크를 함께 달아두겠습니다 :)
3. 빈출 유형 대응 프롬프트
위의 프롬프트로는 13번, 15번, 40번 문제를 제외하고 모두 풀 수 있었습니다.
GPT-4가 ‘동음이의어’, ‘다의어’ 관련 문제를 못 푸는 것을 확인했습니다.
이에 수험생들이 기출문제로 문제 해결의 방향을 잡는 것처럼,
인공지능에게도 문제를 푸는 방법을 알려주는 13번 문제 맞춤 프롬프트를 제작하기로 했습니다.
[실제 사용한 13번 전용 프롬프트]
(프롬프트에 사용된 표현이 정확한 표현인지는 잘 모르겠습니다..)
제가 이 문제를 실제 시험장에서 만났다면 다음 프롬프트와 같이 행동했을 것이라고 생각하고 작성해보았는데요,
저의 수험생활경험으로 만들어진, 13번 유형의 문제들만 해결할 수 있는 맞춤형 프롬프트 입니다.
오직 ‘지문 속 근거가 된 문장’만으로는 인공지능이 해결하기 어렵다고 판단하여 맞춤형 프롬프트를 제작하였고,
그리하여 13번 문제까지 정답을 맞춰 96점, 1등급에 도달할 수 있었습니다.
하지만 이 프롬프트는 같은 유형의 문제가 나왔을 때에만 재사용 가능한 프롬프트라는 점에 있어서,
완벽한 1등급에는 도달하지 못했습니다.
오지랖일지는 모르겠지만,,,
그래도 인공지능처럼 많은 수험생분들이 시험장에서 만나게 될 다양한 예상 문제들에 대해 나름의 ‘행동 매뉴얼’을 만들어 시험장에 들어가시면,
훨씬 빠르고 정확하게 문제를 해결할 수 있다는 것을 증명한 사례라고 생각하여 가져와 보았습니다 :)
4. 실제 예시
- 17번 문제 (오답률 84.9%)
5. 오답 풀이
23 수능 국어(화법과 작문)에서 15번(비문학)과 40번(화법과 작문) 문제를 GPT-4가 풀지 못했습니다.
왜 오답을 뱉어냈는지 나름대로 설명 해보는 섹션입니다.
- 15번
- 15번 문제의 핵심은 지문으로부터 '100^0.75'와 '1^0.75'를 유도해 무엇이 더 큰지를 구해야 합니다. 이는 GPT-4의 수학 능력 부족으로 두 숫자 중 더 큰 수 찾기를 힘들어 합니다.
- 또한, 지문만 보고 해당 식을 유도하는 것 조차도 힘들어 합니다. 수학적 수식을 이해하고 그것을 선택지에 응용하는 능력이 떨어지기 때문입니다.
- 비슷한 문제로, 문제의 19년도 수능 31번 문제도 '만유인력 공식'을 이해하고 활용해야 풀 수 있는데, 해당 문제 역시 GPT-4는 못 풀었습니다.
- 40번
- 40번에서는 학생 1과 학생 3 '모두' 상대의 발화 내용을 잘못 이해했는지 파악하는 것이 핵심입니다.
- 실제로 해당 부분에서 학생 1은 상대의 발화 내용을 잘못 이해하고 있으나, 학생 3은 그렇지 않습니다.
- 그래서 3번 선지를 정답으로 골랐어야 했지만,
GPT-4는 학생 1이 상대의 발화를 잘못 이해했다고 잘 파악하였으나,
학생 3은 상대의 발화 내용을 이해하고 있다고 파악하여 오답을 고르게 되었습니다. - 비교적 수험생분들에게는 익숙할 수 있는 평가원의 함정 입니다만, 아직 평가원의 함정을 수월하게 빠져나가지 못하는 인공지능입니다
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
저 고2때 제2외국어 23점 맞아봄 ㅋㅋ
-
백분위 언매 93 확통 85 영어 1 사문 95 생윤 98 국어 수학 한 문제씩만...
-
화작러들이 유리해질수도 있는거임? 등급컷이 내려간다거나..
-
물리문제 질문 1
ㄱ이 틀렸다고 나오는데 A내부의 자기장의 방향은 A내부에 나침반을 둔다고 가정했을때...
-
요즘 질문해도 답이 잘 안와요
-
다 쌈뽕하고 조와요 호호호
-
22 : 외적의 침입을 막기에 유리가 되. 23 : 탈추-ㅁ 24 : 초성자 용자례...
-
이거 찍었을때 기댓값 아님!? 심지어 노베로 찍은 3월이 더 잘봤네
-
∀x(x∈A∪A^c)의 부정형이 모순이므로 ∀x(x∈A∪A^c)가 참...
-
75m 높이 옆 아파트 옥상비번 뚫어놨는데…. 되게 허무한데 떨어지면 고통이 느껴지려나
-
종종들어와서 불안감 해소팁 풀어볼께요 1)부모님이랑 대화를 하셔요 2)시간재는...
-
희망회로만 돌려서 그런가 원래이럼? 원래 별 생각없이 살기는함..
-
오만원 주고 살까요???????? 혹은 그 이상일수도 있음
-
현우진 전공이 기하학이래서 다들 우진 쌤 들으시는 줄 알았는데 기하 유기하셨다던데...??
-
또우울글썼네 2
감정쓰레기통이제그만
-
적중예감 파이널 1회 15번 통계문제는 ABC계층을 하나도 찾지 않고도 문제가...
-
1. 불안감보다 자극적이고 치명적인 감정 느끼기 ex) 새벽에 혼자 나가서 몇 시간...
-
난 너하고 대화할 수 없는 몸이 되어버렸어 이제
-
친구말 들어보니까 논술 시험지를 회수해가는 것 같던데, 가채점표 작성은 허용해주나요?
-
내 방까지 데굴데굴 굴러가야지 히히
-
사문 실모 오답 1
다들 사문 실모 푸시고 오답 확인 후 바로 치워버리시나요? 아니면 나중에 다시 한번 더 보시나요
-
이제 막 수1 들어간 노베인데 (내년 수능 준비) 현우진 쌤 설명 잘하시는 것...
-
오르비에 아는사람이 거의 없어서 실패!!
-
가르쳐줘야 하는 대상한테 동등한 위치에서의 토론을 원했으니 내가 ㅂㅅ인듯 ㅇㅇ
-
그 누군가가 방송을 하지 않는다는 것이 다음 새로운 시작을 위해 노력하기 때문이라면 응원합니다
-
실감이 안남 3
한달정도 뒤에 수능을 본다는게 근데 머리로는 실감이 안나는데 몸으로는 엄청 스트레스...
-
ㅇㅇ?
-
두 번째 수능을 성공적으로 마무리할 수 있었던 이유 1. 스트레스 수능이 한 달 반...
-
투자쪽에 관심이 ㅈㄴ 많은데 뭐부터 시작해야할지 막연하더라구요 수능 끝나고나면...
-
이거없이대학을갈수있을까 아.국영탐이왜그럴까
-
국어 한줄로 밀게
-
이미지 적어드려요 59
치킨시켜서 오기전까지 할게 없어서,,
-
4년 전 문제다.
-
실문풀이랑 파이널 둘중하나 하면 머하는게 나을까여 유자분까지하고 ebs풀엇어요 9평은 3등급받앗어요
-
올해목표 11
외뱃달기 내년목표 중뱃달기 내후년 목표 성뱃달기 그 뒤는 아직 미결정
-
어차피 화공가도 물리함 +) 화학실험 극혐이니까 대학 과도 화학 관련된 곳은 피하도록...
-
집중은 3분도 못 하고 내 정신이 아닌 것 같고 아무것도 못하겠음요 그냥 가만히...
-
몇등급인가요 50프로 70프로 컷만 보이는데..
-
강아지카페를 가야해 10
꼬순내력이 부족해..
-
유도하기 힘들었다
-
올해 더프 인증 6
나도 지금 확인하는 옛 더프 성적 국어 빼먹어서 다시 올려요
-
최저러고 기출을 푼 적이 없어서 남은 기간동안 기출을 풀려하는데요 몇년도 기출부터 풀면 될까요?
-
수스퍼거 친구랑 수능수학점수에 대해 토의를 해봤는데 3
결론이 92<---이새끼 ㅈㄴ어렵다 작수 아무리봐도 88-92가 max같다....
-
진짜 너무 떨려요 ㅜㅠㅜㅠ
-
미적사탐 외않헤 0
과탐고집하는애들(고인물,실수 제외)이해가 안되네..애매하게 과탐 3-4시간투자해서...
-
만신떳다 2
*23# 다들 ㄱㄱ
-
제발 화학1은 하지마라
-
오늘의공부 1
국어:문학 옛기출 3지문 비문학 5지문 언매기출 4문제 수학:현장...
-
사진들이 다 깨져있는데 왜이럼,,, 근데 카메라 어플로 찍은게아니라 카메라로 찍은건...
우와… 너무 신기해요…
휴 ai 이겼다
이건 제작자가 천재다