내 AI가 멍청해졌을까?

아래 주소를 인터넷 창 맨 위 주소칸에 붙여 넣으세요.

https://www.bridgebench.ai/nerf-bench

카드 하나에 모델 이름, 만든 회사, 배지, 큰 숫자(%), 꺾은선 그래프가 있어요.

초록 배지 Normal(정상) — 지금 점수가 처음 점수의 90~110% 안에 있다는 뜻이에요. 이 정도 오르내림은 정상 오차로 봐요. 90% 아래면 힘이 빠진 것, 110% 위면 더 강해진 거예요.

그래프 — 가운데 100% 줄이 기준선이에요. 왼쪽 끝 Launch는 측정을 시작한 날, 오른쪽 끝 크게 찍힌 점이 가장 최근 결과예요.

맨 위 요약 칸 — Models tracked(지켜보는 모델 수), Beyond normal variance (±10%)(정상 범위 밖으로 나간 모델), Latest test(가장 최근 시험 날짜).

"힘(Power)"은 정답률만 보는 게 아니에요. 정답률 60% + 쓴 글자 양(토큰) 20% + 비용 20%로 계산해요. 같은 답을 내도 더 길게 쓰고 돈이 더 들면 점수가 내려가요.

카드를 누르면 날짜별 기록을 볼 수 있어요. 아래는 사이트가 '최근 시험 10월 4일'로 표시한 시점의 숫자예요(오퍼스 5.5는 10월 4일, 나머지 3개는 10월 2일 측정값, 10월 7일 화면 재확인). 숫자는 계속 바뀌니 지금 값은 사이트에서 확인하세요.

소넷 5.5와 솔은 아직 측정 점이 2개뿐이라, 오르는지 내리는지 판단하기엔 일러요.

"요즘 AI가 멍청해졌다" 싶을 때는, 내가 자주 쓰는 질문 하나를 메모장에 고정해 두고 가끔 같은 질문을 다시 넣어 결과를 비교해 보세요. 감 대신 기록으로 확인할 수 있어요.

새 결과를 메일로 받고 싶다면 사이트 아래쪽 Get new results by email 칸에 이메일을 넣으면 돼요.

화면 가운데 창이 내용을 가릴 때 — 사이트에 안내 창이 뜰 수 있어요. 창을 닫으면 카드가 보여요.

내가 쓰는 모델이 없을 때 — 10월 4일 기준 지켜보는 모델은 4개뿐이에요. 목록에 없는 모델은 아직 측정하지 않는 거예요.

숫자가 이 글과 다를 때 — 정상이에요. 시험을 계속 다시 치기 때문에 숫자는 계속 바뀌어요.