Metacritic

2001년에 개설된 세계 최대의 영화, 게임, TV 쇼, 음악 앨범 리뷰 모음 집계 사이트.

이름인 메타크리틱(Metacritic)은 메타 비평가(Meta critic)[1]을 띄어쓰기 없이 붙여놓은 말이다. 비평가들의 의견을 종합하는 사이트니 여러모로 의미하는 바가 크다.

보통 리뷰 모음 사이트라면 특정한 미디어 한 종류만 모아두지만 메타크리틱은 다양한 범주를 포괄한다. '집계'라는 단어에서 알 수 있듯 자체적으로 리뷰하지는 않고, 전문적인 평론가의 리뷰 또는 유저 리뷰를 수치화하여 평균 점수로 보여준다. 엄청난 데이터로 인해 언론에서도 종종 인용되고, 스팀에서도 이 사이트의 점수를 사용하고 있으나 평균 평점제의 단점인 작품에 대한 평가를 수치화시키길 원치 않는 이들의 평가는 놓친다는 단점이 있다. 이런 요소까지 보강하려면 수치화시키지 않는 평가도 포함해서 측정하는 로튼토마토도 참고하는 게 더 정확하다.

이 사이트는 미국 CBS 방송국 계열사인 CBS Interactive 소속의 사이트로, 익히 아는 씨넷, 게임스팟 등을 자매 사이트로 두고 있다.

영화의 경우 로튼토마토와 쌍벽을 이루는 리뷰 사이트이다. IMDB나 네이버는 유저 평점을 기준으로 하지만 메타크리틱과 로튼토마토는 전문가와 유저 리뷰를 분리해 놓고 있으며, 이렇게 해놓으면 보통 유저 리뷰보다 전문가 리뷰 위주로 참고하게 되기 때문에 평점 조작의 여지가 없고 신뢰도가 월등히 높다. 객관성을 중시하는 위키피디아에서는 영화 평점을 언급할 때 메타크리틱과 로튼토마토 딱 2개의 자료만 사용한다.

로튼토마토와 메타크리틱의 차이점은 다음과 같다.

어디까지나 평균제이기에 같은 점수라도 대부분 공통된 평을 내놓거나, 극찬과 극악평이 섞이는 등 평 구성은 다를 수 있다. 이런 점 때문에 로튼토마토와 메타크리틱의 점수는 언뜻 보았을 때는 비슷하지만 자세히 뜯어보면 꽤 다르다는 것을 알 수 있다. 실제로 같은 작품을 놓고 작품 점수들이 평균적으로 10점 내외정도로 로튼 토마토쪽이 더 높게 나오며 로튼 토마토쪽 호불호점수가 높을 수록 그 차이가 더 심해지는 경향이 있다. 그래서인지 로튼 토마토 점수 90점대를 받은 영화가 메타크리틱에 오면 70점대로 뚝 떨어지는 기현상도 자주 발행하는 편.

호평받은 작품에는 MUST-SEE 배지가 주어진다.[3]

음악의 경우 이름 좀 들어본 언론이나 매거진들(롤링 스톤, 피치포크 미디어, 빌보드, 더 가디언 등)은 대개 자신들이 편애하거나 싫어하는 장르가 뚜렷하다. 또 일부 언론은 자신들이 긴 시간 쌓아온 공신력을 과신하여, 꽤 잘 만들었다 싶은 앨범들에도 자기들 입맛에 맞지 않으면 점수를 짜게 주는 일이 잦다. 이런 언론이나 메거진들이 앨범 평점의 대부분을 차지하기 때문에 이들의 평균 점수를 기록해주는 메타크리틱에서는 영화나 게임 평점보다 점수가 상대적으로 낮다. 메타크리틱의 분야 내 위상이 예컨대 게임계에 비해 떨어지는 것도 특징으로, 메타크리틱 평점이 10점 이상 차이나더라도 그걸 근거로 앨범의 우위를 주장하는 것은 그리 지지받지 못한다. 절대적이진 않지만, 대체로 60점대에 평균적인 점수가 형성된다. 따라서 70점대가 넘어가면 그 장르에서 상당히 잘 만든 음반이며, 60점대는 평작, 50점대 초반 이하부터는 대체로 욕먹는 작품이라 볼 수 있다. 다만 예외가 지나치게 많아서 맹신할 수 없다.

게임의 경우 영화, TV와 숫자 기준은 조금씩 다르지만 마찬가지로 빨간색, 노란색, 녹색으로 혹평, 평균 이상, 호평을 구분하고[4], 같은 게임이라도 기종별로 나눠져 있는데 점수에서 큰 차이는 없다. 상세하게 나오기 때문에 딱히 특정한 작품이 아닌 그냥 볼 만한 걸 스코어순으로 정렬하면 말 그대로 스코어가 높은 순으로 나와서 검증된 작품을 볼 수 있는 곳이다. 보통 90점 전후는 명작으로 부르며 메타크리틱 측에서도 평론가 리뷰 15개 이상 조건으로 90점 이상의 게임들은 MUST-PLAY[5] 배지가 주어진다. 나머진 80점을 넘으면 못해도 수작으로 보고, 70점~79점이 평작이며, 그 이하는 망작이라고 생각하면 된다. 인디 게임의 경우 그래픽 때문에 저평가되는 경향이 있어 80점 이상이면 상당한 명작이라고 보면 된다.

그리고 유저 스코어도 잘 비교해야 하는데, 보통은 평론가의 평과 유저들의 평의 격차는 크지 않지만 평론가 평과 유저들의 평의 격차가 심하면 평론가의 평을 어느정도 필터링할 필요가 있다. 국내에서도 매번 AAA게임이 발매될 때마다 루리웹 등지에서 메타크리틱 점수가 거의 필수로 올라오는 등 가장 잘 알려진 집계 사이트다. 하지만 1996년 이전 게임 리뷰는 찾기 힘들다. 어차피 2000년대 이전에는 게임을 평가하는 웹 사이트가 활성화되기 이전이고, 리뷰계의 양대 산맥이라 불리는 IGN과 GameSpot은 1996년에 생겼다.

나무위키에서는 게임 평가 시에 가장 많이 인용되는 편이다. 일단 게임랭킹즈는 메타크리틱보다도 옛날 게임까지 스코어 평균이 나오지만 위키러들이 잘 인용하지 않는 편이며, 오픈크리틱은 신생 사이트라 2013년 이후 게임만 평점이 나온다.

우선, 사이트 자체가 여러 리뷰들을 종합하여 한 번에 쉽게 볼 수 있도록 평균을 보여주는 사이트이기 때문에, 가장 큰 장점은 그냥 3단계 색을 통해 한 눈에 게임이 평이 좋았는지, 중간인지, 나빴는지, 그리고 같은 단계 내에서도 얼마나 좋거나, 중간 단계 중에서도 어느 정도인지, 혹은 얼마나 나쁜지 3단계에 걸쳐 알 수 있다는 것이다. 또한 다른 사이트들과 마찬가지로 유저 평점의 존재 덕분에 전문 리뷰어 뿐만이 아닌, 그냥 자신과 같은 일반인들의 견해와 의견 또한 얻을 수 있다는 점 덕분에 여러가지의 의견을 쉽고 빠르게 볼 수 있다. 이러한 점을 이용하여 언론 등에서는 메타크리틱의 정보를 인용하기도 하고, 스팀 등의 사이트에서는 메타크리틱 평균 점수를 보여줌으로서 전체적인 게임 평점을 쉽게 보여준다. 이런 방대한 양의 정보를 쉽게 입수 가능하다는 점에서 굉장한 힘을 보인다.

이렇게 많은 사람들이 애용하는 사이트지만, 리뷰 사이트에서 가장 중요한 과연 신뢰성이 있는가는 아주 확실하지는 못하다.

예를 들어, "A"가 두 리뷰 사이트에서 평점 100점과 0점을 얻었다고 치자. 그 두 평점의 평균은 50점이 된다. 메타크리틱에서 점수만 보는 사람들은 "A"가 100점과 0점 둘 다 맞았다는 사실을 모르고, 결국 "A"는 50점 맞은 그저 그런 작품으로 기억될 것이다.물론 4개 이상의 리뷰가 없으면 점수를 게재할 수 없으므로 위와 같이 극단적인 경우는 없겠지만, 작품들의 호불호가 극단적으로 갈리면 정확도가 떨어질 수 밖에 없다.

또한, 유명한 리뷰 사이트가 아닌 소규모의 블로그들에서 무조건 특정 작품에 극단적으로 높거나 낮은 점수를 주는 경우가 있다. 매우 높은 점수를 올려 놓으면 사이트의 시스템 상 높은 점수가 제일 위에 올라가고 제일 낮은 점수는 아래로 내려가는데, 그 시스템을 악용해서 자신의 사이트를 홍보하려는 용도로 사용하는 것이다. 메타크리틱은 알다시피 리뷰어들의 리뷰를 종합해서 평점을 내리는 사이트다. 그런데 이런 리뷰가 있으면 평균 점수에 큰 변동을 준다. 특히 메타크리틱이 생기기 이전에 개봉된 영화들은 리뷰의 수가 적기 때문에 이러한 관심종자들의 영향력이 상대적으로 크고, 영화의 개봉 당시 비평이나 명성에 비해 메타크리틱의 평점이 턱없이 낮은 경우가 많다. 그냥 리뷰 보려고 메타크리틱을 이용한다면 큰 문제처럼 보이지 않을 수도 있지만, 이런 리뷰들로 변경된 평균 점수가 작품의 후속작이라는 중대한 문제를 결정할 수도 있기 때문에 사소한 문제라고 넘기기가 어렵다.

사실 이런 점을 메타크리틱 측도 알기 때문에 나름대로 조치를 취했는데 문제는 그게 가중평균(weighted averages)이라는 점이다. 즉, 위의 사례에서는 100점과 0점이 같이 있는 경우, 단순한 산술평균을 하자면 평균 50점이라는 점수가 나오겠지만 실제 메타크리틱상 점수는 60점이나 80점이나 30점이 나올수도 있다. 실제로는 100점과 0점 준 평론에 각각 가중치를 다르게 부여해서 평균점수를 산출하기 때문이다. 그런데 이 '가중치'의 기준은 아직 한번도 공개된 적이 없다. 굳이 따지자면 "사회적 지명도(based simply because of their stature)"에 기반해서 가중치를 부여한다는데 그 사회적 지명도는 누가 판단하는 것인가? 한마디로 메타크리틱 운영측에서 임의로 부여한 가중치때문에 메타크리틱 스코어가 바뀔 수 있다는 것이다. 메타크리틱이 인기를 얻었던 것은 각지에 흩어져있는 평점을 모아서 하나의 숫자로 보여준다는 신뢰성때문인데 그 과정에서 운영진의 자의가 개입되었다는 사실은 그 신뢰성을 대폭 깎이게 만든다.

그리고 평점제 사이트의 대표적인 단점인 작품에 대한 평가를 수치화를 원치않는 평론가나 평론 사이트들도 적지 않은 편인데, 이런 평론가들의 평가는 무시받는 시스템이기에 수치화되지 않은 평가도 포함하는 로튼토마토처럼 다른 사이트들도 함께 참고해둘 필요는 있다.

예를 들어 5점 만점을 채택한 평점과 10점 만점을 채택한 평점 시스템이 있다고 하자. 여기서 어느 작품이 5점 만점 평점에서 3점을 얻는다면 이는 대개 나쁘지 않은, 평타 이상의 그럭저럭 괜찮은 수준이지만, 그런데 메타크리틱에서 집계하는 점수들이 해당 리뷰 기준에 따라선 5점 만점이 시스템이 아닌 10점 만점 시스템에 6점 이상을 괜찮다(Okay)고 표기하거나, 5점대 이상을 평타로 보는 등 서로 기준의 차이가 있을 때도 있다. 그런데 메타크리틱은 이걸 일률적으로 60점으로 취급하며, 위에 언급한 신뢰성이 의심되는 자체적인 가감치도 부가하며 자기들 기준에 맞춰 분류해버린다. 사이트에 따라 합격기준이 다른 평가들을 집계하면서도 이를 한가지 기준으로만 분류해서 게임계에서는 이것 떄문에 말이 많다.

특히나 게임평론, 멀티플레이가 메인인 작품에서는 유효성의견이 극단적으로 갈리는게 평론가는 단지 초창기의 모습, 동시에 약간의 버그나 서버등의 문제는 관대하게 넘어가고, 이른바 메타의 형성 이전단계나 밸런스적인 논란 등 어느정도 게임에 대한 분위기가 형성되기 전에 결론을 내리게 된다. 그런데 이것도 형평성 논란이 터져나왔는데 마찬가지로 플레이가 불가능한 수준으로 문제가 많은데 점수를 후하게 주는 경우가 굉장히 많다. 그러다보니 실제 게임에 대한 평가는 유저가 느끼는것과 반대의 결과가 나오며, 웹진 평가로는 이른바 갓겜들이 유저들이 입을 모아 똥겜, 문제있는 작품이라 선언하는, 정반대의 모습을 보여준다. 이런 모습을 많이 보여주는 작품들이 유비소프트사의 멀티플레이형 게임이나 콜 오브 듀티 시리즈.

따라서 전문가 평론이건 유저 평론이건 한쪽만을 맹신하는 것은 금물이고 점수보다는 리뷰 자체를 읽어보고 세부적인 내용을 참고하는 것이 좋다.

유저 평점은 객관성 부문에서 믿음직하지 못하다. 무엇이 문제인지 잘 모르겠다면, 한 번 어떤 매체든지 메타크리틱 유저 평점들을 둘러 보자. 대부분 다음과 같은 유형으로 나눠질 것이다.

이런 유형의 사람들로 얼룩져버린 유저 평점은 결국 끝에는 전혀 믿을 게 못 되는 정보가 되어버리고 만다. 문제는 이런 유형의 유저들이 정상적으로 점수를 주는 유저보다 훨씬 많다는 것.

무엇이든지 리뷰를 쓰는 것에는 책임이 따른다. 우선 리뷰를 쓰는 이유 자체가 어느 작품의 좋았던 점과 좋지 못했던 점을 나열하면서 과연 돈을 주고 감상할 가치가 있는 작품인가를 찾아보는 것이기 때문이다. 그러나, 메타크리틱 자체의 익명성과 리뷰어로써 따르는 책임감을 모르는 몇몇 때문에 유저 평점은 사람들 사이에서 사람이 이 작품을 관람하고 얼마나 분노하였나 만을 찾아보는 잣대가 되어버렸다. 특히 해당 컨텐츠 관련 문제가 불거지게되면 우르르 몰려들어가 다중 ID를 통하여 0점 폭격을 내리는등 심심치않은 상황을 보게된다. 이렇다보니 메타크리틱 유저리뷰나 평점의 신뢰도는 더욱 더 떨어지게된다.

헌데 이러다보니 게임이 전작에 비해 얼마나 퇴화했나 같은 부정적인 이슈를 판단하기엔 아주 신뢰할만한 척도가 된거라는 주장도 있다. 리뷰어 평점과 유저 평점의 차이가 크면 그 게임은 뭔가 문제가 있다고 알면 된다. 점수가 높든, 낮든 말이다.

유저 리뷰에 대한 바로 윗 항의 우호적(?) 결론과는 정 반대로, 메타크리틱 및 유사한 인터넷 리뷰 포맷에서 유저 평점이 얼마나 신뢰하기 힘든지를 극명하게 드러내는 사건이 발생하여 관심을 끌고 있다.

우치코시 코타로의 작품 AI: 솜니움 파일은 출시 이래 상당한 호평을 받으며 스팀에서도, 메타크리틱에서도 꾸준히 높은 점수대를 유지하고 있었으나, 2월 한달 동안 급격한 평점의 변화를 경험하게 된다. 2월 4일까지 82점대를 유지하던 유저 평점이 그 하루 동안 5.2점... 3.4점 같은 식으로 극적으로 강하하기 시작한다. 2월 5일 시점에 1.9점까지 떨어진 유저 평점의 문제로 인해 제작자인 우치코시 코타로까지 상황을 알게 되었고, 혹시 게임 상에 LGBTQ에 대한 언급이 등장한 것으로 인해 정치적 보수주의자들의 불만을 샀기 때문이 아닐지 추측하였다.

그러던 중, 한 유저가 이 사건을 조사한다고 나섰으며, 어떤 한 사람의 반복적인 평점테러일 것이라는 결론을 내렸다. 그리고, 메타크리틱이 (1) 임시이메일을 막지 않는 점, (2) 한 개인이 여러 계정을 만드는 것에 무방비한 점, (3) 실제 게임을 구매하여 플레이 했는지를 확인하지 않는 점... 이 셋을 메타크리틱 유저평점 신뢰도 취약성의 주요 요인으로 꼽았다.

그러나, 최종적으로는 평점테러를 '조사'한다며 위와 같은 내용을 언급했던 해당 유저 그 자신이 바로, 자기가 언급한 세 가지 메타크리틱의 약점을 악용하여 평점테러를 가한 장본임이 드러났다. AI: 솜니움 파일 등 일본 매체 및 게임 관련 커뮤니티에서 쫓겨난 것에 앙심을 품고, 해당 커뮤니티에서 현재 유행하고 있는 게임인 AI: 솜니움 파일에 대한 평점테러를 감행했음을 인정했다.

이 사건으로 인해, 제대로 확인 및 관리되지 않은 유저 평점의 익명성이 얼마나 사소하고 개인적인, 또는 말도 안 되는 이유로 악의적으로 오남용될 수 있는지를 드러냈으며, 전문 리뷰어들의 평과 유저 평점에 차이가 있을 때 그것 또한 유의미한 평가라는 견해의 타당성을 크게 흔들게 되었다.

이 경우에는 불과 하루만에 비정상적으로 평점이 크게 떨어지는 기현상을 보였기에 명백한 평점테러가 이루어졌다는 의심 및 전제 아래 조사가 이루어져 진실이 드러날 수 있었지만, 만약 해당 행위가 좀 더 계획적으로, 서서히 진행되었다면 사실을 밝히는 것은 매우 어려웠을 것이다. 게다가, 해당 사건의 내막은 단 한 명의 어이없는 이유에서 비롯되었음에도 불구하고 평점을 테러하여 실제로 점수를 큰 폭으로 변화시키는 것이 가능함을 드러내었다. "세상에 누가 평점테러하겠다고 그렇게 꾸준히 계획적으로 귀찮은 일을 벌이겠는가"라는 회의론이 무색할 정도로.

결과적으로 메타크리틱 및 비슷한 형식의 여러 매체의 인터넷 평가에서 공개되고 입증 된 실적의 리뷰어들의 신뢰성에 비해, 유저 평점은 크게 믿을 수도 없고, 그럴 만한 가치도 없다는 것이 증명된 셈.

당연한 말이지만 게임뿐만 아니라 어느 매체의 작품이든 한 사이트나 한 사람 말만 보고 판단하지 않는 것이 좋다. 그리고 리뷰를 참조할 것이라면 점수만 보는게 아니라 해당 리뷰를 가능한 직접 읽어보는 것이 바람직한 정보 취득법이라고 볼 수 있다. 또는 여러 사람들의 의견을 들으면서 공신력 있는 평들은 어땠는지 참고하며, 스스로의 취향에 맞을 수 있을지 판단하는 것이 가장 좋은 방법이다. 평이 안 좋더라도 취향에 따라선 재미 있게 즐길 수 있고, 평이 좋더라도 취향에 안 맞으면 큰 재미를 못 느낄 수도 있기 때문에 평가의 공신력 자체는 인정하되 자신의 취향의 작품인지 작품에 대한 정보 또한 알아볼 필요가 있다. 메타크리틱은 참고 목적으로서 여러 사람의 의견을 듣기에 아주 좋은 곳이다. 다시 말해서 점수만 보고 접하기도 전에 안 좋은 작품으로 미리 판단하는건 좋지 않다는 것이다. 물론 점수가 전혀 의미없다는건 아니라, 어쨌든 30대의 평가를 받은 빨간색 작품과, 50대의 노란색 평가를 받은 작품, 70점대의 녹색 평가를 받은 작품은 대부분 큰 차이가 있고, 유저 평점이 리뷰어 평점에 비해 지나치게 낮거나, 혹은 유저 평점은 좋은데 평론가 평점은 안 좋게 나온 작품은 또 분명히 무언가 호불호가 심해 평점이 왜곡됐거나, 일부 리뷰의 평점 조작 등 이유가 있다.(예: 디아블로 3) 그러므로 그 이유를 판단하기 위해선 리뷰를 읽어봐야 한다는 것. 그렇기에 점수가 극단적이고(90점대나 30점 이하대의 게임들) 웹진과 유저들의 평이 비슷할 때 신뢰할 수 있다는 의견이 많다. 사실 이 점은 어느 분야의 평론에서나 통하는 말이지만.

영화, 게임, 음악 각 분야의 점수 기준이 많이 다르다는 점을 알아둘 필요가 있다. 2016년 11월 현재 90점을 넘는 음악 앨범은 단 47개인데 반해 90점을 넘는 게임은 460개가 넘는다. 물론 게임의 경우 멀티 플랫폼으로 발매되면 플랫폼별로 점수가 따로 매겨지므로 갯수가 부풀려졌음을 감안할 필요는 있지만, 그래도 음악 분야에 비해 90점 이상의 점수가 몇 배는 더 흔한 것이 사실이다. 한 가지 분야의 메타크리틱 점수만 참고하다가 다른 분야도 참고하려고 한다면 이런 점을 염두에 둬야 한다.