На днях видеоблогер MKBHD опубликовал результаты своего ежегодного «слепого теста», где пользователи выбирают лучшие снимки, не зная, на какой телефон они сделаны. Как и в предыдущие годы, итоги оказались очень контринтуитивными: можете попытаться сами угадать, какой телефон победил, и почти наверняка ткнёте пальцем в небо. «Слепые» оценки противоречат тому, что пишут в умных обзорах и что считается очевидным.
Я не встречал на Хабре упоминаний этого теста, а по-моему, это очень интересные данные, заставляющие задуматься о том, что представляет ценность для пользователей. Поэтому решил описать текстом и свежие результаты Маркеса Браунли (так зовут MKBHD), и общие выводы за несколько лет.
Методология
Маркес действует следующим образом: берёт 16 смартфонов, разбивает их попарно, создаёт турнирную таблицу. Делает на все телефоны фотографии в идентичных условиях, выкладывает в соцсети и просит подписчиков выбрать лучший из двух кадров в каждой паре. Телефон-победитель из пары проходит на следующий этап, там на восемь таких «прошедших» телефонов делают новый кадр, и процесс повторяется, пока в финале не сходятся два последних.
В тесте нигде не подписано, на какие телефоны сняты кадры. В обычных интернет-сравнениях снимков, где они подписаны, мы заведомо необъективны: при сравнении iPhone с Xiaomi на наше восприятие влияют уже имеющиеся у нас представления об этих устройствах. Не получится ли так, что без знания «где тут айфон» наша реакция окажется противоположной?
В связи с этой методологией у части подписчиков возникает возражение «соцсети страшно пережимают снимки, выложи исходные файлы поразглядывать как следует». Однако для Маркеса в этом и заключается идея: оценить то, с чем люди чаще сталкиваются в реальной жизни, а не сравнивать сферических коней в вакууме.
Есть и более существенная придирка: поскольку у разных камер разные сильные стороны, выбывание из-за единого промаха может быть непоказательным. Например, если какой-то телефон прекрасно работает в условиях плохой освещённости, но на первом же задании при хорошем освещении его обошёл другой, то мы сразу лишаемся шанса оценить первый по достоинству. Так что стоит держать в голове, что тут мы получаем лишь часть картины. Но и её достаточно, чтобы впечатлиться.
И ещё интересно, конечно, стоит сделать оговорку про репрезентативность аудитории. Раз опрос проводит техноблогер — вероятно, участвуют в нём люди, которых волнует гаджеты и их качество фотосъёмки, а не просто случайные «казуалы», среднестатистические для всего населения. Тем удивительнее смотреть на результаты.
Итоги 2021-го
В этом году в тесте участвовали такие телефоны (указываю с разбивкой по парам в первом этапе):
Samsung S21 Ultra против ZTE Axon 30 Ultra
ASUS ROG 5 против Lenovo Legion Duel
Sony Xperia Pro I против Oppo Find X3 Pro
Xiaomi Mi 11 Ultra против OnePlus 9 Pro
Google Pixel 6 Pro против Google Pixel 5a
iPhone 13 Pro против Motorola Edge
ASUS Zenfone 8 против Poco X3 GT
Microsoft Surface Duo 2 против Realme GT
Можете теперь из интереса попробовать спрогнозировать результаты, не заглядывая под спойлер. Кто победит в этих парах? Какие четыре телефона дойдут до полуфиналов? Какой из них победит в конечном счёте?
А теперь перейдём к результатам:
Взять красную таблетку и узнать, как глубока кроличья нора
Где-то в результатах нет ничего неожиданного: вряд ли кого-то удивит, что в первом этапе суперфлагманы Samsung S21 Ultra и iPhone 13 Pro победили своих соперников. Другие победители этого этапа: ASUS ROG 5, Sony Xperia Pro I, OnePlus 9 Pro, ASUS Zenfone 8Н, Realme GT.
Но уже в первом этапе произошло и совершенно контринтуитивное: Google Pixel 5a выиграл у Pixel 6 Pro. То есть бюджетную версию из прошлого поколения (стоит от $399) люди оценили выше, чем флагман из нового поколения (от $899). Если бы бюджетный телефон от одного производителя выиграл у флагмана от другого, это ещё можно было бы объяснить, но как одна и та же компания смогла в новой дорогой модели ухудшить для людей то, что уже было у неё в прошлой недорогой?
Дальше — больше. На втором этапе вылетел Samsung S21 Ultra, причём уступил он ASUS ROG 5. А это, на минуточку, геймерский телефон, то есть упор там сделан не на камеру. Я открыл первый нагуглившийся обзор на него, и это очень забавно: там написано «The phone’s few shortcomings, like its limited camera suite, haven’t been radically improved to come to parity with standouts like the Samsung Galaxy S21 range». То есть в обзорах буквально чёрным по белому писали, что камера заметно отстаёт от S21, а реальные пользователи посчитали наоборот.
Полуфиналы получились с такими моделями: ASUS ROG 5, OnePlus 9 Pro, Google Pixel 5a, Realme GT. По-моему, угадать такой расклад практически нереально — поднимите руку (в комментах), если угадали хотя бы две модели из четырёх.
А окончательным победителем из них стал Pixel 5a — телефон среднего ценового сегмента, который в обзорах хвалили, но с оговоркой «хорош для доступного». Для фотосъёмки нём используется то же железо, которое Google до этого использовал уже несколько лет, а затем в Pixel 6 сильно поменял фотосистему и старательно объяснял, насколько новая лучше.
Выводы
В 2021-м получились ещё не самые жёсткие результаты. Скажем, айфоны раньше выбывали вообще на первом этапе, проигрывая кому угодно (хотя в рейтинге DXOMARK они вечно входят в топ-5). А в 2018-м, обскакав все эти айфоны, в финал вышел вообще Pocophone: бюджетный телефон, который ни в каких фоторейтингах даже не фигурирует. ЧТО ВСЁ ЭТО ЗНАЧИТ?
Ну, отчасти всё объясняется методологией теста. У флагманов может быть лучше с чёткостью, там всё так детализированно, что хоть на рекламный биллборд распечатывай (Apple так и делает). Но когда люди видят не биллборд, а пережатые версии на маленьком мобильном экране, детали от них всё равно ускользают. Поэтому разница стирается, и цена перестаёт иметь значение: Маркес отмечает, что в турнирной таблице очень часто пользователи выбирали из двух телефонов более дешёвый.
Хорошо, раз чёткость не важна, что тогда важно? Есть разные факторы вроде реалистичной передачи красного цвета (в этом году он сыграл роль). Но похоже, что главным образом среднестатистический участник опроса просто хочет «штоб поярче смотрелось». При прочих равных яркие цветастые фотографии выигрывают у тёмных и блёклых. А ещё, как отмечает Маркес, для людей типично пользоваться в съёмке одной-единственной кнопкой (даже не тапать для фокуса) — так что им хочется не кнопку «снять как всё на самом деле» и потом художественно играться фильтрами, а кнопку «сделать хорошо», где уже поигрались за них.
Многие (в том числе Маркес) замечают, что ведь на самом деле «ярче» вообще-то не означает автоматически «лучше». Действительно, тут вспоминаются «Денискины рассказы», где герой был уверен, что чем громче поёшь — тем лучше. Но возникает интересный вопрос: а что тогда вообще такое «на самом деле лучше», кто это определяет, если пользователи считают иначе?
Мы привыкли рассуждать о качестве смартфонных камер как о чём-то, что можно точно сравнить по одной шкале, в интернете много таких уверенных сравнений: в обзорах, рейтингах, просто чьих-то комментарии. Тест Маркеса показывает, что такой единой шкалы в принципе не существует, всё слишком зависит от контекста. Даже принцип «флагманы снимают лучше бюджетных», с которым обычно никто не спорит, разбивается вдребезги: оказывается, в определённом контексте ничем не лучше.
Поэтому, если возник вопрос «какая смартфонная камера лучше», на него невозможно просто взять и ответить — необходимо сначала разобраться с другими вопросами:
Лучше для кого: чтобы самому нравилось или чтобы лайков побольше ставили? И если «самому», то что именно нравится?
Как на эти снимки с телефона обычно будут смотреть? Что от них требуется — лучше выглядеть на телефоне, или на мониторе, или на бумаге, или ещё где-то?
Будут ли эти снимки как-либо обрабатывать (хотя бы на уровне «наложить фильтр»)?
А в эпоху computation photography возникают дополнительные нюансы. Раз сегодня любой смартфонный снимок — это результат автоматической обработки, встаёт вопрос «какой именно должна быть эта обработка». Скажем, должен ли производитель телефонов делать снимки яркими и цветастыми, если людям так больше нравится и это сделает их счастливее? И что делать тем, кому так не нравится? Как пользователю отказаться от излишней обработки, которую ему уже насильно встроили в кнопку съёмки, но при этом не переходить к возне с RAW? А как правильнее действовать разработчикам сторонних фотоприложений?
Я лично порадовался бы, если бы в фотоприложениях вместо одной кнопки спуска появилось две разных: «сделать хорошо» и «сделать похоже на правду». Думаю, пользовался бы обеими в зависимости от ситуации.
Напоследок — минутка рекламы. Если текст про смартфоны заинтересовал вас из-за того, что вы разрабатываете приложения для них, вам может быть интересна наша конференция Mobius. А если вы не разработчик, но не мобильный, среди наших конференций всё равно может быть подходящая вам.
