Большие данные на самом дешевом MacBook – DuckDB

Apple выпустила Макбук Нео сегодня, и нет недостатка в технических обзорах, объясняющих, подходит ли вам это устройство, если вы студент, фотограф или писатель. Что они не сказать вам, вписывается ли это в наши Большие данные на вашем ноутбуке этос. Мы хотели ответить на этот вопрос используя подход, основанный на данных, поэтому мы пошли в ближайший Apple Store, взяли один и попробовали.

Ну, не так уж и много! Если вы покупаете эту машину в ЕС, в комплекте нет даже зарядного устройства. Все, что вы получаете, — это ноутбук и плетеный кабель USB-C. Но, скорее всего, у вас уже есть несколько блоков USB-C — давайте перейдем к самому ноутбуку!

Единственная часть аппаратной спецификации, которую вы можете выбрать, — это диск: вы можете выбрать 256 или 512 ГБ. Поскольку наша миссия состоит в том, чтобы иметь дело с предполагаемыми «большими данными», мы выбрали более крупный вариант, который увеличивает цену до 700 долларов США в США или 800 евро в ЕС. Объем памяти фиксированный и составляет 8 ГБ. И хотя есть только один вариант процессора, он довольно интересен: этот ноутбук оснащен 6-ядерным процессором. Яблоко А18 Произначально созданный для iPhone 16 Pro.

Оказывается, мы уже протестировал этот телефон при каких-то необычных обстоятельствах. Еще в 2024 году, выпустив DuckDB v1.2-dev, мы обнаружили, что iPhone 16 Pro может выполнять все ТПК-Н запросы с масштабным коэффициентом 100 примерно за 10 минут при воздушном охлаждении и менее чем за 8 минут, когда он лежит в ящике с сухим льдом. MacBook Neo определенно сможет справиться с этой рабочей нагрузкой, но, возможно, он справится даже с немного большей нагрузкой. Подскажите неизбежные ориентиры!

Для нашего первого эксперимента мы использовали КликБенчаналитический тест базы данных. ClickBench имеет 43 запроса, ориентированных на операции агрегирования и фильтрации. Операции выполняются над одной широкой таблицей со 100 млн строк, которая использует около 14 ГБ при сериализации в Parquet и 75 ГБ при хранении в формате CSV.

Тестовая среда

Мы портировали Реализация ClickBench DuckDB для macOS и запустил его на MacBook Neo, используя только что созданный выпуск v1.5.0. Мы применили лишь небольшую настройку: как предложено в наше руководство по производительностимы немного снизили лимит памяти до 5 ГБ, чтобы уменьшить зависимость от подкачки ОС и позволить DuckDB самостоятельно управлять памятью. рабочие нагрузки, превышающие объем памяти. Это распространенный трюк в средах с ограниченной памятью, где другие процессы, вероятно, используют более 20% всей системной памяти.

Мы также повторно запустили ClickBench с DuckDB v1.5.0 на двух облачных экземплярах, получив следующий результат:

• MacBook Neo с 2 ядрами производительности, 4 ядрами эффективности и 8 ГБ оперативной памяти.
• c6a.4xlarge с 16 ядрами виртуального процессора AMD EPYC и 32 ГБ оперативной памяти
• c8g.metal-48xl с колоссальными 192 ядрами виртуального процессора Graviton4 и 384 ГБ оперативной памяти

Сценарий тестирования сначала загрузил файл Parquet в базу данных. Затем, согласно Правила ClickBenchон выполнял каждый запрос три раза, чтобы зафиксировать как холодные прогоны (первый запуск, когда кэши холодные), так и горячие прогоны (когда у системы есть возможность использовать, например, кэширование файловой системы).

Результаты и анализ

Наши эксперименты дали следующее совокупное время выполнения в секундах:

Машина	Холодный прогон (медиана)	Холодный пробег (всего)	Горячий запуск (медиана)	Горячий прогон (всего)
Макбук Нео	0,57	59,73	0,41	54,27
c6a.4xlarge	1.34	145,08	0,50	47,86
c8g.metal-48xl	1,54	169,67	0,05	4.35

Холодный ход. Результаты начинаются с большого сюрприза: в холодном тесте MacBook Neo является явным победителем со средним временем работы менее секунды. решение всех вопросов менее чем за минуту! Конечно, если копнуть глубже в настройки, этому есть объяснение. Облачные экземпляры имеют сетевые диски, и доступ к базе данных на них доминирует в общем времени выполнения запросов. MacBook Neo имеет локальный твердотельный накопитель NVMe, который далеко не лучший в своем классе, но все же обеспечивает относительно быстрый доступ при первом чтении.

Горячий пробег. В горячем режиме MacBook общее время работы улучшается всего примерно на 10%, тогда как облачные машины вступают в свои права, причем c8g.metal-48xl выигрывает на порядок. Однако стоит отметить, что на медианное время выполнения запросов MacBook Neo по-прежнему может превзойти c6a.4xlarge, облачный экземпляр среднего размера. И ноутбук общее время работы работает всего примерно на 13% медленнее, несмотря на то, что облачный блок имеет на 10 больше потоков ЦП и в 4 раза больше оперативной памяти.

Для нашего второго эксперимента мы выбрали запросы бенчмарка TPC-DS. По сравнению с распространенным тестом TPC-H, который имеет 8 таблиц и 22 запроса, TPC-DS имеет 24 таблицы и 99 запросов, многие из которых более сложны и включают в себя такие функции, как оконные функции. И хотя TPC-H был оптимизирован до смертив результатах TPC-DS все еще есть некоторое подобие ценности. Посмотрим, справится ли с этими запросами самый дешевый MacBook!

В этом раунде мы использовали DuckDB. LTS-версияv1.4.4. Мы сгенерировали наборы данных с помощью DuckDB. tpcds расширение и установите ограничение памяти на 6 ГБ.

В SF100 ноутбук быстро выполнил большинство запросов со средним временем выполнения запроса 1,63 секунды и общим временем выполнения 15,5 минут.

На SF300 начало проявляться нехватка памяти. Хотя среднее время выполнения запроса все еще было довольно хорошим — 6,90 секунды, DuckDB иногда использовала до 80 ГБ пространства для сброс на диск и было ясно, что некоторые запросы займут много времени. В частности, запрос 67 на выполнение ушло 51 минута. Но аппаратное и программное обеспечение продолжали неустанно работать вместе и в конечном итоге прошли тест, выполнив все запросы за 79 минут.

Вот в чем дело: если вы ежедневно выполняете рабочие нагрузки с большими данными на своем ноутбуке, вам, вероятно, не стоит покупать MacBook Neo. Да, DuckDB работает на нем и может обрабатывать большой объем данных, используя внеядерная обработка. Но дисковый ввод-вывод MacBook Neo слабее по сравнению с моделями Air и Pro (около 1,5 ГБ/с по сравнению с 3–5 ГБ/с), а объем памяти в 8 ГБ в долгосрочной перспективе будет ограниченным. Если вам нужно обработать Большие данные в движении и можно немного заплатить, другие модели MacBook лучше удовлетворят ваши потребности, а также есть хорошие варианты для Linux и Windows.

Все это говорит о том, что если ты побежишь DuckDB в облаке и в первую очередь используйте ноутбук в качестве клиента, это отличное устройство. И вы можете быть уверены, что если вы изредка Если вам нужно локально обработать некоторые данные, DuckDB на MacBook Neo справится с этой задачей.