The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Проект по добавлению в GCC поддержки распараллеливания проце..., opennews (?), 15-Сен-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Проект по добавлению в GCC поддержки распараллеливания проце..."  –6 +/
Сообщение от Онаним (?), 15-Сен-19, 10:44 
> Тесты на системе с CPU Intel Core i5-8250U

Это всё, что надо знать про данные исследования. Сферические теоретические кони в вакууме. Зачем оно, вообще, если сборка любого мало-мальски крупного проекта и так отлично распараллеливается тупо запуском множества процессов компиляции.

Ответить | Правка | Наверх | Cообщить модератору

7. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +14 +/
Сообщение от Аноним (-), 15-Сен-19, 11:30 
Множество процессов компиляции неэффективно по памяти
Ответить | Правка | Наверх | Cообщить модератору

94. "Проект по добавлению в GCC поддержки распараллеливания проце..."  –3 +/
Сообщение от Аноним (94), 16-Сен-19, 16:30 
Зато более эффективно по процессору, а память можно докупить
Ответить | Правка | Наверх | Cообщить модератору

101. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Аноним (101), 18-Сен-19, 16:37 
И процессор можно докупить. Видимо только время нельзя докупить ...
Ответить | Правка | Наверх | Cообщить модератору

103. "Проект по добавлению в GCC поддержки распараллеливания проце..."  –1 +/
Сообщение от Онаним (?), 21-Сен-19, 11:51 
Память ныне стоит сущие копейки. Городить при этом какой-то огород, перепахивая кусками компилятор, в котором и так чёрт ногу сломит... работа ради работы, без цели и смысла.
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

106. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Алексей Михайловичemail (?), 24-Сен-19, 14:36 
То есть, никто не понимает, что разрабы пытаются удешевить (по времени, танкисты, по времени) управление памятью и ЦП вместо того, чтобы при компиляции генерировать кучу ненужных системных вызовов, только отнимающих время, и упираться по потолку производительности в шедулер? Пздц вы тупые, откуда вам вообще сюда выпустили?
Ответить | Правка | Наверх | Cообщить модератору

108. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Онаним (?), 24-Сен-19, 20:39 
> То есть, никто не понимает, что разрабы пытаются удешевить (по времени, танкисты,
> по времени) управление памятью и ЦП вместо того, чтобы при компиляции
> генерировать кучу ненужных системных вызовов, только отнимающих время, и упираться по
> потолку производительности в шедулер? Пздц вы тупые, откуда вам вообще сюда
> выпустили?

Штопрастите?

Ответить | Правка | Наверх | Cообщить модератору

12. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +2 +/
Сообщение от Аноним (12), 15-Сен-19, 11:53 
Купи им 9900K
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

87. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +3 +/
Сообщение от Аноним (87), 16-Сен-19, 07:50 
Компиляция, тем более распараллеленная гораздо лучше пойдет на R9 3950X.
Ответить | Правка | Наверх | Cообщить модератору

104. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Онаним (?), 21-Сен-19, 11:51 
> Компиляция, тем более распараллеленная гораздо лучше пойдет на R9 3950X.

Вот да. И даже никакого дорогостоящего перепахивания компилятора не потребуется :D, а эффект будет куда выше, чем от перепахивания для всяких мобильных i5.

Ответить | Правка | Наверх | Cообщить модератору

29. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +2 +/
Сообщение от Аноним (29), 15-Сен-19, 13:56 
В Сях нужно не парралелить, а кешировать заголовки
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

30. "Проект по добавлению в GCC поддержки распараллеливания проце..."  –13 +/
Сообщение от Анонец (?), 15-Сен-19, 14:01 
Студни-хипсторы решили помучить поциента перед его окончательной кончиной.

Шланг смотрит на всё это со снисходительной улыбкой

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

43. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +5 +/
Сообщение от Аноним (43), 15-Сен-19, 14:48 
Шланг смотреть с улыбкой не может, у него те же болячки. У него так же делается "распаралеливание" как и у GCC (запуск множества процессов шланга).
Ответить | Правка | Наверх | Cообщить модератору

93. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Аноним (93), 16-Сен-19, 13:27 
а чем это плохо? не модно ?
Или нужно еще сильнее дергать головки у диска - что бы скорость упала.
Ответить | Правка | Наверх | Cообщить модератору

107. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Алексей Михайловичemail (?), 24-Сен-19, 14:37 
Это плохо лишними сисколлами и отсутствием нормального интерпроцессного взаимодействия. Тредами рулить удобнее и дешевле, чем полноценными инстансами.
Ответить | Правка | Наверх | Cообщить модератору

74. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +6 +/
Сообщение от Michael Shigorinemail (ok), 15-Сен-19, 20:24 
Например, для целей CI, когда время сборки оказывается более существенным, чем при единичном запуске...

Мне другое непонятно -- при всей востребованности распараллеливания сборки _единичной_ цели как они собираются это увязывать с распараллеливанием средствами того же make?  Пока напрашивается разве что массовый переход сборочных систем на использование -l вместо -j как минимум в нормальном make, но при изолированных окружениях это потребует пробрасывания как минимум настоящего /proc/loadavg в чруты.

Мы обдумывали нечто перекликающееся в плане оптимизации плотности использования сборочных узлов в условиях, когда параллельно запускаемые сборки могут параллелиться, а могут и нет.  Пока применяю gnu parallel для некоторых задач, но в случае "девятого вала" хорошо параллелящихся тяжёлых сборок узлам бывает грустно.

А сейчас представил себе параллелизацию третьего порядка (пакеты, цели, и затем внутренняя по каждой цели вдобавок) -- для aarch64 это было бы полезно вотпрямщас, на ppc64le с его горой потоков тоже бы уже пригодилось, но как с этим всем управляться -- пока вопрос.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

80. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +1 +/
Сообщение от Аноним (80), 15-Сен-19, 21:17 
Тоже сразу возник вопрос про связь с make -j. Пока кажется, что параллелизация через make будет эффективнее. Сколько раз смотрел на загрузку ядер при сборке make -j по количеству ядер, всегда все ядра на 100% использовались. А тут что-то идеального повышения производительности не видно пока.
Ответить | Правка | Наверх | Cообщить модератору

82. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +2 +/
Сообщение от iZENemail (ok), 16-Сен-19, 00:08 
Да нет никакой связи с make -j кроме чистой детерминированности процесса сборки - когда компиляция одного куска кода зависит от результата компиляции другого.

Вся суть многопоточной, а не многопроцессной компиляции в том, чтобы родственные нити выполнялись на одном или соседних ядрах с общим кэшем инструкций и данных - так уменьшается вероятность перезагрузки кэшей и в разы ускоряется доступ к данным.

Планировщики современных операционных систем учитывают особенности многоядерности и топологию их вычислительных модулей. Для Ryzen 3xxx даже специальные исправления выходили по привязыванию отдельных нитей, использующих общие данные, к одному CCX (каждая нить исполняется на "своём" ядре внутри CCX) - что исключает операции по синхронизации кэшей отдельных CCX и увеличивает быстродействие.

Ответить | Правка | Наверх | Cообщить модератору

90. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +1 +/
Сообщение от Аноним (90), 16-Сен-19, 11:45 
> Вся суть многопоточной, а не многопроцессной компиляции в том, чтобы родственные нити
> выполнялись на одном или соседних ядрах с общим кэшем инструкций и
> данных - так уменьшается вероятность перезагрузки кэшей и в разы ускоряется
> доступ к данным.

Простите за такую подробность, но процессор это не виртуальная машина Джавы, он ничего не знает про процессы. Если образ одного и того же исполняемого файла отображается в разные адресные пространства, то физические страницы с кодом должны быть везде одни и те же, соответственно и кеш инструкций когерентен.

Что касается данных, я не просто возьму из головы некие "разы", а поделю 1000мб, которые процесс компилятора занял в памяти под AST (где Т означает не последовательно расположенные данные, а дерево), на объём кэша, и скажу, что вероятность не изменилась.

Ответить | Правка | Наверх | Cообщить модератору

97. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от iZEN (ok), 16-Сен-19, 20:42 
>> Вся суть многопоточной, а не многопроцессной компиляции в том, чтобы родственные нити
>> выполнялись на одном или соседних ядрах с общим кэшем инструкций и
>> данных - так уменьшается вероятность перезагрузки кэшей и в разы ускоряется
>> доступ к данным.
> Простите за такую подробность, но процессор это не виртуальная машина Джавы, он
> ничего не знает про процессы. Если образ одного и того же
> исполняемого файла отображается в разные адресные пространства, то физические страницы
> с кодом должны быть везде одни и те же, соответственно и
> кеш инструкций когерентен.

Зато новый планировщик знает об особенностях архитектуры процессора и какую нить прицепить к какому ядру среди нескольких CCX. В Ryzen общий кэш распределённый между CCX, а скорость доступа данных нити, привязанной к одному ядру, зависит от того, в каком участке кэша находятся её и родственной нити данные. Если в участке кэша, связанным с другим CCX, то нужна пересылка этих данных оттуда по протоколу обмена данными между CCX, принаджежащих разным CCD, с задействованием I/O-чиплета — работа замедляется на время этой чисто аппаратной операции. Если две нити работают на разных ядрах одного CCX, то задержки не возникает — их разделяемые данные находятся в участке кэша CCX.

"В один блок CCX объединяется 4 ядра и 16 Мбайт общей кеш-памяти третьего уровня. Пара CCX располагается на одном 7-нм полупроводниковом кристалле и формирует процессорный чиплет, получивший аббревиатуру CCD (Core Complex Die). В зависимости от того, о каком процессоре семейства Ryzen 3000 идёт речь, он может состоять либо из двух, либо из трёх чиплетов. В процессорах с числом ядер восемь и менее применяется один CCD-чиплет и один I/O-чиплет. В процессорах с числом ядер более восьми CCD-чиплетов становится уже два. Однако нужно понимать, что процессор при этом всё равно остаётся единым целым. За счёт того, что в любых Ryzen 3000 контроллер памяти находится в I/O-чиплете и он всего один, любое из ядер может гладко обращаться к любым её областям: никаких NUMA-конфигураций, которые портили жизнь владельцам процессоров Threadripper, в случае Zen 2 не будет."

С процессами это осуществить сложнее, так как нити в раздельных процессах имеют защиту памяти и нуждаются в отдельном протоколе обмена межпроцессного взаимодействия (IPC). Это оверхед.

Ответить | Правка | Наверх | Cообщить модератору

85. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +1 +/
Сообщение от Ю.Т. (?), 16-Сен-19, 07:02 
Системы с общей памятью (потоки и т.д.) хороши далеко не для всех задач. Задачи трансляции-компоновки хорошо авто-параллелятся далеко не во всех случаях. ))
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

105. "Проект по добавлению в GCC поддержки распараллеливания проце..."  +/
Сообщение от Онаним (?), 21-Сен-19, 11:54 
А при чём тут CI и цели? Тут речь идёт о внутреннем распараллеливании сборки одного-единственного файла. Зачем это - ума не приложу. Любителей собирать многомегабайтные монолиты вроде не осталось.
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру