Посты с тэгом multithreading

[Перевод] Эффективное использование памяти при параллельных операциях ввода-вывода в Python

Существует два класса задач где нам может потребоваться параллельная обработка: операции ввода-вывода и задачи активно использующие ЦП, такие как обработка изображений. Python позволяет реализовать несколько подходов к параллельной обработке данных. Рассмотрим их применительно к операциям ввода-вывода.

До версии Python 3.5 было два способа реализации параллельной обработки операций ввода-вывода. Нативный метод — использование многопоточности, другой вариант — библиотеки типа Gevent, которые распараллеливают задачи в виде микро-потоков. Python 3.5 предоставил встроенную поддержку параллелизма с помощью asyncio. Мне было любопытно посмотреть, как каждый из них будет работать с точки зрения памяти. Результаты ниже.
Читать дальше →

Блог python на хабрахабре 13 Мар 16:14

python, asynchronous, multithreading, параллельное программирование, asyncio, parallel processing

прочитать оригинал

Еще раз о многопоточности и Python

Как известно, в основной реализации Питона CPython (python.org) используется Global Interpreter Lock (GIL). Эта штука позволяет одновременно запускать только один питоновский поток — остальные обязаны ждать переключения GIL на них.

Коллега Qualab недавно опубликовал на Хабре бойкую статью, предлагая новаторский подход: создавть по субинтерпретатору Питона на поток операционной системы, получая возможность запускать все наши субинтерпретаторы параллельно. Т.е. GIL как бы уже и не мешает совсем.

Идея свежая, но имеет один существенный недостаток — она не работает…
Читать дальше →

Блог python на хабрахабре 04 Фев 09:00

python, питон, python3, c, embedded, sub-interpreter, gil, многопоточность, multithreading

прочитать оригинал

Использование Python в многопоточном приложении на C++ и настоящая многопоточность в Python

Все более или менее знающие Python разработчики знают про такую жуткую вещь как GIL. Глобальный блокировщик всего процесса до тех пор пока Python выполняется в одном из потоков. Он даёт потоко-защищённость методами сравнимыми с садизмом, поскольку любая неявная блокировка в многопоточном приложении смерти подобна, всё что опиралось на параллельное выполнение, умирает в мучениях, раз за разом натыкаясь на блокировку GIL.
Известно что по сей день из-за этого скорбного факта программисты на C++ используют Python-обёртки по большей части лишь в однопоточных приложениях, а программисты на Python пытаются всех убедить, что им и так неплохо живётся.
Казалось бы, если поток порождён в C++, он не знает ни о каком GIL, используй Python без блокировок и радуйся. Радость разработчика однако закончится уже на втором потоке запросившем область глобальных переменных без блокировки.
Однако есть путь ведущий к светлому будущему!
Этот путь был изначально в таком языке как Perl, о

Блог python на хабрахабре 27 Янв 13:35

python, программирование, питон, python3, embedded, c++, обертка, sub-interpreter, gil, многопоточность, multithreading

прочитать оригинал

[recovery mode] Учимся писать многопоточные и многопроцессные приложения на Python

Эта статья не для матёрых укротителей Python’а, для которых распутать этот клубок змей — детская забава, а скорее поверхностный обзор многопоточных возможностей для недавно подсевших на питон.

К сожалению по теме многопоточности в Python не так уж много материала на русском языке, а питонеры, которые ничего не слышали, например, про GIL, мне стали попадаться с завидной регулярностью. В этой статье я постараюсь описать самые основные возможности многопоточного питона, расскажу что же такое GIL и как с ним (или без него) жить и многое другое.
Читать дальше →

Блог python на хабрахабре 10 Авг 21:35

python, программирование, gil, multithreading, многопоточное программирование

прочитать оригинал

Посты с тэгом multithreading

[Перевод] Эффективное использование памяти при параллельных операциях ввода-вывода в Python

Еще раз о многопоточности и Python

Использование Python в многопоточном приложении на C++ и настоящая многопоточность в Python

[recovery mode] Учимся писать многопоточные и многопроцессные приложения на Python

Обновления

Раздел «Блоги»

Тэги