Посты с тэгом cpython

Устройство CPython. Доклад Яндекса

Мы публикуем конспект вступительной лекции видеокурса «Бэкенд-разработка на Python». В ней Егор Овчаренко egorovcharenko, тимлид в Яндекс.Такси, рассказал о внутреннем устройстве интерпретатора CPython.

— Если кратко, какой у нас будет план? Сначала мы поговорим о том, почему будем изучать именно Python. Затем посмотрим, как работает интерпретатор CPython более глубоко, как он управляет памятью, как устроена система типов в Python, на словари, генераторы и исключения. Я думаю, это займет примерно час.
Читать дальше →

Блог python на хабрахабре 22 Jul 07:00

python, программирование, cpython, словари, интерпретатор, блог компании яндекс, генераторы, исключения, память, промышленное программирование, типы, типизация, управление памятью

прочитать оригинал

[Перевод] Реализуем преобразования кода на Python

Привет, Хабр.

Сегодня мы предлагаем вам перевод статьи, затрагивающей не самую обсуждаемую тему: компиляцию кода в Python, а именно: работу с абстрактным синтаксическим деревом (AST) и байт-кодом. Притом, что Python является интерпретируемым языком, такие возможности в нем чрезвычайно важны с точки зрения оптимизации. О них мы сегодня и поговорим.
Читать дальше →

Блог python на хабрахабре 21 Mar 09:30

python, программирование, cpython, алгоритмы, высокая производительность, оптимизация, клиентская оптимизация, ast, блог компании издательский дом «питер», компиляция

прочитать оригинал

[Из песочницы] О проблемах транслятора Python и переосмысление языка

— Сколько нужно архитекторов, чтобы реализовать язык программирования?
— Сто. Один будет писать реализацию, а 99 — говорить, что могут сделать лучше.

В этой статье я хочу затронуть не столько сам язык, сколько детали реализации CPython и его стандартной библиотеки, которые гарантируют, что у вас не будет никаких простых способов сделать приложение на питоне ни многопоточным, ни быстрым, ни легко поддерживаемым, и почему было создано столько альтернативных реализаций (PyPy, Cython, Jython, IronPython, Python for .NET, Parakeet, Nuitka, Stackless, Unladen Swallow), половина из которых уже умерла, и вряд мало кто понял, почему у них не было шансов победить в борьбе за выживание против других языков. Да, есть GDScript, который призван решить проблемы с производительность, есть Nim, который призван решить вообще все проблемы, не обязывая при этом пользователя чрезмерно явно объявлять типы. Однако, учитывая огромную инертность индустрии, я осознаю, чт

Блог python на хабрахабре 24 Dec 11:43

python, программирование, cpython, высокая производительность, ооп, компиляторы, мнение, вывод типов, параллелизм, статическая типизация, компиляция

прочитать оригинал

[Из песочницы] Python Memory Management: немного о фрагментации памяти

~~Некоторые мысли по этой статье.~~

На днях заинтересовался тем, как работает Python Memory Management в CPython для Python3 ~~для 64-разрядной Ubuntu~~.

Немного теории

В системной библиотеке glibc есть аллокатор malloc. У каждого процесса есть область памяти, называемая кучей. Выделяя память динамически вызовом функции malloc, мы получаем чанк из кучи этого процесса. Если размер запрашиваемой памяти небольшой (не более 128KB), то память может браться из списков свободных чанок. Если это невозможно, то память выделится системным вызовом mmap ~~(sbrk, brk)~~. Системный вызов mmap отображает виртуальную память на физическую. Память отображается страницами по 4KB. Большие чанки (более 128KB) всегда выделяются через системный вызов mmap. При освобождении памяти, если свободный небольшой чанк граничит с областью незамапленой памяти, то часть памяти может вернуться операцинной системе

Блог python на хабрахабре 11 Dec 12:50

python, cpython, python memory management

прочитать оригинал

Объекты без циклических ссылок и циклической сборки мусора

Каждый экземпляр класса в CPython, созданный при помощи синтаксической конструкции class, участвует в механизме циклической сборки мусора. Это увеличивает след в памяти каждого экземпляра и может создавать проблемы с памятью в высоконагруженных системах.

Нельзя ли обойтись в случае необходимости одним базовым механизмом подсчета ссылок?

Разберем один подход, который поможет создавать классы, чьи экземпляры будут удаляться только с помощью механизма подсчета ссылок.

Блог python на хабрахабре 08 Nov 17:52

python, cpython, python3, garbage collection

прочитать оригинал

На пути к ядру Питона

Привет, Хабр! Представляю вашему вниманию перевод статьи Toward a “Kernel Python” автора Glyph Lefkowitz (создателя фреймворка Twisted).

Подробнее — под катом.
Читать дальше →

Блог python на хабрахабре 28 Jun 13:04

python, cpython, linux, twisted, kernel, pep, brython, micropython

прочитать оригинал

[Перевод] Реверс-инжиниринг клиента Dropbox

TL;DR. В статье рассказывается об обратной разработке клиента Dropbox, взломе механизмов обфускации и декомпиляции клиента на Python, а также изменении программы для активации функций отладки, которые скрыты в обычном режиме. Если вас интересует только соответствующий код и инструкции, пролистайте до конца. На момент написания статьи код совместим с последними версиями Dropbox, основанными на интерпретаторе CPython 3.6.

Введение

Dropbox очаровал меня сразу с момента своего появления. Концепция по-прежнему обманчиво проста. Вот папка. Кладёшь туда файлы. Он синхронизируется. Переходишь к другому устройству. Он опять синхронизируется. Папка и файлы теперь появились и там!

Объём скрытой фоновой работы на самом деле поражает. Во-первых, никуда не исчезают все проблемы, с которыми приходится иметь дело при создании и обслуживании кросс-платформенного приложения для основных десктопных операционных систем (OS X, Linux, Windows). Добавьте к этому под

Блог python на хабрахабре 17 May 09:38

python, cpython, отладка, dropbox, софт, реверс-инжиниринг, десериализация, демаршалинг, декомпиляция

прочитать оригинал

[Перевод] Управление памятью в Python

Всем привет! Вот и закончились длинные мартовские выходные. Первую послепраздничную публикацию мы хотим посвятить полюбившемуся многим курсу — «Разработчик Python», который стартует менее, чем через 2 недели. Поехали.

Содержание

Память – пустая книга
Управление памятью: от оборудования к программному обеспечению
Базовая реализация Python
Концепция глобальной блокировки интерпретатора (Global Interpreter Lock, GIL)
Сборщик мусора
Управление памятью в CPython:
- Пулы
- Блоки
- Арены
Заключение

Вы когда-нибудь задумывались как Python за кулисами обрабатывает ваши данные? Как ваши переменные хранятся в памяти? В какой момент они удаляются?
В этой статье мы углубимся во внутреннее устройство Python, чтобы по

Блог python на хабрахабре 11 Mar 15:35

python, cpython, блог компании отус

прочитать оригинал

[Перевод] Жизненный цикл кода на Python – модель выполнения CPython

Всем привет! Наступила весна, а это значит, что до запуска курса «Разработчик Python» остается меньше месяца. Именно этому курсу и будет посвящена наша сегодняшняя публикация.

Задачи:
— Узнать о внутреннем устройстве Python;
— Понять принципы построения абстрактного синтаксического дерева (AST);
— Писать более эффективный код по времени и по памяти.

Предварительные рекомендации:
— Базовое понимания работы интерпретатора (AST, токены и т.д.).
— Знание Python.
— Базовое знание С. Читать дальше →

Блог python на хабрахабре 01 Mar 12:00

python, cpython, блог компании отус

прочитать оригинал

[Перевод] Оптимизации, используемые в Python: список и кортеж

В Python, есть два похожих типа — список (list) и кортеж (tuple). Самая известная разница между ними состоит в том, что кортежи неизменяемы.

Вы не можете изменить объекты в tuple:

>>> a = (1,2,3)
>>> a[0] = 10
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'tuple' object does not support item assignment

Но вы можете модифицировать изменяемые объекты внутри кортежа:

>>> b = (1,[1,2,3],3)
>>> b[1]
[1, 2, 3]
>>> b[1].append(4)
>>> b
(1, [1, 2, 3, 4], 3)

Читать дальше →

Блог python на хабрахабре 22 Jul 13:27

python, программирование, cpython, list, tuple

прочитать оригинал

← Туда
1
2
3
Сюда →

Посты с тэгом cpython

Устройство CPython. Доклад Яндекса

[Перевод] Реализуем преобразования кода на Python

[Из песочницы] О проблемах транслятора Python и переосмысление языка

[Из песочницы] Python Memory Management: немного о фрагментации памяти

Немного теории

Объекты без циклических ссылок и циклической сборки мусора

На пути к ядру Питона

[Перевод] Реверс-инжиниринг клиента Dropbox

Введение

[Перевод] Управление памятью в Python

[Перевод] Жизненный цикл кода на Python – модель выполнения CPython

[Перевод] Оптимизации, используемые в Python: список и кортеж

Обновления

Раздел «Блоги»

Тэги