Посты с тэгом python

Python кодогенерация на благо ETL

В процессе разработки весьма часто встаёт задача преобразования данных, будь то данные от внешнего источника на пути в базу или данные из базы на пути в отчеты и т.п.

Если описывать все необходимые преобразования императивно, то можно довольно скоро загрустить. Можно постараться и сделать всё декларативно, скажем, в виде некоторых dict-ов, в которых задать правила (функции?) по работе с каждым отдельным полем. Но уже на этом этапе появляется несколько проблем (поговорим о них ниже).

Альтернатива: в функциональном стиле динамически задаются конверсии, из них строятся pipeline-ы, далее конверсии генерируют ad-hoc код функций, реализующих заданное преобразование, используя библиотеку convtools.

На выходе получаются функции, лишенные излишнего динамизма, который нужен только на этапе чтения кода + ради DRY-принципа.

Блог python на хабрахабре 24 Jul 08:54

python, функциональное программирование, open source, functional programming, conversions, ad-hoc, transforms, code generation

прочитать оригинал

Классификатор обращений пользователей (1C + python)

В нашей компании очень много пользователей и каждый день они шлют массу обращений на самые разные темы. У нас есть два отдела: "Программные разработки" и "Системные администраторы", и что бы облегчить жизнь техподдержке, был написан классификатор, который стыкует обращение пользователя на тот или другой отдел. В основе классификатора лежит логистическая регрессия.

Блог python на хабрахабре 22 Jul 18:22

python, программирование, 1с, машинное обучение, 1c, классификатор

прочитать оригинал

Redis Python based cluster. Часть 2: зачем нужен Dynamo и что делать, когда Redis больше одного

Рано или поздно сервисы растут, а с большим RPS приходит Highload.

Что делать, когда ресурсов для вертикального масштабирования Redis уже нет, а данных меньше не становится? Как решить эту задачу без downtime и стоит ли её решать с помощью redis-cluster?

На воркшопе Redis Python based cluster Савва Демиденко и Илья Сильченков пробежались по теории алгоритмов консенсуса и попробовали в реальном времени показать, как можно решить проблему с данными, воспользовавшись sharding’ом, который уже входит в redis-cluster.

Воркшоп растянулся на два часа. Внутри этого поста — сокращённая расшифровка самых важных мыслей.

В предыдущем посте Савва Демиденко и Илья Сильченков обсудили теорию, поговорили, как и для чего используется Redis, выделили особенности распределённых систем, а также теоремы CAP и PACELC. Теперь узнаем,

Блог python на хабрахабре 22 Jul 12:09

python, программирование, высокая производительность, highload, redis, яндекс.практикум, блог компании яндекс.практикум, cap, pacelc

прочитать оригинал

Не суйте свой Pydantic в мое Django

Было замечательное теплое австрийское утро, и ничего не предвещало … ничего, пока мой коллега не порекомендовал мне посмотреть запись недавно прошедшей Pyconf.
Там кто-то рассказывал, как при помощи желтого скотча, такой-то матери и усилий любимых разработчиков они наконец то допилили Django Rest Framework до состояния ~~франкенштейна~~ подходящего его компании. Презентация выглядела странно, может я и прошел бы мимо, но моменты упоминания докладчиком PYDANTIC вызвали у меня явные сомнения в нормальности происходящего.

Оставим получившегося фRESTенштейна для другой статьи, и поразмышляем только о прозвучавшей в докладе возможности использования PYDANTIC в экосистеме Django — DRF.
Читать дальше →

Блог django на хабрахабре 21 Jul 15:54

python, django, pydantic, drf

прочитать оригинал

Redis Python based cluster. Часть 1: распределённые системы, теоремы CAP и PACELC и зачем нужен Redis

Воркшоп растянулся на два часа. Внутри этого поста — сокращённая расшифровка самых важных мыслей.

Введение

Немного о тех, кто провёл воркшоп, и почему вообще его решили провести.

Савва Демиденко

Занимаюсь разработкой в Avito, делаю программу курса «Мидл Py

Блог python на хабрахабре 20 Jul 12:42

прочитать оригинал

Как подружить django и vue.js

Небольшой тутор о том, как передать данные из бэка на django на vue и как с помощью django сёрвить этот самый vue.

Блог django на хабрахабре 20 Jul 11:04

python, webdev, django, bitrix24, vuejs, vue.js

прочитать оригинал

Делаем простого бота в Telegram на Python. Интеграция с Excel

Друг предложил мне поработать над проектом для нашей кафедры. ТЗ пока не сформулировано, но точно известно, что это будет бот в телеге. Я хоть и питонист, но с ботами дел никогда не имел, поэтому пишу эту статью, как заметку, для себя и молодых перспективных ребят, чтоб у них было от чего оттолкнуться. Постараюсь писать максимально понятным и простым языком. Профессионалам тут особо делать не чего, хотя, может и придёт какая-нибудь идея.

Блог python на хабрахабре 19 Jul 10:01

python, api, excel, бот, telegram, телеграм, боты, мессенджеры, телеграм-бот

прочитать оригинал

Почему стоит научиться &lt;&lt; парсить&gt;&gt; сайты, или как написать свой первый парсер на Python

В этой статье я постараюсь понятно рассказать о парсинге данных и его нюансах.

Для начала давайте разберемся, что же действительно означает на первый взгляд непонятное слово — парсинг. Прежде всего это процесс сбора данных с последующей их обработкой и анализом. К этому способу прибегают, когда предстоит обработать большой массив информации, с которым сложно справиться вручную. Понятно, что программу, которая занимается парсингом, называют — парсер. С этим вроде бы разобрались.

Перейдем к этапам парсинга.

Поиск данных
Извлечение информации
Сохранение данных

И так, рассмотрим первый этап парсинга — Поиск данных.

Так как нужно парсить что-то полезное и интересное давайте попробуем спарсить информацию с сайта work.ua.
Для начала работы, устано

Блог python на хабрахабре 18 Jul 17:11

python, python 3, интересное, парсинг сайта

прочитать оригинал

Как работают Django Class-based views

Для новичка, который осваивает Django, представления на основе классов больше похожи на магию чёрного ящика, по крайней мере, у меня при первом знакомстве сложилось именно такое впечатление. Обильные руководства зачастую показывают, какие атрибуты и методы следует определить в вашем классе, чтобы этот ящик работал на вас, но не дают понимания принципа работы.

Я хочу залезть под капот фреймворка и строчка за строчкой разобрать, как же работают представления на основе классов. Надеюсь, что по прочтении, Class-based views уже не будут казаться такими пугающими и я подстегну вас к дальнейшему самостоятельному изучению исходников. Возможно, вы думали о фреймворке как о некой магии, которую невозможно понять, но на самом деле это обычный код, написанный опытными разработчиками.

Блог python на хабрахабре 17 Jul 09:18

python, django, views, class-based

прочитать оригинал

Django Rest Framework для начинающих: создаём API для записи и обновления данных (часть 1)

Продолжаем изучать Django Rest Framework с точки зрения новичка. Мы уже разобрали создание REST API для получения данных из БД, включая отдельную статью о работе сериалайзера.

В этой статье расскажу, как с помощью сериалайзера проверить поступившие данные для записи в БД. Валидация в DRF состоит из множества этапов с массой нюансов. Если при чтении покажется, что деталей очень много и картинка в голове начинает плыть, в конце статьи есть обобщающая таблица с кратким описанием последовательности всех проверок.

Читать дальше →

Блог django на хабрахабре 16 Jul 09:31

python, программирование, django, api, для начинающих, яндекс.практикум, блог компании яндекс.практикум

прочитать оригинал

← Туда
1
2
3
4
5
6
7
8
9
10
...
353
Сюда →

Посты с тэгом python

Python кодогенерация на благо ETL

Классификатор обращений пользователей (1C + python)

Redis Python based cluster. Часть 2: зачем нужен Dynamo и что делать, когда Redis больше одного

Не суйте свой Pydantic в мое Django

Redis Python based cluster. Часть 1: распределённые системы, теоремы CAP и PACELC и зачем нужен Redis

Введение

Как подружить django и vue.js

Делаем простого бота в Telegram на Python. Интеграция с Excel

Почему стоит научиться &lt;&lt; парсить&gt;&gt; сайты, или как написать свой первый парсер на Python

В этой статье я постараюсь понятно рассказать о парсинге данных и его нюансах.

И так, рассмотрим первый этап парсинга — Поиск данных.

Как работают Django Class-based views

Django Rest Framework для начинающих: создаём API для записи и обновления данных (часть 1)

Обновления

Раздел «Блоги»

Тэги

Посты с тэгом python

Python кодогенерация на благо ETL

Классификатор обращений пользователей (1C + python)

Redis Python based cluster. Часть 2: зачем нужен Dynamo и что делать, когда Redis больше одного

Не суйте свой Pydantic в мое Django

Redis Python based cluster. Часть 1: распределённые системы, теоремы CAP и PACELC и зачем нужен Redis

Введение

Как подружить django и vue.js

Делаем простого бота в Telegram на Python. Интеграция с Excel

Почему стоит научиться &amp;lt;&amp;lt; парсить&amp;gt;&amp;gt; сайты, или как написать свой первый парсер на Python

В этой статье я постараюсь понятно рассказать о парсинге данных и его нюансах.

И так, рассмотрим первый этап парсинга — Поиск данных.

Как работают Django Class-based views

Django Rest Framework для начинающих: создаём API для записи и обновления данных (часть 1)

Обновления

Раздел «Блоги»

Тэги

Почему стоит научиться << парсить>> сайты, или как написать свой первый парсер на Python