Посты с тэгом sqlite

[Из песочницы] Электронная демократия или как собрать и обработать данные по голосованию (и явке) за реновацию в Москве

Стоило голосованию за вход или выход из программы реновации завершиться — и с сайта мэра Москвы почему-то пропали данные о явке по каждому конкретному дому, остались только голоса за и против в целом. В новостях, конечно, пишут некие цифры, но ведь хочется посмотреть их самому, поиграться со статистикой, построить графики, не правда ли?

Да и после заявлений типа:

Что касается популярности этих сервисов, то центры госуслуг «Мои документы» привлекли чуть больше половины всех проголосовавших, незначительно уступив порталу «Активный гражданин»

как-то возникают лёгкие сомнения. Так что — приступим к сбору информации! А потом будем её анализировать. Для этого нам понадобится какой-нибудь язык (скажем, питон), какая-нибудь бд (скажем, sqlite) и какой-нибудь веб-скраппер, благо для питона их множество. Сразу говорю, в конце дам с

Блог python на хабрахабре 17 Июл 16:03

python, кодобред, sqlite, статистика, sqlite3, bs4, реновация, difflib

прочитать оригинал

Python: Работа с базой данных, часть 1/2: Используем DB-API

Python DB-API – это не конкретная библиотека, а набор правил, которым подчиняются отдельные модули, реализующие работу с конкретными базами данных. Отдельные нюансы реализации для разных баз могут отличаться, но общие принципы позволяют использовать один и тот же подход при работе с разными базами данных.

В статье рассмотрены основные методы DB-API, позволяющие полноценно работать с базой данных. Полный список можете найти по ссылкам в конец статьи.

Требуемый уровень подготовки: базовое понимание синтаксиса SQL и Python.
Читать дальше →

Блог python на хабрахабре 14 Фев 20:23

python, sql, db, sqlite, db-api

прочитать оригинал

Генерация фиктивных данных с Elizabeth: Часть II

Ранее я уже публиковал статью о том, как генерировать фиктивные данные, при помощи Elizabeth — библиотеки для языка программирования Python. Статья, которую вы читаете является продолжением предыдущей, потому я не буду приводить основ работы с библиотекой. Если вы пропустили статью, поленились прочитать или просто не захотели, то, вероятно, захотите сейчас, ибо эта статья подразумевает, что читатель уже знаком с основами библиотеки. В этой части статьи, я буду говорить о том, каким образом организовывать генерацию фиктивных данных в собственных приложениях, расскажу о нескольких, на мой взгляд, полезных особенностях библиотеки. Примеров кода будет не много, но по сути.

Читать дальше →

Блог django на хабрахабре 18 Янв 15:59

python, django, testing, postgresql, db, sqlite, данные, тест, фейк, fake, dummy, фиктивные

прочитать оригинал

[Перевод] Использование LSM-движка из SQLite 4 в качестве отдельной NoSQL базы данных с использованием Python

На сегодняшний день две мои самые любимые темы — SQLite и key-value базы данных. И в этот раз я пишу сразу про обе: этот пост посвящён Python-обёртке для используемого в SQLite 4 key-value хранилища на основе LSM.

Я не слишком внимательно отслеживаю релизы SQLite, но версия 3.8.11 привлекла моё внимание, поскольку в её описании заявлено серьёзное увеличение производительности по сравнению с 3.8.0. В сопроводительной информации я наткнулся на упоминание о новом экспериментальном расширении для полнотекстового поиска (о котором писал когда-то), и потому мне стало интересно, какая складывается ситуация с SQLite 4.

Изучив доступн

Блог python на хабрахабре 11 Янв 10:43

python, sqlite, nosql, блог компании mail.ru group, база данных, sqlite4

прочитать оригинал

[Перевод] Использование LSM-движка из SQLite 4 в качестве отдельной NoSQL базы данных с использованием Python

Блог python на хабрахабре 11 Янв 10:43

python, sqlite, nosql, блог компании mail.ru group, база данных, sqlite4

прочитать оригинал

Simple Chat on Flask

Что обычно советуют, чтобы изучить какой-либо фреймворк? Правильно, написать свой маленький простой чат. А мы сделаем это на Flask. Получилось всего 43 строчки!

Так как мы будем использовать шаблонизатор Jinja, чтобы отображать сообщения из базы данных, нам понадобятся 2 формы: одна для вставки сообщений, а другая, для их множественного отображения:

Ну и добавим совсем немножко CSS, чтобы вставить табуляцию:

И вот что у нас вышло:

Если кому интресно, весь проект можно глянуть на Github. :D

Мурат Касимов 23 Июл 10:30

python, css, flask, jinja, sqlite

прочитать оригинал

Microblog in Microframework

Каждый раз, когда я разговариваю с программистом о новом фреймворке или языке, он всегда советует мне написать простой чат. Но мы пойдем немного дальше и напишем ~~очередного убийцу Twitter~~ примитивный микроблог.

А будем мы использовать Flask и Jinja. Второе - это очень удобный шаблонизатор для Python, он нам понадобится, чтобы заполнять динамическими данными страничку HTML. Ну, сейчас разберемся.

Все наши посты будем хранить в SQLite, он прост и удобен, поэтому заранее заготовим схему базы данных:

Напишем обработчик запросов, серверную часть:

А вот здесь уже начинается самое интересное. Мы можем использовать Jinja, чтобы написать единую шапку для всех последующих страниц (как в ВК), чтобы она не повторялась в коде остальных страничек:

А вот и сама страничка, которая отображает посты:

Ну и чтобы это выгля

Мурат Касимов 24 Май 07:27

python, flask, jinja, sqlite

прочитать оригинал

Визуализация статистики использования компьютера с R

Думаю, многим интересно (хотя бы из любопытства), как именно они используют свой компьютер: самые нажимаемые кнопки, пройденное мышью расстояние, среднее время работы и другую информацию. В этой статье я расскажу один из вариантов того, как можно собрать такую информацию и затем представить её в виде интерактивных графиков. Все описанные действия производились на ноутбуке с ОС Debian Wheezy, Python 2.7.3, R 2.15.

Подробнее, с картинками и ссылками

Блог python на хабрахабре 10 Янв 14:46

python, linux, data mining, sqlite, statistics, keylogger, r, анализ данных, shiny

прочитать оригинал

Как не пересчитывать суммы и средние каждый раз

Хабы: Django

Представим, что у нас электронная платёжная система, а в ней в базе данных таблица операций. И мы хотим посчитать, например, какого размера средняя операция. Легко, вот запрос, только долго выполняется:

> SELECT avg(amount) FROM transfer; 65.125965782378 generated in 3850 seconds

А теперь представим, что показатель должен быть свежайшим, а записи в таблицу делаются каждую секунду, и за месяц их набираются миллионы. Или другие требования, но суть та же — агрегировать те же данные каждый раз очень затратно. Обычные базы данных не предлагают таких оптимизаций. Как быть?
Читать дальше →

Блог django на хабрахабре 10 Мар 20:36

django, orm, оптимизация, базы данных, sqlite, математические формулы

прочитать оригинал

Django Framework / Ускорение тестирования Django-проектов

Вопросу тестирования Django-приложений уделено много внимания в различных статьях, в том числе и на Хабре. Почти в каждой из них хотя бы пара предложений посвящена способам и хакам для ускорения прохождения тестов, и поэтому сказать что-то принципиально новое здесь непросто.

В проекте панели управления хостингом, разработкой которой я занимаюсь значительную часть времени своей работы в NetAngels, насчитывается 120 таблиц и при тестировании загружается порядка 500 объектов из fixtures. Нельзя сказать, что это пугающе много, однако создание всех таблиц, добавление индексов и загрузка объектов при каждом запуске теста довольно сильно напрягают, особенно, если запускается всего один или пара тестов.

Под катом довольно кратко перечислено несколько способов ускорения тестирования, предложенные ранее, а в конце приведено подробное описание еще одного полезного рецепта, который для меня теперь, надеюсь, уже окончательно снял пробл

Блог django на хабрахабре 27 Июн 03:58

python, django, testing, sqlite, apsw

прочитать оригинал

← Туда
1
2
Сюда →

Посты с тэгом sqlite

[Из песочницы] Электронная демократия или как собрать и обработать данные по голосованию (и явке) за реновацию в Москве

Python: Работа с базой данных, часть 1/2: Используем DB-API

Генерация фиктивных данных с Elizabeth: Часть II

[Перевод] Использование LSM-движка из SQLite 4 в качестве отдельной NoSQL базы данных с использованием Python

[Перевод] Использование LSM-движка из SQLite 4 в качестве отдельной NoSQL базы данных с использованием Python

Simple Chat on Flask

Microblog in Microframework

Визуализация статистики использования компьютера с R

Как не пересчитывать суммы и средние каждый раз

Django Framework / Ускорение тестирования Django-проектов

Обновления

Раздел «Блоги»

Тэги