Посты с тэгом без рубрики


Использование Python (IPython notebook и Pandas) для интерактивного анализа данных (видео с YaC2014)

В октябре я провёл воркшоп на яндексовой Yet Another Conference 2014 (YaC2014). На днях выложили видео с записью трансляции. Надо сказать, что снималось всё очень профессионально, суровыми дядьками с большими камерами, а звук снимали с петличного микрофона заботливо прикреплённого звукорежисёром, который сидел, видимо, с режисёром за специальным пультом.

Я всё-таки предпочитаю, когда на записях подобного рода воркшопах есть малюсенький экран со спикером и всё остальное место занимает постоянно транслируемая картинка с экрана компьютера, тогда ничего не пропускаешь (как например на SciPy конференциях). Однако здесь почти всё видно и самая большая проблема в том, что не показали ссыку на репозиторий в начале видео.

Что касается самого выступления, то я там пару-тройку раз спорол чушь, но публика либо не заметила, либо скромно промолчала



Работаем с метеоданными в Pandas

Задача: сконвертировать данные метеостанции по температуре для работы в pandas
Инструмент: pandas

Всё чаще российские метеорологические данные становятся открытыми, что не может не вызывать положительных эмоций. Однако к сожалению все центры данных стремяться придумать свой уникальный формат, и к сожалению каждый раз нужно мучаться с конвертацией.

В этой короткой заметке я покажу как сконвертировать метеоданные (температуру) полученные с сервера ВНИИГМИ-МЦД в pandas DataFrame.

Для начала вам нужно пойти на сайт http://aisori.meteo.ru/ClimateR и зарегистрироваться там. Затем можно будет войти по логину и паролю. Вам покажут объявления, смело жмите "Далее". Теперь вам предлагают



Эксперимент с форматом

- Мобильный формат.
— Посылка дошла за 70 дней.
— Почтовые мошенники.
— Конец RSS.
— Travis CI.
— Pythonista и как публиковать подкасты с iPhone на podfm и rpod.
— Gipis. Рассказать подробнее?
— Сериал «Журов», 4 фильма про Чужих, «Миллионер из трущоб».

Эксперимент с форматом



Эксперимент с форматом

- Мобильный формат.
— Посылка дошла за 70 дней.
— Почтовые мошенники.
— Конец RSS.
— Travis CI.
— Pythonista и как публиковать подкасты с iPhone на podfm и rpod.
— Gipis. Рассказать подробнее?
— Сериал «Журов», 4 фильма про Чужих, «Миллионер из трущоб».

Эксперимент с форматом



Анализ логов Apache при помощи Pandas и IPython notebook

Потихоньку осваиваю Pandas, питоновский модуль для анализа данных. В процессе сделал довольно подробный ноутбук с примером анализа логов доступа Apache. Цель я преследовал больше образовательную, чем практическую, так что не знаю насколько анализ сделанный там пригодится мне в реальной жизни

Полностью ноутбук сюда не стал выкладывать по двум причинам: он на английском, а переводить мне пока лень, и я не до конца разобрался как красиво перенести ноутбук в вордпресс, делать это полностью вручную, как с прошлым постом, довольно глупо, долго и выглядит в итоге довольно страшно. Пост с примерами



Конвертируем netCDF в ASCII при помощи Python в Windows

Задача: Помочь друзьям виндузятникам сконвертировать netCDF в ASCII, попутно установив на их компьютеры Python, в надежде, что они таки постепенно забудут про дельфи, фортран и прочие гадости. Заодно попробовать удобно ли в ipython notebook писать посты.

Инструменты: cdo, Pyhton(x,y), ipython notebook

Важно: Этот пост изначально целиком написан в ipython notebook, что значит вы сможете при наличии установленного ipython notebook (как это сделать под Windows смотри ниже) исполнять и изменять код представленный в посте. Читать пост с хорошим форматированием, так как оно выглядит в ноутбуке, а также загрузить файл ноутбука можно здесь (загрузка файла в правом верхнем углу). Также доступна



Виртуальная машина для работы океанолога на основе Ubuntu 12.04

Задача: обновить виртуальную машину для работы океанолога.

Пришла пора обновить виртуальную машину до нового LTS релиза Ubuntu 12.04. Под катом список установленного софта, инструкция по установке под виндоуз и советы о том как искать и устанавливать недостающие программы.

Следуя принципу "работает, не трогай" я решил, что для софта, доступного из репозиториев убунты я более новые версии устанавливать не буду. Проблемы, которые могут возникнуть у неподготовленного пользователя с установленным вручную софтом, не компенсируются небольшими улучшениями доступными в новых версиях. При этом конечно обидно, что, например, мой любимый IPython notebook будет только версии 0.12, но думаю это решение правильное.

Образ диска лежит здесь. Файл размером 2 Гб, и при скачке через броузер могут возникнуть проблемы, поэтому лучше его скопировать на свой яндекс диск, и он у вас спокойно за ночь скачае



NAO индекс в netCDF формате


Задача: перевести Индекс Северо-Атлантической Осциляции (NAO) из ASCII в netCDF формат
Решение: используем модули Python - PyNio, numpy, time

Индексом NAO (а также его близким родственником AO) пользуется огромное количество народа, но найти его в netCDF формате мне не удалось. Пришлось делать самому. Кому нужен просто файлик - вот он NAO index in netCDF format (up to 2011.04). Кто хочет посмотреть на очередной пример использования Nio для создания netCDF файла, велкам под кат.

Более подробно про NAO можно почи



Избавляемся от ненужных циклов и ускоряем скрипт на Python

Задача: выбрать из массива данных только данные удовлетворяющие условию и сделать с ними какую ни-будь гадость
Решение: numpy.where

Слухи о тормознутости Python сильно преувеличены, просто нужно уметь его готовить. Конечно скорости C или Fortran вы на нем не добьетесь, но и его вполне можно заставить быстро обрабатывать огромные массивы информации. Если вы хотите считать быстро, то ваш враг номер один в Python (также как и в MATLAB, кстати) это циклы, заданные в явном виде (оператор for). От большинства из них можно избавиться, применяя нехитрые приемы. Об одном таком приеме, позволившем увеличить скорость обработки массива размером более 100 гигабайт в 46 раз, я очень коротко расскажу в этом посте.

Дано: четерехмерный массив с полями температуры (x,y,глубина, время). Поскольку сетка у нас не регулярная, имеются два двумерн



Hello Beautiful World !!!!1

В интернете появился новый блог.  Надеюсь он кому нибудь понравиться (:

Мир большой и красивый, много есть о чем написать. Но из тем которые тут точно будут, можно навскидку написать следующие: Python, Pylons, программирование, Linux, музыка,  позитивизм.

Скоро будут пара постов про Pylons.  А чтобы их не пропустить подпишитесь на RSS (: