Посты с тэгом tmbu


Разбить большой файл на несколько частей. Linux

Вчера встала задача разбить 19 мегабайтный файл (с линками на профиля собранные для дальнейшего извлечения маркетинговой информации) с почти 50 000 строк на небольшие файлики по, скажем, 500 строк для последующей обработки. Сгоряча начал даже набрасывать небольшой скрипт на python, потом внезапно обнаружил что в linux есть замечательная команда – split user@machine:~$ split --help Usage: [...]



Обертка для Curl : grab

Многие (почти все) используют такую замечательную библиотеку как curl (ну, или в нашем случае pycurl), работать с ней конечно можно – но не слишком удобно. Приходится думать о разных вещах – куках, установке параметров и т.д. а ведь это время и в конечном итоге – деньги. Как правило, на определенном этапе многие пишут свои “функции” [...]