Посты с тэгом csv


[Из песочницы] Задача: извлечь ключевые выражения из текста на русском языке. NLP на Python

Что было нужно в самом начале:

  • программа, «выуживающая» из сырого текста на русском языке уникальные названия продукции по определенной отрасли. Сырой текст — текст, который писал человек, просто излагая свои мысли и не заботясь о формировании или выделении какого-либо списка слов;
  • автоматически получаемый список слов;
  • минимальная ручная или автоматизированная обработка для преобразования списка в набор хештегов или ключевых слов к тексту.

Полагаю, что неявно с проблемой многие сталкиваются ежедневно, после написания или анализа статьи, поста, комментария, заметки, отчета и т.д. Вот и мне по роду деятельности приходилось сталкиваться с данной проблемой по многу раз в день. Поэтому, можно сказать, к идее автоматизации меня привела «лень», в хорошем смысле этого слова.

Сейчас, когда я пишу эту статью, сохранилась идея, но набор данных конечного результата сильно изменился:

  • выбираются не слова, а клю


Pylons обработка csv с веб формы (метод POST)

Небольшой "хинт" как при помощи Pylons обрабатывать CSV файлы, отправленные из формы.
Создаем шаблон

<form action="" method="POST" enctype="multipart/form-data">
CSV file: 

</form>
<table class="simpletable">
{% for data in c.data %}
<tr>
<td>{{ data[0] }}</td>
<td>{{ data[1] }}</td></tr>
{% endfor %}
</table>

Метод контроллера выглядит как то так
# coding=utf8
import pylons
import csv

from cStringIO import StringIO
from pylons import request, response, session, tmpl_context as c, url
from myproject.lib.base import BaseController, render

class CsvController(BaseController):

    def index(self):
        data = request.POST.get('csvfile', '')
        if data:
            data = data.value
        else:
            return render("/example/csv/index.html")

        f = StringIO(data)

        c.data = []
        for row in csv.reader(f):
            c.data.append((row[0], row[5]))