Посты с тэгом sklearn

[Перевод] Понимание деревьев решений в машинном обучении и их реализация с помощью Python

Совсем скоро, 20 ноября, у нас стартует новый поток «Математика и Machine Learning для Data Science», и в преддверии этого мы делимся с вами полезным переводом с подробным, иллюстрированным объяснением дерева решений, разъяснением энтропии дерева решений с формулами и простыми примерами, вводом понятия «информационный выигрыш», которое игнорируется большинством умозрительно-простых туториалов. Статья рассчитана на любящих математику новичков, которые хотят больше разобраться вработе дерева принятия решений. Для полной ясности взят совсем маленький набор данных. В конце статьи — ссылка на код на Github.

Блог python на хабрахабре 09 Nov 14:17

python, математика, искусственный интеллект, машинное обучение, sklearn, artificial intelligence, деревья решений, блог компании skillfactory, skillfactory

прочитать оригинал

Детектирование аномалий с помощью автоенкодеров на Python

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

Читать дальше →

Блог python на хабрахабре 09 Mar 06:19

python, программирование, машинное обучение, machine learning, sklearn, anomaly detection, autoencoder, pytorch, автокодировщик, автоенкодер

прочитать оригинал

Как решить старую задачу с помощью ML на Python и .Net

Бывает, что некоторые задачи преследуют тебя много лет. Для меня такой задачей стала склейка предложений текстов, в которых жестко забит переход на новую строку, а часто еще и перенос слов. На практике, это извлеченный из PDF или с помощью OCR текст. Часто можно было встретить такие тексты на сайтах он-лайн библиотек, в архивах старых документов, которые редактировались еще DOS-редакторами. И такое форматирование очень мешает затем правильной разбивке на предложения (а с переносами — и на токены) для последующей NLP-обработки. Да и банально показать такой документ в поисковой выдаче — будет некрасиво.

Решал я эту задачу несколько раз — на Delphi, C#. Тогда это был жесткий алгоритм, где руками прописывал, например, какая может быть ширина текста, чтобы этот текст считался отформатированным "по-старому". Не всегда это срабатывало идеально, но в общем, хватало.

Блог python на хабрахабре 24 Jun 05:41

python, natural language processing, .net, машинное обучение, machine learning, pdf, sklearn, .net core, ml.net, nlp (natural language processing), beginners, ocr postprocessing

прочитать оригинал

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

Предисловие

В данной статье мы изучим несколько аспектов SVM:

теоретическую составляющую SVM;
как алгоритм работает на выборках, которые невозможно разбить на классылинейно;
пример использования на Python и имплементация алгоритма в библиотеке SciKit Learn.

Читать дальше →

Блог python на хабрахабре 01 Nov 13:16

python, программирование, математика, машинное обучение, big data, machine learning, sklearn, data science, algorithms

прочитать оригинал

Хронология уровня CO в атмосфере США (решение задачи Kaggle с помощью Python+Feature Engineering)

Хочу поделиться опытом решения задачи по машинному обучению и анализу данных от Kaggle. Данная статья позиционируется как руководство для начинающих пользователей на примере не совсем простой задачи.

Выборка данных

Выборка данных содержит порядка 8,5 млн строк и 29 столбцов.Вот некоторые из параметров:

Широта-latitude
Долгота-longitude
Способ взятия пробы-method_name
Дата и время взятия пробы-date_local

Задача

Найти параметры максимально влияющие на уровень CO в атмосфере.
Создание гипотезы, предсказывающей уровень CO в атмосфере.
Создание нескольких простых визуализаций.

Читать дальше →

Блог python на хабрахабре 27 Oct 22:31

python, python3, визуализация данных, kaggle, pandas, big data, sklearn, seaborn

прочитать оригинал

[Из песочницы] Расчет оттока клиентов банка (решение задачи с помощью Python)

Блог python на хабрахабре 24 May 09:18

python, kaggle, pandas, занимательные задачки, sklearn

прочитать оригинал

Kaggle и Titanic — еще одно решение задачи с помощью Python

Хочу поделиться опытом работы с задачей известного конкурса по машинному обучению от Kaggle. Этот конкурс позиционируется как конкурс для начинающих, а у меня как раз не было почти никакого практического опыта в этой области. Я немного знал теорию, но с реальными данными дела почти не имел и с питоном плотно не работал. В итоге, потратив пару предновогодних вечеров, набрал 0.80383 (первая четверть рейтинга).

В общем эта статья для еще начинающих от уже начавшего.

Читать дальше →

Блог python на хабрахабре 28 Dec 16:16

python, программирование, matplotlib, kaggle, pandas, спортивное программирование, машинное обучение, sklearn, ml, xdboost, titanic

прочитать оригинал

Kaggle и Titanic — еще одно решение задачи с помощью Python

В общем эта статья для еще начинающих от уже начавшего.

Читать дальше →

Блог python на хабрахабре 28 Dec 16:16

python, программирование, matplotlib, kaggle, pandas, спортивное программирование, машинное обучение, sklearn, ml, xdboost, titanic

прочитать оригинал

Основы анализа данных на python с использованием pandas+sklearn

Добрый день уважаемые читатели. В сегодняшней посте я продолжу свой цикл статей посвященный анализу данных на python c помощью модуля Pandas и расскажу один из вариантов использования данного модуля в связке с модулем для машинного обучения scikit-learn. Работа данной связки будет показана на примере задачи про спасенных с "Титаника&quot. Данное задание имеет большую популярность среди людей, только начинающих заниматься анализом данных и машинным обучением.
Читать дальше →

Блог python на хабрахабре 14 Nov 06:59

python, data mining, pandas, sklearn

прочитать оригинал

Посты с тэгом sklearn

[Перевод] Понимание деревьев решений в машинном обучении и их реализация с помощью Python

Детектирование аномалий с помощью автоенкодеров на Python

Как решить старую задачу с помощью ML на Python и .Net

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

Предисловие

Хронология уровня CO в атмосфере США (решение задачи Kaggle с помощью Python+Feature Engineering)

[Из песочницы] Расчет оттока клиентов банка (решение задачи с помощью Python)

Kaggle и Titanic — еще одно решение задачи с помощью Python

Kaggle и Titanic — еще одно решение задачи с помощью Python

Основы анализа данных на python с использованием pandas+sklearn

Обновления

Раздел «Блоги»

Тэги