README.md 32 KB
My activity to study and do Data Science
То что я сейчас прохожу, читаю, прочитал, посмотрел, сделал и вообще мой личный списочек всего с этим связанного
Надо из этого сделать вот это https://wiki.nikitavoloboev.xyz/
Содержание
Курсы и активности
Курсы, что я уже прошел
- Летняя Школа. Мастерская Deep Learning
- DataCamp:
- Stepic:
- Теорвер
- Матстат
- Дискретка
Курсы, что я прохожу
- Deep Learning на пальцах!
- ODS ML Course Open
- Deep NLP MIPT
- cs224n (NLP)
- cs231n (DeepLearning)
- Carnegie Melon Deep Learning Course
Курсы, которые надо пройти
- Deep Learning Google
- Machine Learning Crash Course with TensorFlow APIs
- Learning TensorFlow
- Kaggel Learn
- Data Vizualization Kaggle
- Andrew Ng
- cs221
- Future Learning
- HSE Course (GitHub)
- Microsoft Professional Program for Artificial Intelligence
- Blommberg ML
- Toronto DL
- Elements of AI
- Julia Scientific Programming Coursera
- Stepic Julia
Stepic Additional
Где я участвовал как слушатель или как участник или как организатор. Школы, конференции, семинары
Хакатоны
Чтение и писанина
Штуки, что надо прочитать
- How Numba and Cython speed up Python code
- Serving machine learning models with RestServe on R
- R TensorFlow Tutorial
- R Keras Tutorial
- New Resources for Deep Learning with the Neuromation Platform
- Word2Vec Tutorial
- Серия статей про ембединги текста
- ImageNet Classification with Deep Convolutional Neural Networks - Colyer
- Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition
- Истинная реализация нейросети с нуля. Часть 2
- Functional Programming for Deep Learning
- Manning And Le Cun talks about Innate Prior Chomsky
- The Unreasonable Effectiveness of Recurrent Neural Networks (Карпатый)
- Ассоциативные правила, или пиво с подгузниками
- Connection between absract algebra and high school algebra
- Instance Embedding: Segmentation Without Proposals
- Обзор топологий глубоких сверточных сетей
- Generative Adversarial Nets and Variational Autoencoders at ICML 2018
- Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification
- CERN Project Sees Orders-of-Magnitude Speedup with AI Approach
- Large-Scale Study of Curiosity-Driven Learning.
- Building a text classification model with TensorFlow Hub and Estimators
- Moving Beyond Translation with the Universal Transformer.
- Explaining Black-Box Machine Learning Models - Code Part 1: tabular data + caret + iml
- Keras DNN Part 2
- Boosting Part 3
- Recent Advances for a Better Understanding of Deep Learning − Part I
- What is a Generative Adversarial Network?
- Think Julia: How to Think Like a Computer Scientist
- Rules of Machine Learning: Best Practices for ML Engineering (24 страницы)
- A Few Useful Things to Know about Machine Learning (9 страниц)
- Machine Learning’s ‘Amazing’ Ability to Predict Chaos
- Markov Chains for Dummies
- Deep Learning for NLP: An Overview of Recent Trends. 2018
- habr - Введение в состязательные сети
- habr -Kaggle: Amazon from Space — трюки и хаки при обучении нейросетей
- habr - kaggle: IEEE's Camera Model Identification
- harb Офлайн А/Б тестирование в ритейле
- habr 3-е место в отборочном этапе DataScienceGame 2018
- RL habr Как казаки retro контест решали
- The Annotated Transformer
- The Annotated Encoder Decoder with Attention
- How to train your ResNet5, search optimal hyperparameters
- Transfer Learning in NLP (nlp-imagenet-ruder)
- Differentiable Image Parameterizations
- Every fucking post here
Штуки, что я прочитал
- Про преобразование фурье
- Как предсказывают погоду
- Генерация стихов нейросетями
- Ehtereum
- Автоэнкодеры в Keras
- Разброс и смещение Дяконова
- Распонзнавание сцен и достопримечательностей
- Obfuscated gradients give a false sense of security: circumventing defenses to adversarial examples
- When DNNs go wrong – adversarial examples and what we can learn from them
- Understanding, generalisation, and transfer learning in deep neural networks
- Universal adversarial perturbations
- Delayed impact of fair machine learning
- Почему хватит считать нейронные сети черным ящиком?
- Ultimate guide to handle Big Datasets for Machine Learning using Dask (in Python)
- OpenCV People Counter
- Ложь, наглая ложь и причинный вывод (causal inference)
- pandas on ray early lessons
- Red Flags In DS interview
- Classifying physical activity from smartphone data (Keras and R)
- Keras for R
- Simple audio classification in keras in R
- Пицца аля-semi-supervised
- Определение цвета автомобилей с использованием нейронных сетей и TensorFlow
- Yes, you should understand backprop. A. Karpaty
- https://arxiv.org/pdf/1808.06492.pdf
- Pandas Tips and Tricks
- Handling cat Pandas
- Using categorical data in machine learning with python Part 1
- Guide to Encoding Categorical Data
- BEYOND ONE-HOT: AN EXPLORATION OF CATEGORICAL VARIABLES
- Using categorical data in machine learning with python: from dummy variables to Deep category embedding and Cat2vec -Part 2
- Python Pandas Tricks
- My New Workflow with Julia 1.0
- autokeras kill google automl
- Serverless tensorflow на AWS Lambda
- Levenberg-Marquardt Optimization (Part 1)
- Методы оптимизации нейронных сетей
- DeepHD
- Kaggle Mercedes и кросс-валидация
- Introduction to Chainer Presentation
- Визуализация сверточных слоев с помощью Pytorch
- Running Jupyter Lab as a Desktop Application
- AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод)
- https://habr.com/ru/post/437796/
- Как мы создали рекомендательный сервис по подбору одежды на нейронных сетях
- IPython interactive control
- Чек лист лист для отладки нейронной сети
- Approach pretended deep learning models with caution
- How to pick the best learning rate for your machine learning project
- Understanding LSTMs
Штуки, что я написал, перевел
- Применяем Deep Watershed Transform в соревновании Kaggle Data Science Bowl 2018
- Из спутниковых снимков в графы (cоревнование SpaceNet Road Detector) — попадание топ-10 и код
- Соревнование Pri-matrix Factorization на DrivenData с 1ТБ данных — как мы заняли 3 место
Видео
Видео, что мне надо посмотреть
- Essense of Linear Azlgebra
- PyData Meetup (TensorFlow Architecture) Materials
- Kaggle Mercedes Benz: предсказание времени тестирования автомобилей
- Эффективные модели ближайших соседей
- Lisa Feldman: Emotions and brain
- Manning And Le Cun talks about Innate Prior Chomsky
- Attention is all you need by Ilya Polosuhin
- Simon says LSTM
- Интервью с Виктором Рогуленко
- Карты кохонена
Видео, что я посмотрел
- NLP натекин
- Bias in an Artificial Neural Network explained | How bias impacts training
- Keras init bias
- Генератор текста цепями маркова
- Ethereum work like
- Dstl Safe Passage: детекция и классификация траспортных средств — Владимир Игловиков
- Анализ больших данных в физике элементарных частиц
- Large-Scale Study of Curiosity-Driven Learning
- Подтипирование в Julia: рациональная реконструкция
- Semantic Folding: a new model for intelligent text processing
- Применение карты Кохонена для классификации
- Lambda Calculus
- Essentials: Functional Programming's Y Combinator
- Illustrated Guide to Recurrent Neural Networks
- illustrated guide to LSTM's and GRU's
- Visual Rhythm Beat
- Deep Learning, Structure and Innate Priors
- чатботы на дваче с разными алгами внутри
- Методы для интерпретации черной коробки
- Объяснение предсказаний нейросетейю Grad-CAM
- Reinforcment Learning as a Probalistic Inference
- Инструменты разметки CV - годный обзор
Подкасты, что я послушал
- Deep Learning и Artificial Intelligence — Episode 0114
- AI и TensorFlow — Episode 0122
- DataDog и Cloud Spanner
Наука, работа и проекты
Научные статьи, что я прочитал
- Deep Learning Based Solar Flare Forecasting Model. I. Results for Line-of-sight Magnetograms et al 2018
- No Multiplication? No Floating Point? No Problem! Training Networks for Efficient Inference
- Identification of photospheric activity features from SOHO/MDI data using the ASAP tool
- Identification of photospheric activity features from SOHO/MDI data using the ASAP tool Sol. Phys., 248, 277–296, 2008. DOI: 10.1007/s11207-007-9094-3
- Colak, T., and R. Qahwaji. Automated Solar Activity Prediction: A hybrid computer platform using machine learning and solar imaging for automated prediction of solar flares. Space Weather, 7, S06001, 2009. DOI: 10.1029/2008SW000401
- Byte-Pair-Encoding et al 2015 senrich
My Local Not So Awesome List
Interested Links
- Как сделать тензорбоард для пайторча в колабе. Полезно! How to use Tensorboard with PyTorch in Google Colab
- Крутая шутка про лэндскейпы функций потерь у разных архитектур сетей! Visualizing the Loss Landscape of Neural Nets и интерактивная часть
- Отличный туториал модулу датасет в торче PyTorch Custom Dataset Examples
- Отличный каггл кернел туториал по обработке датасетов Data preparetion. Spet by step
- слайды доклада по рекомендационной системе нетфликса Recommender Systems (Machine Learning Summer School 2014 @ CMU)
- An Interactive Tutorial on Numerical Optimization
- Презентация про видеоанализ с RNN
- The Building Blocks of Interpretability Neural Networks
- Хаскель и ДипЛернинг - Awesome Haskell Deep Learning
- Статья рассуждение Functional programming for deep-learning (clojure)
- Очерендной осом хаскель мл лист Awesome haskell ML
- Раздел дата саенс осом хаскель листа Awesome Haskell#Data Science
- Сайт Data Haskell коммьюнити http://www.datahaskell.org/
- Сайт книги Over 130 Practical Recipes For Data Analysis and Machine Learning и репа книги
- Кажется главный пакет по хаскель мл (и уже устарел) - Hlearn
- Очередной язычок Nim очередной диплернинг Experimental rewrite of mnielson's deep learning example code in Nim
- Дичайший диплернинг фреймворк для Nim - Arraymancer
- Все что нужно и всякие другие штуки в МЛ и ДЛ в Джулии (ванлав кажется язычок) в годном месте на сайте и их репа
- Awesome NLP
- Awesome Deep Learning
- Awesome Most Cited Deep Learning Papers
- Awesome Data Science
- Awesome Machine Learning & Deep Learning Tutorials
- Awesome R
- A curated list of data science blogs
- Awesome Artificial Intelligence
- A paper list of object detection using deep learning
- Scaling Uber’s Customer Support Ticket Assistant (COTA) System with Deep Learning.
- Pandas Cheat Sheet
- DeepLearningAnimePapers - A list of papers and other resources on deep learning with anime style images.
- A list of all papers and resoureces on Semantic Segmentation
- Deep Learning in Medical Imaging and Medical Image Analysis
Necessary and Useful Tools
- List of scappers - Огромный список программ скрейперов помогающих извлекать данные из веб-сайтов. Это инструменты на всех языках программирования и несложные в освоении
- Обработка текста с командной строки - Большая подборка инструментов позволяющих быстро обрабатывать CSV, JSON, XML и другие структурированные документы
- JKAN - Малоизвестный в России открытый движок JKAN для быстрой сборки статического портала открытых данных. Очень просто устроен, очень быстро разворачивается.
- Kekyll on Haskell - быстрый движок подъема статистических страниц. Как Jekyll только на Хаскеле. Just for fun.
- React Vizualization - визуализация на реакте. Зачем то.
- D3.js - нормальная визуализация с помошью нормального JS
- PyTorch - Python + Nim - компилируемый переписаный пайторч под ним
- Lucid - Lucid is a collection of infrastructure and tools for research in neural network interpretability. Фреймворк и набор тетрадок для анализа и визуализации нейросетей
- AutoKeras
- auto-sklearn
- Research2vec - моделька для поиска похожих рисерч пейперов, можно юзать как рекомендашку
- A Python Automated Machine Learning tool that optimizes machine learning pipelines using genetic programming.
- Automated machine learning for structured data. - AutoML library for structured data written in Scala that runs on top of Apache Spark from SaleForce
- Futuretools: An open source python framework for automated feature engineering
- Entity Embedding for Categorical Data
- Version Control System for Data Science!
Datasets
- Some New Interesting Deep Learning Datasets for Data Scientists - Список датасетов интересный
- Cool Datasets - сайт с датасетами клевыми
- Целый сабреддит на реддите с датасетами и обсуждениями
- Kaggle Recipe Ingredients Dataset