DataScienceStudy

My activity to study and do Data Science

То что я сейчас прохожу, читаю, прочитал, посмотрел, сделал и вообще мой личный списочек всего с этим связанного

Надо из этого сделать вот это https://wiki.nikitavoloboev.xyz/

Содержание

• Курсы и активности
  • Курсы, что я уже прошел
  • Курсы, что я прохожу
  • Курсы, которые надо пройти
  • Stepic Additional
  • Где я участвовал как слушатель или как участник или как организатор. Школы, конференции, семинары
  • Хакатоны
• Чтение и писанина
  • Штуки, что надо прочитать
  • Штуки, что я прочитал
  • Штуки, что я написал, перевел
• Видео
  • Видео, что мне надо посмотреть
  • Видео, что я посмотрел
  • Подкасты, что я послушал
• Наука, работа и проекты
  • Научные статьи, что я прочитал
• My Local Not So Awesome List
  • Interested Links
  • Necessary and Useful Tools
  • Datasets

---

Курсы и активности

Курсы, что я уже прошел

• Летняя Школа. Мастерская Deep Learning
• DataCamp:
  • Intro to Python for Data Science
  • Intermediate Python for Data Science
  • Intro to SQL for Data Science
  • Joining Data in PostgreSQL
• Stepic:
  • Теорвер
  • Матстат
  • Дискретка

Курсы, что я прохожу

• Deep Learning на пальцах!
• ODS ML Course Open
• Deep NLP MIPT
• cs224n (NLP)
• cs231n (DeepLearning)
• Carnegie Melon Deep Learning Course

Курсы, которые надо пройти

• Deep Learning Google
• Machine Learning Crash Course with TensorFlow APIs
• Learning TensorFlow
• Kaggel Learn
• Data Vizualization Kaggle
• Andrew Ng
• cs221
• Future Learning
• HSE Course (GitHub)
• Microsoft Professional Program for Artificial Intelligence
• Blommberg ML
• Toronto DL
• Elements of AI
• Julia Scientific Programming Coursera
• Stepic Julia

Stepic Additional

• Examination
• Adaptive tasks

Где я участвовал как слушатель или как участник или как организатор. Школы, конференции, семинары

• Летняя Школа. Мастерская Deep Learning
• Data Fest^5, Москва,28 апреля 2018

Хакатоны

• 4spb: Машинное обучение для гражданских проектов (являюсь победителем
• AI Hack Spb 2017, vk

---

Чтение и писанина

Штуки, что надо прочитать

• How Numba and Cython speed up Python code
• Serving machine learning models with RestServe on R
• R TensorFlow Tutorial
• R Keras Tutorial
• New Resources for Deep Learning with the Neuromation Platform
• Word2Vec Tutorial
• Серия статей про ембединги текста
• ImageNet Classification with Deep Convolutional Neural Networks - Colyer
• Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition
• Истинная реализация нейросети с нуля. Часть 2
• Functional Programming for Deep Learning
• Manning And Le Cun talks about Innate Prior Chomsky
• The Unreasonable Effectiveness of Recurrent Neural Networks (Карпатый)
• Ассоциативные правила, или пиво с подгузниками
• Connection between absract algebra and high school algebra
• Instance Embedding: Segmentation Without Proposals
• Обзор топологий глубоких сверточных сетей
• Generative Adversarial Nets and Variational Autoencoders at ICML 2018
• Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification
• CERN Project Sees Orders-of-Magnitude Speedup with AI Approach
• Large-Scale Study of Curiosity-Driven Learning.
• Building a text classification model with TensorFlow Hub and Estimators
• Moving Beyond Translation with the Universal Transformer.
• Explaining Black-Box Machine Learning Models - Code Part 1: tabular data + caret + iml
• Keras DNN Part 2
• Boosting Part 3
• Recent Advances for a Better Understanding of Deep Learning − Part I
• What is a Generative Adversarial Network?
• Think Julia: How to Think Like a Computer Scientist
• Rules of Machine Learning: Best Practices for ML Engineering (24 страницы)
• A Few Useful Things to Know about Machine Learning (9 страниц)
• Machine Learning’s ‘Amazing’ Ability to Predict Chaos
• Markov Chains for Dummies
• Deep Learning for NLP: An Overview of Recent Trends. 2018
• habr - Введение в состязательные сети
• habr -Kaggle: Amazon from Space — трюки и хаки при обучении нейросетей
• habr - kaggle: IEEE's Camera Model Identification
• harb Офлайн А/Б тестирование в ритейле
• habr 3-е место в отборочном этапе DataScienceGame 2018
• RL habr Как казаки retro контест решали
• The Annotated Transformer
• The Annotated Encoder Decoder with Attention
• How to train your ResNet5, search optimal hyperparameters
• Transfer Learning in NLP (nlp-imagenet-ruder)
• Differentiable Image Parameterizations
• Every fucking post here

Штуки, что я прочитал

• Про преобразование фурье
• Как предсказывают погоду
• Генерация стихов нейросетями
• Ehtereum
• Автоэнкодеры в Keras
• Разброс и смещение Дяконова
• Распонзнавание сцен и достопримечательностей
• Obfuscated gradients give a false sense of security: circumventing defenses to adversarial examples
• When DNNs go wrong – adversarial examples and what we can learn from them
• Understanding, generalisation, and transfer learning in deep neural networks
• Universal adversarial perturbations
• Delayed impact of fair machine learning
• Почему хватит считать нейронные сети черным ящиком?
• Ultimate guide to handle Big Datasets for Machine Learning using Dask (in Python)
• OpenCV People Counter
• Ложь, наглая ложь и причинный вывод (causal inference)
• pandas on ray early lessons
• Red Flags In DS interview
• Classifying physical activity from smartphone data (Keras and R)
• Keras for R
• Simple audio classification in keras in R
• Пицца аля-semi-supervised
• Определение цвета автомобилей с использованием нейронных сетей и TensorFlow
• Yes, you should understand backprop. A. Karpaty
• https://arxiv.org/pdf/1808.06492.pdf
• Pandas Tips and Tricks
• Handling cat Pandas
• Using categorical data in machine learning with python Part 1
• Guide to Encoding Categorical Data
• BEYOND ONE-HOT: AN EXPLORATION OF CATEGORICAL VARIABLES
• Using categorical data in machine learning with python: from dummy variables to Deep category embedding and Cat2vec -Part 2
• Python Pandas Tricks
• My New Workflow with Julia 1.0
• autokeras kill google automl
• Serverless tensorflow на AWS Lambda
• Levenberg-Marquardt Optimization (Part 1)
• Методы оптимизации нейронных сетей
• DeepHD
• Kaggle Mercedes и кросс-валидация
• Introduction to Chainer Presentation
• Визуализация сверточных слоев с помощью Pytorch
• Running Jupyter Lab as a Desktop Application
• AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод)
• https://habr.com/ru/post/437796/
• Как мы создали рекомендательный сервис по подбору одежды на нейронных сетях
• IPython interactive control
• Чек лист лист для отладки нейронной сети
• Approach pretended deep learning models with caution
• How to pick the best learning rate for your machine learning project
• Understanding LSTMs

---

Штуки, что я написал, перевел

• Применяем Deep Watershed Transform в соревновании Kaggle Data Science Bowl 2018
• Из спутниковых снимков в графы (cоревнование SpaceNet Road Detector) — попадание топ-10 и код
• Соревнование Pri-matrix Factorization на DrivenData с 1ТБ данных — как мы заняли 3 место

---

Видео

Видео, что мне надо посмотреть

• Essense of Linear Azlgebra
• PyData Meetup (TensorFlow Architecture) Materials
• Kaggle Mercedes Benz: предсказание времени тестирования автомобилей
• Эффективные модели ближайших соседей
• Lisa Feldman: Emotions and brain
• Manning And Le Cun talks about Innate Prior Chomsky
• Attention is all you need by Ilya Polosuhin
• Simon says LSTM
• Интервью с Виктором Рогуленко
• Карты кохонена

Видео, что я посмотрел

• NLP натекин
• Bias in an Artificial Neural Network explained | How bias impacts training
• Keras init bias
• Генератор текста цепями маркова
• Ethereum work like
• Dstl Safe Passage: детекция и классификация траспортных средств — Владимир Игловиков
• Анализ больших данных в физике элементарных частиц
• Large-Scale Study of Curiosity-Driven Learning
• Подтипирование в Julia: рациональная реконструкция
• Semantic Folding: a new model for intelligent text processing
• Применение карты Кохонена для классификации
• Lambda Calculus
• Essentials: Functional Programming's Y Combinator
• Illustrated Guide to Recurrent Neural Networks
• illustrated guide to LSTM's and GRU's
• Visual Rhythm Beat
• Deep Learning, Structure and Innate Priors
• чатботы на дваче с разными алгами внутри
• Методы для интерпретации черной коробки
• Объяснение предсказаний нейросетейю Grad-CAM
• Reinforcment Learning as a Probalistic Inference
• Инструменты разметки CV - годный обзор

---

Подкасты, что я послушал

• Deep Learning и Artificial Intelligence — Episode 0114
• AI и TensorFlow — Episode 0122
• DataDog и Cloud Spanner

---

Наука, работа и проекты

Научные статьи, что я прочитал

• Deep Learning Based Solar Flare Forecasting Model. I. Results for Line-of-sight Magnetograms et al 2018
• No Multiplication? No Floating Point? No Problem! Training Networks for Efficient Inference
• Identification of photospheric activity features from SOHO/MDI data using the ASAP tool
• Identification of photospheric activity features from SOHO/MDI data using the ASAP tool Sol. Phys., 248, 277–296, 2008. DOI: 10.1007/s11207-007-9094-3
• Colak, T., and R. Qahwaji. Automated Solar Activity Prediction: A hybrid computer platform using machine learning and solar imaging for automated prediction of solar flares. Space Weather, 7, S06001, 2009. DOI: 10.1029/2008SW000401
• Byte-Pair-Encoding et al 2015 senrich

---

My Local Not So Awesome List

Interested Links

• Как сделать тензорбоард для пайторча в колабе. Полезно! How to use Tensorboard with PyTorch in Google Colab
• Крутая шутка про лэндскейпы функций потерь у разных архитектур сетей! Visualizing the Loss Landscape of Neural Nets и интерактивная часть
• Отличный туториал модулу датасет в торче PyTorch Custom Dataset Examples
• Отличный каггл кернел туториал по обработке датасетов Data preparetion. Spet by step
• слайды доклада по рекомендационной системе нетфликса Recommender Systems (Machine Learning Summer School 2014 @ CMU)
• An Interactive Tutorial on Numerical Optimization
• Презентация про видеоанализ с RNN
• The Building Blocks of Interpretability Neural Networks
• Хаскель и ДипЛернинг - Awesome Haskell Deep Learning
• Статья рассуждение Functional programming for deep-learning (clojure)
• Очерендной осом хаскель мл лист Awesome haskell ML
• Раздел дата саенс осом хаскель листа Awesome Haskell#Data Science
• Сайт Data Haskell коммьюнити http://www.datahaskell.org/
• Сайт книги Over 130 Practical Recipes For Data Analysis and Machine Learning и репа книги
• Кажется главный пакет по хаскель мл (и уже устарел) - Hlearn
• Очередной язычок Nim очередной диплернинг Experimental rewrite of mnielson's deep learning example code in Nim
• Дичайший диплернинг фреймворк для Nim - Arraymancer
• Все что нужно и всякие другие штуки в МЛ и ДЛ в Джулии (ванлав кажется язычок) в годном месте на сайте и их репа
• Awesome NLP
• Awesome Deep Learning
• Awesome Most Cited Deep Learning Papers
• Awesome Data Science
• Awesome Machine Learning & Deep Learning Tutorials
• Awesome R
• A curated list of data science blogs
• Awesome Artificial Intelligence
• A paper list of object detection using deep learning
• Scaling Uber’s Customer Support Ticket Assistant (COTA) System with Deep Learning.
• Pandas Cheat Sheet
• DeepLearningAnimePapers - A list of papers and other resources on deep learning with anime style images.
• A list of all papers and resoureces on Semantic Segmentation
• Deep Learning in Medical Imaging and Medical Image Analysis

---

Necessary and Useful Tools

• List of scappers - Огромный список программ скрейперов помогающих извлекать данные из веб-сайтов. Это инструменты на всех языках программирования и несложные в освоении
• Обработка текста с командной строки - Большая подборка инструментов позволяющих быстро обрабатывать CSV, JSON, XML и другие структурированные документы
• JKAN - Малоизвестный в России открытый движок JKAN для быстрой сборки статического портала открытых данных. Очень просто устроен, очень быстро разворачивается.
• Kekyll on Haskell - быстрый движок подъема статистических страниц. Как Jekyll только на Хаскеле. Just for fun.
• React Vizualization - визуализация на реакте. Зачем то.
• D3.js - нормальная визуализация с помошью нормального JS
• PyTorch - Python + Nim - компилируемый переписаный пайторч под ним
• Lucid - Lucid is a collection of infrastructure and tools for research in neural network interpretability. Фреймворк и набор тетрадок для анализа и визуализации нейросетей
• AutoKeras
• auto-sklearn
• Research2vec - моделька для поиска похожих рисерч пейперов, можно юзать как рекомендашку
• A Python Automated Machine Learning tool that optimizes machine learning pipelines using genetic programming.
• Automated machine learning for structured data. - AutoML library for structured data written in Scala that runs on top of Apache Spark from SaleForce
• Futuretools: An open source python framework for automated feature engineering
• Entity Embedding for Categorical Data
• Version Control System for Data Science!

---

Datasets

• Some New Interesting Deep Learning Datasets for Data Scientists - Список датасетов интересный
• Cool Datasets - сайт с датасетами клевыми
• Целый сабреддит на реддите с датасетами и обсуждениями
• Kaggle Recipe Ingredients Dataset