안녕하세요? 소프트웨어 꼰대강의를 운영하고 있는 노기섭 교수입니다. 이 저장소는 '딥러닝 수학'과 관련된 자료를 제공하고 있습니다. 딥러닝을 공부하다 보면 피해갈 수 없는 장벽을 만나게 됩니다. 바로 수학과 관련된 지식입니다. 개인적으로 딥러닝을 공부하면서 누군가 쉽게 풀어서 설명하는 자료가 있으면 좋겠다는 생각을 종종 했습니다. 제가 이해한 방식을 기반으로 딥러닝 관련된 수학 지식을 제공하고자 합니다.
꼰대 교수님 홈페이지: 바로가기 (click me)
궁금한 사항, 오류 등이 있으면 [email protected]로 연락주시면 감사하겠습니다.
- 1장. Probability (확률)
- 2장. Linear Algebra (선형대수)
- 3장. Differentiation (미분)
- 4장. Information Theory (정보이론)
- Bonus. 집합론 (곱집합)
| 분야 | 주제 | Youtube | PPT | Codes |
|---|---|---|---|---|
| 확률 | 01. Random Variables (확률변수)... 이게 뭔가요? | click | link | 없음 |
| 확률 | 02. Expected Value (기댓값)... 이게 뭔가요? | click | link | 없음 |
| 확률 | 03. 딥러닝과 확률 분포의 관계는 무엇인가요? | click | link | 없음 |
| 확률 | 04. 파라미터와 딥러닝 | click | link | 없음 |
| 확률 | 05. odds, logit, sigmoid, and softmax 개념설명 | click | link | 없음 |
| 확률 | 06. 샘플링 표현에 대한 이해와 몬테 카를로 근사 | click | link | 없음 |
| 확률 | 07. Stochastic Approach (확률적 접근법) | click | link | 없음 |
| 확률 | 08. Stochastic 실습 및 분석 | click | link | codes |
| 확률 | 09. 제발 Stochastic Process가 뭔지 설명 좀 해주세요! | click | link | 없음 |
| 확률 | 10. Stochastic Gradient Descent에 왜 "Stochastic"라는 단어가 붙은 건가? | click | link | 없음 |
| 확률 | 11. Bayesian vs. Frequentist | click | link | 없음 |
| 확률 | 12. Bayes theorem_예제 풀이(당구공 굴리기) | click | link | 없음 |
| 확률 | 13. Bayes theorem_예제 시뮬레이션(파이썬) | click | link | codes |
| 확률 | 14. Bayes theorem 딥러닝에 적용하여 해석하기 | click | link | 없음 |
| 확률 | 15. Maximum Likelihood Estimation (MLE) 완벽히 파헤치기 (deep dive)! | click | link | 없음 |
| 확률 | 16. Maximum A Posterior (MAP) 완벽히 파헤치기 (deep dive)! | click | link | 없음 |
| 확률 | 17. Bayesian Neural Networks 깊은 이해 (Bayesian Inference) | click | link | 없음 |
| 분야 | 주제 | Youtube | PPT | Codes |
|---|---|---|---|---|
| 선형대수 | 01. 딥러닝에서의 선형대수! 오리엔테이션 (동기부여) | click | link | 없음 |
| 선형대수 | 02. Matrix(행렬) 역사, 정의, 표기법, 용어 정리 | click | link | 없음 |
| 선형대수 | 03. Matrix(행렬) 기본연산(행렬의 덧셈과 곱셈), 가우스-조던 소거법 | click | link | 없음 |
| 선형대수 | 04. Determinant(행렬식), Inverse Matrix(역행렬) 깊게 이해하기 | click | link | 없음 |
| 선형대수 | 05. 벡터 소개 (역사, 정의 및 표현법, 종류, 기저, Norm) | click | link | 없음 |
| 선형대수 | 06. 벡터의 덧셈/뺄셈, 스칼라배 | click | link | 없음 |
| 선형대수 | 07. 벡터의 곱셈 (내적, Cosine Similarity, Cross곱) | click | link | 없음 |
| 선형대수 | 08. 벡터 공간 (vector space) 및 부분 공간 (vector subspace) | click | link | 없음 |
| 선형대수 | 09. 선형결합(linear combination) 및 생성(span) | click | link | 없음 |
| 선형대수 | 10. 선형변환(liear transformation), 벡터와 행렬의 만남 | click | link | 없음 |
| 선형대수 | 11. 행렬을 이용한 선형변환 | click | link | 없음 |
| 선형대수 | 12. 행렬과 행렬을 곱한다는 의미 (선형변환의 합성) | click | link | 없음 |
| 선형대수 | 13. 그림으로 이해하는 행렬식(determinant) | click | link | 없음 |
| 선형대수 | 14. 벡터에서 텐서로 - 텐서의 깊은 이해 | click | link | 없음 |
| 선형대수 | 15. 선형 시스템(공간)간의 해석(linear empathy) | click | link | 없음 |
| 선형대수 | 16. 고윳값(eigenvalue)과 고유벡터(eigenvector) 이해하기 | click | link | 없음 |
| 선형대수 | 17. 차원 축소 및 확장 (dimension reduction & expansion) | click | link | 없음 |
| 선형대수 | 18. 행렬에서의 랭크 (rank in matrix) | click | link | 없음 |
| 선형대수 | 19. 선형변환 요약, 정보 압축 및 팽창 | click | link | 없음 |
| 선형대수 | 20. 선형대수를 마무리하며, 인사말 및 감사인사 (adjourning) | click | link | 없음 |
| 분야 | 주제 | Youtube | PPT | Codes |
|---|---|---|---|---|
| 미분 | 01. 미분 시리즈를 시작하며, 오리엔테이션 (Orientation) |
click | link | 없음 |
| 미분 | 02. 딥러닝은 어떻게 데이터로부터 지식을 배우는가? | click | link | 없음 |
| 미분 | 03. 미분의 원리 - 한번은 짚고 넘어가야 할 내용 | click | link | 없음 |
| 미분 | 04. 딥러닝에서 편미분 개념과 연산 | click | link | 없음 |
| 미분 | 05. 경사하강 알고리즘의 개념, 해석, 학습 | click | link | 없음 |
| 미분 | 06. 연쇄법칙 (chain rule) 개념과 및 연산 | click | link | 없음 |
| 미분 | 07-01. 선형시스템에서의 편미분 | click | link | 없음 |
| 미분 | 07-02. 선형시스템에서의 편미분 (실습 with toy example) | click | link | codes |
| 미분 | 08. 역전파 학습 (back-propagation) 및 Computation Graph | click | link | 없음 |
| 미분 | 09. 활성함수 간단 소개, 기울기 소실의 근본 원인과 대책 | click | link | 없음 |
| 미분 | 10. 딥러닝 수학 시리즈 전체를 마무리하며, 감사인사 (adjourning) | click | link | 없음 |
| 분야 | 주제 | Youtube | PPT | Codes |
|---|---|---|---|---|
| 정보이론 | 01. 오리엔테이션 - 딥러닝과 정보이론의 관계, 학습목표, 과정 소개 등 | click | link | 없음 |
| 정보이론 | 02. 정보이론에서 '정보(information)'이란 무엇일까? | click | link | 없음 |
| 정보이론 | [정보이론]_03-1. 정보 엔트로피(entropy) 개념, 표기, 연산 - 이론 | click | link | 없음 |
| 정보이론 | [정보이론]_03-2. 정보 엔트로피(entropy) 개념, 표기, 연산 - 실습 | click | link | codes |
| 정보이론 | 04. 딥러닝에서의 엔트로피(entropy) | click | link | 없음 |
| 정보이론 | 05-1. 엔트로피 손실 (Binary Cross Entropy, Cross Entropy) - Deep dive | click | link | 없음 |
| 정보이론 | 05-2. 엔트로피 손실(Cross Entropy Loss) 실습 | click | 없음 | codes |
| 정보이론 | 06. KL 발산 (Kullback-Leibler Divergence) in Deeplearning | click | link | 없음 |
| 정보이론 | 07. 정보 이론 시리즈를 마무리 하며 (요약, 정리, 인사말씀) | click | link | 없음 |
| 분야 | 주제 | Youtube | PPT | Codes |
|---|---|---|---|---|
| 집합 |
|
click | link | 없음 |