Jun, Log

데이터 사이언스를 공부하기 위해서 수학 공부를 했었다.

프로그래밍을 하면서 잘 사용하지 않았던 선형대수학을 어떻게 어디서 공부를 해야되지 고민을 했었다.

다시 학교에서 배울 수도 없고 문제를 풀기 위한 문제집을 풀고 싶지는 않았다.

수학이 부족한 전 세계 사람을 위한 칸 아저씨가 수학을 알려주는 사이트가 있다.

칸아카데미

초등학생들 수준 부터 대학교 수준까지 수학을 알려준다. 학생 때 부터 이런 사이트를 알고 차근차근 공부를 했다면 수학의 조금 더 흥미가 가지 않았을까 싶다.

선형대수학을 정말 쉽게 알려주는데 수학 공부라는 것이 또 한편으로 쉽지 않을 수 있다.

물론 혼자서 학습을 했다면 2~3강만 봤을 것이다. 하지만 함께 공부하는 팀으로 강의를 보고 토론을 진행하였다.

결국 선형대수학 파트는 모두 완강.

수학을 공부하는 이들에게 추천하는 강의다.

CI / CD란?

CI / CD 단어를 살펴보자.

CI : Continuous Integration

CD : Continuous Delivery

CI/CD는 한번 만들고 끝나는 소프트웨어가 아닌 끊임 없이 개발되는 소프트웨어를 위한  테스팅, 통합과 배포를 위해서 만들어진 단어이다.

혼자서 개발하고 테스트 케이스 작성도 없이 빌드 후에 생성된 파일을 자신의 로컬로 올린다면 굳이 필요 하지 않을 수 있다. 소프트웨어 크기는 점점 방대해지고 있다. 쉽게 말해서 소스코드를 변경한 부분에서 대해서는 변경 후 전체 테스트가 필요로 한다. 팀과 협업을 하는 과정에서는 각각 맡은 부분을 개발 하고 소스코드를 서버에 올린 후 반영 및 배포를 위해서는 CI/CD가 필요한 것이다.

github travis 사용하기.

CI/CD를 위한 툴은 여러개 존재 한다. Jenkins, GitLab CI, Buildbot 등등 존재하지만 그중 travis를 사용해보자.

1. Travis CI 사이트 접속 후 To get started with Travis CI 부분으로 스크롤을 내린다.   

2. Travis -ci.com 이동 후 권한을 수락한다.

3. Activate를 누르고 나면 Travis를 적용 할 프로젝트를 선택해 준다.

4. 레파지토리에 .travis.yml 설정 파일을 추가 해준다.

5. 이후 부터는 빌드가 성공 또는 실패를 했는지에 대해서 상태를 체크해준다. 

(Travis 어드민에서 확인 가능 또는 PR을 했을 경우 PR 시 페이지에서도 확인이 가능)

travis를 설치하고 사용하는 것은 어렵지 않으나 자신의 환경에 맞게 세팅관련 해서는 고민을 해야겠습니다.

Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies

pipenv lock --pre --clear

lockfile을 클리어 시켜주자.

-> pipenv 사용법 및 명령어들 참고

정말 밑바닥 부터 시작하는 딥러닝이다. 딥러닝을 위해서 하나씩 하나씩 구현해서 공부를 한다. 신기한게 앞에서 구현한 내용 기반으로 마지막에는 mnist까지도 진행을 한다. 

책 초반에는 보고 너무 쉬운거 아니야 라는 생각을 갖을 수 있다. 중반부까지는 내용이 쉽게 느껴진다. 

하지만 중반부 부터 미분 내용들이 나오고 학습내용(경사하강법, 신경망의 기울기 등)들의 의미에 대해서 하나씩 하나씩 생각하게 된다. 이해를 하고 넘어갈려고 하다 보면 생각보다 쉽지 않음을 느낄 것이다. 오차역전파법 이후 부분에 내용은 너무 내용들이 서둘러서 나온 느낌도 든다. 서둘러 나온다는 느낌은 무언가 중간 과정 설명 없이 확 건너뛴 느낌이다.

책이 얇다고 처음에는 얕볼 수 있으나 담긴 내용과 의미들은 무시 할 수 없다. 한 권 읽고 나면 딥러닝에 대한 개요는 이야기 할 수 있겠다.

실습 부분에  mnist 의 정확도는 무언가 많이 한 것이 없는데 생각보다 높게 나온다. 더욱 배우고 익히기 위해서는 기존의 코드를 이용하여 신경망의 변화를 주고 정확도를 올려 보는 것도 큰 공부가 되겠다.

p.s)  mnist를 도전 하고 다음 과제로는 fashion mnist를 추천하는 바이다.

밑바닥부터 시작하는 딥러닝 국내도서 저자 : 사이토 고키 / 이복연(개앞맵시)역 출판 : 한빛미디어 2017.01.03 상세보기

sql튜닝 기술이 필요하셨던 분들은 튜닝을 익히기 위해서 책을 여러권 훑어 보셨을 겁니다. 

친절한 sql 튜닝이라는 책이 나오기 전에는 유명한 튜닝 책들을 읽기에는 시간이 부족하고 내용도 어려웠습니다. 기본적인 스킬만 익히고 또는 힌트들 몇개만 공부하고 튜닝을 시도 할려고 하였으나 그런 방법들로는 튜닝이 되지 않은 걸 느꼈습니다. 

공부를 해보니 튜닝의 왕도는 없었습니다. 힌트를 익힌다고 튜닝이 되는게 절대 아니기 때문입니다. 기본적인 DB구조와 인덱스의 구조들을 이해해야 튜닝을 할 수 있습니다. 그리고 그 위에 힌트들과 각종 스킬들을 익히고 튜닝이 가능해졌습니다. 

친절한 SQL 튜닝 책은 정말 튜닝을 위한 입문서입니다. 이 책에 나와 있는 내용들은 알아야 제대로 튜닝을 시작 할 수 있다고 말씀 드릴 수 있겠습니다. 말이 입문서지 튜닝을 처음 접한 사람은 조금 생소할 수 있습니다. 현재 다른 어느 책보다 튜닝을 위한 지식들을 쉽게 알려 준다고 말씀드릴 수 있겠습니다.

시행착오를 겪어 보니 튜닝은 하루 아침에 되는게 아니고 차근차근 공부를 해야 되더라구요.

적어도 3번완독을 목표로 해야겠습니다.

친절한 SQL 튜닝 국내도서 저자 : 조시형 출판 : 디비안(주) (DBian) 2018.06.01 상세보기