멀티캠퍼스에서 주관하는 [파이썬 기반 머신러닝 응용 웹 서비스 개발 과정] 을 수료하였습니다.
11월 4일 ~ 12월 24일 까지 300시간의 교육 과정입니다.
코로나19로 인해 11월 4일 ~ 11월 5일 은 역삼 멀티캠퍼스에서 오프라인으로 진행하였고,
그 후는 ZOOM을 통한 온라인으로 진행되었습니다.
과정 커리큘럼
과정 커리큘럼은 다음과 같습니다.
1 ) 자기소개서와 면접, 오픽과 관련한 특강 + 강의와 프로젝트에서 필요한 프로그램 설치 20시간
2 ) 파이썬 기초 교육 과정 72시간
3 ) MySQL 데이터 베이스 강의 48시간
4 ) Flask 웹 프로그래밍 48시간
5 ) 인공지능 및 데이터 분석 시각화 40시간
6 ) 4~5명으로 구성된 팀 프로젝트 72시간
첫번째 강의에서 외부 강사님께서 자기소개서와 관련한 강의를 해주셨습니다.
두번째 강의에서는 강의와 프로젝트에 필요한 프로그램 설치를 도와주셨습니다.
교재
또, 교육에 필요한 책 다섯권을 제공받았습니다.
book.naver.com/bookdb/book_detail.nhn?bid=16345347
이것이 MySQL이다
- 『이것이 MySQL이다』 개정판, 최신 8.0 버전 반영! 파이썬 연동 내용 수록!2016년 출간 후 데이터베이스 도서 분야 부동의 베스트셀러 1위를 지켜오던 『이것이 MySQL이다』가 MySQL 8.0 버전을 반영
book.naver.com
1 ) 이것이 MySQL 이다
book.naver.com/bookdb/book_detail.nhn?bid=15052904
Do it! 점프 투 파이썬
파이썬 4년 연속 베스트셀러 1위!《DO IT! 점프 투 파이썬》 전면 개정판 출시!문과생도 중고등학생도 직장인도 프로그래밍에 눈뜨게 만든 바로 그 책이 전면 개정판으로 새로 태어났다! 2016년 《D
book.naver.com
2 ) 점프 투 파이썬
book.naver.com/bookdb/book_detail.nhn?bid=14645299
파이썬 라이브러리를 활용한 머신러닝
사이킷런 핵심 개발자에게 배우는 머신러닝 이론과 구현현업에서 머신러닝을 연구하고 인공지능 서비스를 개발하기 위해 꼭 학위를 받을 필요는 없습니다. 사이킷런(SCIKIT-LEARN)과 같은 훌륭한
book.naver.com
3 ) 파이썬 라이브러리를 활용한 머신러닝
book.naver.com/bookdb/book_detail.nhn?bid=10598978
Flask 기반의 파이썬 웹 프로그래밍
[Flask 기반의 파이썬 웹 프로그래밍]은 웹 프로그램의 개발 과정에서 꼭 알아야 하는 내용으로 가득 차 있다. Flask로 웹 프로그램을 구현하는 방법, 그리고 개발자가 프로그램을 손쉽게 배포하는
book.naver.com
4 ) Flask 기반의 파이썬 웹 프로그래밍
book.naver.com/bookdb/book_detail.nhn?bid=12231444
모두의 데이터 과학 with 파이썬
빅데이터 시대, 왜 데이터 과학인가? 데이터를 분석해 의미를 찾는 것이 중요하다! 『모두의 데이터 과학 with 파이썬』은 초보자와 비전공자가 배울 수 있게 최대한 전문 용어와 복잡한 수학을
book.naver.com
5 ) 모두의 데이터 과학 with 파이썬
수료하지 못하고 중도 포기시 책의 값을 반납해야합니다.
비대면 강의 방식
ZOOM 을 이용하여 9:00 ~ 18:00 까지 진행되었고, 9:10, 1:10, 5:50 에 출석체크를 하였습니다.
전체적인 교육 과정은 비전공자도 쉽게 따라갈 수 있을 정도로 진도를 나갔고,
비대면임에도 만족스러웠습니다.
프로젝트 발표자료
저희 팀의 주제는 실시간 민원 분석 및 외부요인에 따른 민원 수 예측입니다.
코로나 팬데믹 COVID-19 사태가 지속됨에 따라 민원 수에 상관관계가 있을 것이라 판단하여
이를 분석하여 웹 서비스를 이용하여 시각화하는 것을 목표로 세웠습니다.
저는 그 중 웹 서비스 구현 파트를 맡았습니다.
처음에는 행복주택을 주제로 정하였지만, 데이터 크롤링 과정이 어려웠습니다.
한정적인 시간동안 완성해야했기 때문에 주제를 변경하기로 하였고, 그로인해 지체된 시간을 채우기 위해 배로 노력해야했습니다.
첫 번째 단계는 API Crawling 입니다.
정부24(www.gov.kr/portal/main) 홈페이지나, 공공데이터포털(www.data.go.kr/)에서 데이터를 크롤링 하였습니다.
두번째 단계는 Jupyter-notebook 환경에서 Python 언어를 활용하여 데이터를 분석하였습니다.
분석 결과 코로나 팬데믹 COVID-19와는 관계가 없음을 발견하였고
그 후 [ 어떤 집단이 민원을 가장 많이 낼까? ] [ 민원 발생의 흐름은 어떠할까? ]
[ 많이 나온 민원 키워드는 무엇일까? ] 와 같은 질문의 답을 찾아가는 방식으로 데이터 분석 과정을 진행하였습니다.
더나아가
코로나 팬데믹 COVID-19 이외에도 민원 발생에 영향을 주는 요인을 찾아보았습니다.
회귀 분석을 사용하였으며 먼저 변수를 표준화 하였습니다.
Scatter 그래프를 이용하여 코로나 확진자 수, 기온, 민원 발생 수의 상관 관계를 확인하였습니다.
상관성 결과는 다음과 같이 나왔습니다.
결론적으로 예측 모델을 분석한 결과, 그래프는 선형에 가까워야 상관성이 있다고 판단되지만,
선형성이 강하지도 않으며 모델의 결정계수도 매우 낮다는 결론이 나왔습니다.
이를 통해, 코로나 팬데믹 COVID-19 와의 상관성은 없다는 결론을 얻을 수 있었습니다.
이를 시각화하여 보여주기 위해 웹 서비스를 구현하였습니다.
HTML, CSS, JavaScript 를 사용하였으며, 백엔드 프로그래밍은 Python 언어를 사용하였습니다.
통합 개발 환경은 VSCode (Visual Code) 이며, MySQL 을 사용하여 DB를 구축하였습니다.
Bootstrap 템플릿을 사용하여 개발하였습니다.
WEB PAGE
Main page 입니다.
Nav Item을 통해 페이지를 선택할 수 있으며, pickel 을 활용하여 데이터를 객체화 시키고 웹 페이지와 연동시켜
[ 코로나 확진자 수] 와 [ 오늘의 기온 ] 을 입력하면 민원건수 예측 결과를 알 수 있도록 하였습니다.
Main page 의 스크롤을 내리면 2020 Daily hits 와
남녀 별 민원 건수 비율, 연도별 민원건수 총합을 시각화하였습니다.
첫번째 Nav Item 은 2020 통계 자료 입니다.
2020 Daily hits 와 2020 첫째 주 민원 건수, 2020 둘째 주 민원 건수의 그래프로 구성되어있습니다.
두번째는 연도별 민원 건수 입니다.
2018년, 2019년, 2020년 월별 민원 건수로 구성되어있습니다.
세번째는 연령별 민원 건수입니다.
남성과 여성의 민원 건수로 구성되어있습니다.
네번째는 연도별 민원 건수입니다.
2019년, 2020년 연도별 가장 많이 나온 키워드로 구성되어있습니다.
다섯번째는 Heat map 입니다.
2019년, 2020년 Heat map으로 구성되어있습니다.
여섯번째는 World Cloud 입니다.
2019년, 2020년 World Cloud 로 구성되어있습니다.
마지막으로 팀원 소개입니다.
파이썬 기초 교육부터 데이터 크롤링, 분석, 웹서비스 구현까지의 과정을 프로그래밍하면서
하루 8시간이라는 수업에 지치고 힘들때도 있었지만
하나의 결과물을 완성시켰을 때의 성취감을 느낄 수 있었습니다.