KT 에이블스쿨 3기 DX반 5주차 - 데이터 수집, 미니프로젝트 2차

에이블스쿨

5주차: 2월 27일(월) ~ 3월 3일(금) / 3월 1일 공휴일

화요일까지 데이터 수집, 목금은 미니프로젝트 2차

+ 그래프 코드 공유

 

 

---

데이터 수집과 미니프로젝트 2차가 있는 주간이다.

저번주 금요일 테이터 수집(API) 때 묘하게 정신을 놓았어서 이번주도 힘들겠지라고 생각했는데

강사님이 은은하게 재밌고 잘 가르쳐주셔서 좋았다.

 

 

 

---

이번주 데이터 수집은 크롤링이다.

JSON과 HTML에 대해 설명해 주신 후 크롤링에 들어가니 데이터 구조가 너무 잘 보여서 좋았다.

 

 

JSON에서 제일 신기했던 건

https://chrome.google.com/webstore/detail/json-viewer/gbmdgpbipfallnflgajpaliibnhdgobh

JSON Viewer

여기 구글 확장프로그램을 사용하면

 

 

 

 

왼쪽의 JSON 문구를 오른쪽처럼 보기 쉽게 바꿔준다.

왜 이렇게 좋은 것을 이제야 알았지?!

공공데이터포털에서 매번 미간 찌푸리면서 칼럼명 뽑아낸 지난날에 눈물 또르륵

(빅분기 단답 JSON 틀린 사람도 나야 나)

 

 

 

그리고 다음날에 html 문도 뉴스기사를 바꿔보면서 재밌게 시작할 수 있어서 좋았다.

 

 

오빠에게 친 장난

 

아무튼 2일간 알차게 크롤링을 배울 수 있어서 좋았던 데이터 수집 수업이었다.

 

 

 

 

---

하루 쉰 뒤 돌아온 2차 미니 프로젝트

이번에도 사다리를 탄 후 조장이 되어버렸다...

 

사실하는 일은 없지만, 매번 막내로만 살다가 조장이라는 타이틀만으로 매우 부담스러워하는 중이다.

 

 

이번 미니프로젝트도 저번과 마찬가지로 데이터는 주어졌다. 하지만 발표가 있지! 발표가 있다는 걸 이튿날에 알려주더라.

2차 미프는 데이터 분석이 주가 아니라 조원들끼리 가설을 세운 후 검증, 비즈니스 인사이트 도출이 주가 되는 활동이었다.

 

 

우리 조는 1인 1 가설로 시작하여 마지막 결론까지 개인플레이 느낌이 강했다. 개인적으로는 깊이 있는 분석을 했다는 장점이 있지만, 주제를 하나로 응집을 하지 못했다는 단점이 있다. 그래서 오늘 다른 조의 발표를 들으며 가설 수립부터 결론까지 하나의 스토리가 있는 조들의 발표가 너무 신기했다.

 

정말 본받고 싶은 조가 많았다. 나도 저렇게 잘하면 자진해서 발표하고 싶어 할까 생각도 하면서(ㅋㅋㅋㅋㅋ)  깊이 있는 생각을 하기 위해선 어떤 노력이 필요할까 고민도 해보았다.

 

아무튼 다양한 분석을 할 수 있는 기회를 가진 만큼 다음 미프때는 더더욱 노력해야겠다.

 

 

 

---

이건 마음에 든 내 그래프ㅎㅎ

아 이뻐

 

 

 

# 그래프 겹쳐그리기
fig = plt.figure(figsize=(20,4))

ax1 = fig.add_subplot() 
colors = sns.color_palette('pastel')
ax1.bar(df['x축'], df['좌측 y축'], color = colors) 


ax2 = ax1.twinx() # x축은 공유하고 새로운 y축 생성
ax2.plot(df['x축'], df['우측 y축'], color = '#004C63', linestyle='--', marker='o')
ax2.axhline(df['우측 y축'].mean(), color = '#F361A6', linestyle = '--')


plt.title('좌측 y축(bar) & 우측 y축(line)', fontsize=15)
print('우측 y축 = ', round(df['우측 y축'].mean(),2))
plt.show()

 

 

# 상관분석
mask = np.zeros_like(df_c.corr())
mask[np.triu_indices_from(mask)] = True

plt.figure(figsize=(20,10))
sns.heatmap(df_c.corr(), mask=mask, cmap='coolwarm',  annot = True, linewidth=.5)
plt.show()

 

 

---

 

+ 2019년 3월 6일에 자퇴하고 싶었던 나로 마무리

    -> 실제로 자퇴함