12월 13일, 생애 처음으로 개발로 발표를 헀어요! 리틀빅데이터에서 했습니다 =)

(실은 이곳저곳 막 뿌리는 중입니닿ㅎㅎㅎㅎㅎㅎㅎ)

내용은, 1년동안 데이터수집을 했던 과정들 중에서 가장 힘들었던(ㅠㅠ..) 크롤러2가지에 대해서 발표했어요

1번(ip blocking)은 비교적 빨리 했고(2-3개월), 2번(액티브엑스)은 진짜 굉장히 오래걸렸어요…

엑티브엑스도 종류가 여러가지라, 셀레니움만으로도 되는 엑티브엑스들도 많아요!

(공인인증서 얘기가 나오면 좀 달라지긴하지만요…

로그인이 필요없는 엑티브엑스 설치 사이트들은 셀레니움만으로도 충분히 가능합니댱)

하지만 저는 정말 악질중에서도 악질.. 정말 악질… 여하튼 너무 악질인 사이트를 만났어요^^… (젠장)

도전해보고 싶으시다는 분도 계셨는데 우선 로그인자체가 사업자 공인인증서밖에 안되기 땜시… 여기서부터가 이미 해보시라는 말씀을 드릴수가 없더라구요 ㅠㅠ

뭐.. 결국에 해결은 했지만 에러도 너무 잦고 하는바람에 지금은 잠깐 중단상태입니다..흑흑 1번은 여전히 잘 돌아가구요!

10분안에 끝내야해서 거의 랩수준입니댱

정말… 이 크롤러 만드느라고 고생좀 했어요!

감히.. 감히 말할 수 있습니다 =) 정말 오랜시간 고민했던 크롤러들이라 더 애착이 가고, 뭐 그랬던 아이들이었죠

시간은 많이 들었지만, 그만큼 성장하는 기회도 많이 주었던 경험이라, 참 값졌던것 같아요!

그냥 매번 잘 되는 크롤링만 하다보면, 매번 패턴이 보이는데

이 패턴들을 깨주었던 사이트들이었습니당

욕도 정말 많이 했죠

페북에도 중간중간 IE욕하는 글들이 간혹가다 올라가기도했고…ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ(원체 글을 잘 안올리는데 너무 화가나섴ㅋㅋㅋㅋㅋㅋ)

돌이켜 생각해보면 참 .. 머리 많이 썼던 시간이네요

덕분에 많은걸 깨달은 1년이었습니다.

발표하면서 한해 마무리도 잘 한것 같구요!

감사한마음으로 2020년을 맞이하고… 언능 회고나 써야지 아직도 안썼어요… 혼나야함 ㅠㅠ