崗位職責：
1、參與hue、airflow等大數據相關組件的二次開發，參與基于k8s和docker的服務自動化部署的開發
2、負責設計和開發分布式爬蟲系統，進行多平臺多終端信息的抓取和分析；
3、實現大規模文本、圖像的抓取及數據清洗工作；
4、大數據相關組件告警功能的設計與開發
任職要求：
1、全日制統招本科及以上學歷， 計算機相關專業在校生；
2、熟練掌握python的開發
3、能夠解決封賬號、封IP采集等問題,解決網頁抓取、信息抽取等問題；
4、熟悉網頁抓取原理及技術，能夠總結分析不同網站，網頁的結構特點及規律；
5、熟悉Mysql、Redis、Nosql等數據庫；
6、熟悉常見的數據結構知和基本的算法復雜度概念。
加分項（滿足其一即可）：
1、有驗證碼破解，反爬，分布式爬蟲架構，數據挖掘，搭建數據倉庫經驗；
2、熟悉Selenium、PhantomJS 、WebDriver等技術或hue、airflow等大數據組件；
吸引力：
除了爬蟲之外，可以參加到大數據相關組件的開發，廣闊的成長空間，還有機會參與到算法組的開發
簡歷發送到 liut23@ziroom.com
