崗位職責(zé)：
1、設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，對接三方平臺 API 以及進(jìn)行網(wǎng)頁數(shù)據(jù)爬取。
2、參與數(shù)據(jù)平臺的搭建，優(yōu)化數(shù)據(jù)處理流程；
3、搭建系統(tǒng)開發(fā)環(huán)境，完成系統(tǒng)框架與核心代碼開發(fā)；
4、參與搭建內(nèi)部數(shù)據(jù)倉庫，定義并開發(fā)業(yè)務(wù)核心指標(biāo)數(shù)據(jù)。
任職要求：
1、大學(xué)本科學(xué)歷，計算機(jī)相關(guān)專業(yè)，熟悉 python 語言服務(wù)端開發(fā)，3 年以上開發(fā)經(jīng)驗，有數(shù)據(jù)爬蟲開發(fā)經(jīng)驗；
2、熟悉 Flask，Django 等常見 Web 框架；
3、熟悉 MySQL、NoSQL 等常見數(shù)據(jù)庫；
4、熟悉常見存儲引擎的原理、特點以及主從復(fù)制原理和實踐；
5、具有良好的編程思想、溝通、團(tuán)隊合作精神、優(yōu)秀的分析問題和解決問題的能力；
6、有 Hive,Spark 等大數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先。
