崗位職責(zé)：
1. 參與開發(fā)和優(yōu)化分布式爬蟲系統(tǒng)；
2. 實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和預(yù)警處理；
3. 負(fù)責(zé)持續(xù)跟蹤分析爬蟲系統(tǒng)的技術(shù)缺陷，對策略架構(gòu)做出合理地調(diào)整和改進(jìn)，提升公司相關(guān)產(chǎn)品與服務(wù)的競爭力。
任職要求：
1. 熟練使用python/java語言，進(jìn)程、線程；
2. 熟練使用 mongo,redis,mysql 等數(shù)據(jù)庫；
3. 熟練使用常見爬蟲框架(xpath/scrapy/scrapy-redis/pyspider等；
4. 能處理常見反扒問題能力(代理/app抓包/web反扒)；
4. 有較好的邏輯思維及良好的代碼習(xí)慣；
5. 掌握基本數(shù)據(jù)結(jié)構(gòu)和算法，能夠靈活使用編程技巧和設(shè)計(jì)模式等相關(guān)知識；
6. 具備爬蟲程序架構(gòu)設(shè)計(jì)能力、模塊化設(shè)計(jì)能力；
7. 有使用過 kafka/docker/ES等技術(shù)者優(yōu)先；
8. 有分布式爬蟲系統(tǒng)設(shè)計(jì)、工程化和運(yùn)維經(jīng)驗(yàn)者優(yōu)先；
9. 有兩年及以上爬蟲經(jīng)驗(yàn)。
