職責描述:
1、負責數(shù)據采集系統(tǒng)的技術架構設計與核心功能開發(fā);產品開發(fā)和技術研究工作,解決各類技術疑難問題;
2、負責核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
3、有良好的成本意識,對產品性能有比較高的追求,好的大局觀,有良好的學習能力。
任職要求:
1、有3年以上爬蟲工作經驗并有高并發(fā)大量采集項目經驗優(yōu)先考慮;
2、有較強的責任心、溝通協(xié)調能力,工作主動積極;
3、熟練Python編程語言,掌握反爬技術,圖片識別碼,滑動塊識驗碼等技術優(yōu)先考慮;
4、熟悉Scrapy,Django,F(xiàn)lask, Tornado等至少一種框架;
5、熟悉關系型數(shù)據庫(MySQL/PostgreSQL/Oracle),緩存數(shù)據庫(Redis/Memcached)優(yōu)先考慮;
6、精通一種開源爬蟲框架,如scrapy等,有開發(fā)爬蟲框架、構建過分布式爬蟲系統(tǒng)者優(yōu)先;
7、有獨立項目(前后臺)開發(fā)經驗優(yōu)先;
8、能力突出可以帶Python團隊。