莞城区网站建设公司weixinqqcom微信官网

莞城区网站建设公司,weixinqqcom微信官网,定制网站与模板网站的主要区别,android studio模拟器运行不出来博主介绍#xff1a;✌全网粉丝50W,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业项目实战8年之久#xff0c;选择我们就是选择放心、选择安心毕业✌ #x1f345;想要获取完整文章或者源码#xff0c;或者代做#xff0c;拉到文章底部即可与…博主介绍✌全网粉丝50W,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业项目实战8年之久选择我们就是选择放心、选择安心毕业✌ 想要获取完整文章或者源码或者代做拉到文章底部即可与我联系了。点击查看作者主页了解更多项目感兴趣的可以先收藏起来点赞、关注不迷路大家在毕设选题项目以及论文编写等相关问题都可以给我留言咨询希望帮助同学们顺利毕业 。1、毕业设计2026年计算机专业毕业设计选题汇总建议收藏✅2、大数据毕业设计2026年选题大全 深度学习 python语言 JAVA语言 hadoop和spark建议收藏✅1、项目介绍技术栈Python语言、Flask框架、requests爬虫、Echarts可视化、MySQL数据库、Layui前端框架研究背景拉勾网每日新增数万技术岗位信息分散且更新快求职者难以直观把握城市薪资与行业趋势亟需自动化采集与可视化方案辅助择业。研究意义本系统以requests实时抓取拉勾网招聘数据经清洗后通过Echarts多维可视化可为毕业生展示“爬虫-分析-预测”完整闭环也可为HR提供薪酬调研工具预计节省70%人工整理时间。2、项目界面1招聘企业分析2全国招聘地图3岗位分析词云图4薪资预测模块5招聘企业分析----融资情况6招聘企业分析----类型7薪资分析8数据采集3、项目说明本系统使用Python进行创作基于Flask框架实现Web功能使用MySQL存储系统信息结合ECharts进行数据可视化分析数据获取通过requests对拉勾网进行爬取获取的数据进行清洗处理后存储到MySQL数据库中大致实现数据的爬取、系统管理和数据的可视化等模块。系统功能模块包括首页可视化、招聘企业分析、全国招聘地图、岗位词云、薪资分析以及薪资预测模块。薪资预测模块支持通过选择职位、学历、城市、工作经验使用随机森林算法预测期望薪资为求职者提供量化参考。通过数据可视化展示得出不同城市和行业的招聘信息数量与薪资水平存在明显差异为个人求职者和企业招聘者提供有益参考。4、核心代码importosimportrandomimportmathfromtimeimportsleepimportjsonfromurllib.parseimportquoteimportrequestsfromfake_useragentimportUserAgent# 判断文件是否存在否则创建新的defmkdir(path):folderos.path.exists(path)ifnotfolder:os.makedirs(path)print(path文件夹创建成功)else:print(已存在)defget_user_agent():user_agentUserAgent()returnuser_agent.chromedefget_page_num(count): 计算要抓取的页数通过在拉勾网输入关键字信息 可以发现最多显示30页信息,每页最多显示15个职位信息 :param count: :return: page_nummath.ceil(count/15)ifpage_num29:return2# return 29else:returnpage_numdefget_json(job_name,page_num,city): 从指定的url中通过requests请求携带 请求头和请求体 获取返回 :param city: :param job_name: 工作 :param page_num: 第几页 :return: post_urlfhttps://www.lagou.com/jobs/positionAjax.json?pxdefaultcity{quote(city)}needAddtionalResultfalse# job_q quote(job_name)url_jobfhttps://www.lagou.com/jobs/list_{job_name}?pxdefaultcity{city}#filterBoxheadersget_headers(job_qquote(job_name))# 请求体data{first:true,pn:page_num,kd:job_name,}# 代理# proxy my_proxy() 注释掉# proxy get_proxies(url_job)#srequests.Session()print(建立session,s,\n\n)s.get(urlurl_job,headersheaders,timeout10)# s.get(urlurl_job, headersheaders, timeout10, proxiesproxy)cookies.cookiesprint(获取cookie,cookie,\n\n)# 关闭 keep-aliveheaders[Connection]closeresrequests.post(urlpost_url,headersheaders,datadata,cookiescookie,timeout10)# res requests.post(urlpost_url, headersheaders, datadata, cookiescookie, timeout10, proxiesproxy)print(f城市{city}工作{job_name}正在爬取第{page_num}页)res.raise_for_status()res.encodingutf-8page_datares.json()returnpage_datadefspider(job,city): 爬虫入口 :param job: :param city: :return: # 返回第一页json文件方便查看有多少页数据针对中断爬虫继续爬取first_pageget_json(job_namejob,page_num1,citycity)# job 页码数量 numnumget_page_num(first_page[content][positionResult][totalCount])print(f在城市{city}工作{job}可以爬取{num}页)# 已经爬取的数量sleep(5)# sleep(10)# 工作保存路径path_routefData/{job}mkdir(path_route)# 正式爬取forpageinrange(1,num1):# 获取每一页的职位的相关职位信息page_dataget_json(job_namejob,page_numpage,citycity)filenamepath_route/cityjobstr(page).jsonwithopen(filename,w,encodingutf-8)asf_obj:# 打开模式为可写json.dump(page_data,f_obj,ensure_asciiFalse)# 存储文件sleep(20)jobs[java,python,C,php,web,bi,go,ruby,android,ios,算法,测试,运维,数据库,ai]cities[北京,上海,深圳,广州,杭州,成都,南京,武汉]job_num0p_jobjobs[job_num]# 遍历城市# 从第 n 个开始爬n0foriinrange(n,len(cities)):ccities[i]spider(jobp_job,cityc)sleep(5)# sleep(10)5、源码获取方式biyesheji0005 或 biyesheji0001 绿色聊天软件由于篇幅限制获取完整文章或源码、代做项目的查看我的【用户名】、【专栏名称】、【顶部选题链接】就可以找到我啦感兴趣的可以先收藏起来点赞、关注不迷路下方查看获取联系方式