实现网
字节跳动
爬虫工程师
江山🌅
3年
擅长技能

专业技能 爬虫开发与优化 精通 Python 爬虫开发,熟练掌握 Scrapy、Requests、BeautifulSoup、Selenium 等常用爬虫框架与工具,具备高效编写和调试爬虫的能力。 深入理解分布式爬虫的设计与实现,擅长使用 Scrapy-Redis 进行去重及任务队列管理,提升爬取效率。 精通动态网页抓取,掌握 Selenium 浏览器模拟操作,能够处理复杂的动态加载数据和交互式页面。 逆向工程与破解技术 熟练掌握逆向工程技术,能够分析并破解 JavaScript、Flash、Android 和 iOS 等平台上的加密机制与防护技术。 精通网络协议与加密算法,能够对 Web 请求和响应进行分析与调试,绕过常见的防爬虫机制(如验证码、动态 Token、Referer 验证等)。 熟悉使用 IDA Pro、OllyDbg 等逆向工具,能够分析与逆向可执行文件,破解 API 接口或绕过安全机制。 具备从抓包、动态调试到逆向分析的全链条技能,能够高效获取并解密需要抓取的数据。 数据处理与存储 熟练使用 MySQL、MongoDB、Elasticsearch 等数据库进行数据存储、查询与分析。 擅长数据清洗与结构化处理,能够高效进行大规模数据导出,熟练运用 Pandas 进行数据分析与可视化。 任务调度与自动化 熟悉 Celery、Airflow 等任务调度框架,能够实现定时任务、并行处理与高效调度。 熟练使用 Docker 部署爬虫服务,提高任务的稳定性和可扩展性。 能够基于 Linux Crontab 实现定时爬取,确保数据定期更新。 多领域爬取经验 拥有电商平台、社交媒体、论坛、招聘网站等多领域的爬虫实战经验。 精通 XPath、CSS 选择器等页面元素定位技术,能够高效准确地提取所需信息

¥2000 / 8小时

可兼职时间 周六、周日、工作日

可兼职地点 海淀

立即预约
文都
前端主管
Smiles
8年
擅长技能

1. 基础前端技术 - HTML/CSS体系:精通HTML5语义化标签、本地存储、Web Worker、WebSocket等新特性;熟练掌握CSS3、Flex/Grid布局、Sass/ Less预处理器、PostCSS工程化,精通响应式布局、移动端适配(rem/vw/vh、flexible、tailwindcss)、浏览器兼容性处理(IE兼容、跨浏览器适配),能独立编写高可维护、高复用的样式体系,解决各类布局疑难问题与样式冲突。 - JavaScript/ES6+:精通原生JS核心原理(原型链、闭包、异步编程、作用域、事件循环、DOM/BOM操作),熟练掌握ES6+全语法(箭头函数、Promise、async/await、模块化、解构赋值等),精通TS(TypeScript)全栈应用,具备强类型编程、类型约束、接口封装能力,能规避前端类型漏洞,提升代码可维护性与可扩展性,熟练处理JS异步痛点、内存泄漏、性能损耗等底层问题。 2. 主流框架与跨端技术 - Vue技术栈:精通Vue2/Vue3、Vuex/Pinia状态管理、Vue Router路由管理,熟练使用Vue3组合式API、Script Setup语法,主导过多个Vue2升级Vue3的项目重构,精通Element UI、Element Plus、Vant等主流UI组件库二次封装与定制,适配中后台、移动端多场景。 - React技术栈:熟练掌握React、React Hooks、Redux/Redux Toolkit、React Router,精通Ant Design组件库应用,擅长React函数式编程与组件拆分,能独立搭建React中后台项目架构,处理React项目性能优化与状态管理问题。 - 跨端与小程序:精通微信小程序原生开发、uniapp跨端开发(一套代码适配微信、支付宝、抖音小程序及App),熟练掌握Taro框架,具备小程序性能优化、分包加载、隐私合规改造、支付/登录等原生能力对接经验,主导过多款商业小程序从0到1上线。 3. 工程化与构建工具 精通Webpack、Vite、Rollup等构建工具配置与优化,熟练掌握前端工程化全流程:Git版本控制、Git Flow工作流、ESLint/Prettier代码规范校验、Commitlint提交规范、自动化构建与部署、CI/CD流程搭建;熟练使用Node.js搭建前端本地服务、接口代理、脚本工具,具备前端模块化、组件化、规范化体系搭建能力,能大幅提升团队研发效率,降低代码维护成本。 4. 性能优化与兼容性 具备全链路前端性能优化经验,精通页面加载速度优化(资源压缩、懒加载、预加载、图片优化、CDN加速、代码分割)、运行时性能优化(减少重绘重排、虚拟列表、防抖节流)、首屏加载优化、打包体积优化;精通浏览器兼容性、移动端多机型适配、弱网环境适配,能通过Lighthouse、Chrome DevTools定位性能瓶颈,输出完整优化方案并落地,主导过多个老项目性能翻倍优化项目。 5. 辅助技术与协作能力 熟练使用Axios、Fetch进行接口请求与封装,精通接口联调、跨域处理、请求拦截与响应封装;了解基础后端知识(Node.js、Java接口规范、RESTful API),能独立与后端对接需求、定义接口文档;熟练使用Figma、Sketch切图与设计稿还原,精准把控UI还原度;Nginx配置、自动化部署流程,

¥800 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 海淀 中关村

立即预约
山西听脸网咯科技有限公司
ai工程师
kb
12年
擅长技能

本人深耕Java后端开发多年,精通Java核心技术栈,熟练运用SpringBoot、SpringCloud等主流微服务框架,同时深入研究大模型应用落地,擅长将Java技术、微服务架构与大模型能力深度融合,聚焦网写相关系统(内容编辑、提交、存储、渲染、多端交互及智能辅助编辑)的全流程开发、优化与迭代。以下结合个人实操项目,详细阐述技术能力与项目经验,所有内容均为真实落地成果,无任何理论堆砌与AI化表述,直观展现可落地、高价值的技术实力,期待与各类企业达成合作。 一、核心技术能力概述(精准匹配网写场景需求) 本人核心技术能力围绕“Java后端+微服务架构+大模型落地”三大板块,深耕网写场景技术痛点解决,具备从需求拆解、架构设计、编码开发,到性能调优、安全防护、上线运维的全流程能力,擅长用极简方案解决复杂业务问题,技术落地性强、复盘总结能力突出,具体能力如下: 1. Java核心技术(网写场景深耕) 精通Java基础语法、集合框架、多线程并发、IO流、反射、注解等核心知识点,对JVM内存模型、垃圾回收机制有深入理解,能精准排查网写场景中常见的内存溢出、卡顿、并发冲突等问题。熟练运用Java原生API及常用工具类(Guava、Apache Commons等),封装网写场景专属工具(文本处理、加密解密、异常处理等),累计复用至4个网写相关项目,大幅提升开发效率与系统稳定性。 重点深耕网写场景文本处理、大文本传输与存储、并发编辑等核心痛点,能结合Java技术精准优化:例如优化大文本编辑响应速度、解决多用户协作冲突、实现敏感文本快速过滤,相关优化方案已落地验证,可将系统响应延迟降低70%以上,异常率控制在0.1%以内。 2. 主流框架与中间件(企业级落地) 熟练运用SpringBoot框架进行网写系统快速开发,精通自动配置、 starters自定义、拦截器、过滤器、AOP切面编程,能快速搭建高效、简洁的后端服务,适配网写场景的快速迭代需求;例如通过自定义starter,封装网写文本校验、日志记录、异常统一处理等通用功能,将单个项目的初始化开发周期缩短30%。 精通SpringCloud微服务架构,熟练运用Eureka/Consul/Nacos服务注册与发现、Feign/OpenFeign服务调用、Gateway网关路由转发与过滤、Sentinel流量控制与熔断降级、Config配置中心,能搭建高可用、可扩展的网写微服务架构,适配多端(PC端、移动端、小程序)网写场景的并发需求,曾主导将单体网写系统拆分为微服务架构,支持每秒1000+并发编辑请求,系统可用性提升至99.9%。 熟练运用MySQL、Redis、MongoDB等数据存储中间件:MySQL擅长索引优化、事务管理、分库分表,解决网写场景中文本数据量大、查询频繁的问题;Redis擅长缓存设计、分布式锁实现,优化网写文本查询速度与并发控制;MongoDB擅长非结构化文本存储,适配网写场景中富文本、大文本的存储需求。此外,熟练运用RabbitMQ消息队列,实现网写内容异步提交、消息通知、日志异步处理,避免同步操作导致的系统卡顿。 3. 大模型应用落地(网写场景创新) 深入研究大模型相关技术,熟悉主流大模型API(如ChatGPT、文心一言等)的调用与二次开发,能结合Java技术将大模型能力融入网写场景,实现智能辅助编辑功能,提升产品竞争力。具体落地成果包括:基于大模型API封装智能纠错、文本润色、内容生成、关键词提取等工具,集成至网写系统后端,通过SpringBoot接口对外提供服务,支持前端快速调用;优化大模型调用链路,实现请求限流、失败重试、结果缓存,降低调用成本,提升响应速度,将智能编辑功能的响应延迟控制在500ms以内。 同时,具备大模型应用与网写业务场景的融合能力,能根据业务需求设计合理的调用方案,避免技术与业务脱节,例如针对学术网写场景,优化大模型文本润色逻辑,贴合学术规范;针对自媒体网写场景,新增热点内容联想功能,提升用户编辑效率。 4. 其他辅助技术(全流程支撑) 熟练运用Git进行版本控制,掌握分支管理、代码合并、冲突解决等实操技巧,适配多人协作开发模式;熟练运用Maven/Gradle进行项目构建与依赖管理,能快速解决依赖冲突问题;熟练运用Docker进行项目容器化部署,编写Dockerfile,实现网写系统的快速部署、扩容与迁移;掌握Linux基础命令,能进行服务器部署、日志排查、性能监控,无需依赖运维人员,可独立完成系统上线与日常运维。 二、网写场景核心项目技术经验(落地成果为王) 以下为本人主导或核心参与的网写相关项目,重点阐述个人负责的技术模块、解决的核心痛点、运用的技术栈及落地成果,全程体现个人技术实力与问题解决能力,无任何空泛表述。 项目一:企业级团队网写协作系统(核心负责人) 1. 项目背景:为某大型企业搭建内部网写协作平台,支持多部门、多用户协作编辑文稿、审核流转、版本管理、权限控制,解决企业内部文稿编辑效率低、协作混乱、版本丢失等问题,适配1000+员工同时在线使用。 2. 负责模块:全程主导后端架构设计、核心模块编码、性能调优、安全防护及大模型智能功能集成,对接前端进行联调测试,负责系统上线与后期运维。 3. 运用技术:Java + SpringBoot + SpringCloud(Nacos+Gateway+Feign+Sentinel) + MySQL + Redis + RabbitMQ + Docker + 大模型API(文心一言)。 4. 核心技术成果(个人主导): (1)架构设计:采用微服务架构,将系统拆分为用户模块、文本编辑模块、审核模块、版本管理模块、智能辅助模块、日志模块,各模块独立部署、按需扩容,降低模块间耦合,提升系统可维护性;通过Gateway网关实现路由转发、权限校验、流量控制,避免非法请求进入系统;通过Sentinel实现熔断降级,防止单个模块故障导致整个系统崩溃。 (2)文本处理优化:针对团队网写高频的大文本编辑、格式转换需求,封装专属文本处理工具类,基于Java的StringBuilder/StringBuffer优化文本拼接,设置初始容量避免频繁扩容,将大文本编辑响应延迟从300ms优化至50ms以内;基于正则表达式与Character类,实现特殊字符过滤、换行格式转换、敏感文本匹配替换,解决文本渲染错乱、入库失败问题,异常率从1.2%降至0.05%。 (3)并发控制实现:针对多用户并发编辑同一文稿的冲突问题,采用“乐观锁+Redis分布式锁”双重方案,数据库表添加version版本号字段,结合Redis setnx命令实现分布式锁,确保同一时间只有一个用户能编辑文稿核心内容,避免内容覆盖;使用ConcurrentHashMap存储用户临时编辑状态,LinkedBlockingQueue处理编辑请求队列,支持1000+用户同时在线编辑,无卡顿、无冲突。 (4)大模型智能集成:集成文心一言API,开发智能纠错、文本润色、内容生成3个核心功能,通过Java封装调用工具,实现请求限流、失败重试、结果缓存,降低调用成本;对接前端编辑界面,用户可一键触发智能功能,编辑效率提升40%以上,成为系统核心竞争力。 (5)安全与运维优化:使用Hibernate Validator进行参数校验,过滤XSS攻击、SQL注入等恶意请求;采用AES加密算法对敏感文稿、用户密码进行加密存储与传输,确保数据安全;编写Dockerfile,实现系统容器化部署,部署时间从2小时缩短至10分钟;通过Linux命令实现日志排查、性能监控,系统上线后稳定运行6个月,无重大故障。 项目二:自媒体网写辅助平台(核心开发) 1. 项目背景:为自媒体创作者搭建网写辅助平台,支持文稿编辑、热点联想、关键词提取、排版优化、多平台同步发布,解决自媒体创作者编辑效率低、热点捕捉不及时、排版繁琐等问题。 2. 负责模块:后端核心接口开发、文本处理模块优化、大模型热点联想功能开发、Redis缓存设计、多平台发布接口对接。 3. 运用技术:Java + SpringBoot + Redis + MongoDB + RabbitMQ + 大模型API(ChatGPT) + 第三方发布接口(微信公众号、微博等)。 4. 核心技术成果(个人贡献): (1)缓存优化:针对自媒体网写高频的热点查询、关键词查询需求,设计多级缓存方案,Redis缓存热点内容、用户常用模板,MongoDB存储非结构化的富文本数据,将文本查询响应速度从200ms优化至30ms以内,数据库查询压力降低60%以上;使用布隆过滤器规避缓存穿透,互斥锁解决缓存击穿问题,确保缓存系统稳定运行。 (2)大模型热点联想:基于ChatGPT API,结合自媒体热点数据,开发热点联想功能,通过Java定时任务获取最新热点,缓存至Redis,用户编辑文稿时,输入关键词即可触发热点联想,推荐相关热点内容与创作思路;优化大模型调用逻辑,实现根据用户创作风格调整推荐内容,提升用户体验,该功能上线后,用户留存率提升25%。 (3)多平台同步发布:封装第三方平台发布接口,通过RabbitMQ实现异步发布,用户编辑完成后,一键触发多平台同步发布,避免同步操作导致的系统卡顿;实现发布状态监控,失败自动重试,确保发布成功率达99%以上,解决自媒体创作者多平台发布繁琐的痛点。 (4)IO优化:针对自媒体网写中高频的大文本传输、图片插入需求,使用BufferedInputStream、BufferedOutputStream优化IO操作,减少磁盘IO次数;通过GZIP压缩大文本,降低网络带宽占用,将大文本传输速度提升3倍以上;实现图片懒加载与压缩存储,节省存储资源,提升页面加载速度。 三、技术优势与个人特色(差异化竞争力) 1. 场景深耕优势:专注网写场景技术开发多年,对网写场景的核心痛点(文本处理、并发编辑、大文本传输、智能辅助)有深刻理解,能快速定位问题、给出可落地的解决方案,无需反复沟通,大幅提升开发效率。 2. 技术全面性:精通Java核心、SpringBoot、SpringCloud等主流技术,同时具备大模型应用落地能力,能实现“后端开发+微服务架构+智能功能”一体化落地,适配企业多样化、高要求的网写系统需求,无需多技术人员协同,降低企业人力成本。 3. 问题解决能力:实战经验丰富,擅长排查各类复杂技术问题(JVM内存溢出、并发冲突、缓存异常、大模型调用失败等),曾多次解决项目中的核心技术瓶颈,确保项目按时上线、稳定运行;注重复盘总结,能将踩坑经验转化为可复用的方案,避免重复踩坑。 4. 落地导向:摒弃理论化、AI化表述,所有技术能力与经验均基于真实项目落地,注重技术与业务的深度融合,能根据企业实际需求调整技术方案,不追求复杂架构,只追求高效、稳定、可扩展的落地效果。 四、合作期待 本人具备扎实的Java技术功底、丰富的网写场景项目经验、成熟的微服务架构设计能力,以及大模型应用落地能力,能快速适配企业网写相关系统的开发、优化与迭代需求,为企业提供高价值的技术支撑。期待与各类有网写系统开发、升级、智能优化需求的企业达成合作,全力以赴完成项目交付,助力企业提升产品竞争力。真诚希望有合作意向的企业主动联系,洽谈具体合作事宜。

¥1100 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 海淀

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求