news 2026/4/15 12:36:10

本地部署爬虫管理平台 Crawlab 并实现外部访问

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
本地部署爬虫管理平台 Crawlab 并实现外部访问

Crawlab 是一款分布式爬虫管理平台,支持运行任何语言,具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步,本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行,若未安装 docker 可参考文章安装 Docker 详细说明(Linux)

1,创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2,进入 Crawlab 目录。

cd /volume1/docker/crawlab

4,创建 docker-compose.yml 文件。

vim docker-compose.yml
version: '3.3' services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" volumes: - "./master:/root/.crawlab" ports: - "8235:8080" depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker01:/root/.crawlab" depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker02:/root/.crawlab" depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db

5,启动容器。

docker-compose up -d

6,浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步,外网访问 Crawlab

当前未提供网页管理,在任意一台 Windows 机器安装路由侠 Windows 版,用作跨机器管理。点此下载

1,下载安装完成后,打开路由侠界面,进入【设备中心】。点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

2,直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar

3,然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4,当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

6,回到主界面,点击【内网映射】。

7,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

8,选择【原生端口】。

9,在内网端口里填写端口 8235 后点击【创建】按钮,如下图。

10,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

11,在外网电脑上,打开浏览器,在地址栏输入从路由侠生成的外网地址,就可以看到内网部署的 Crawlab登录界面了。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/2 8:55:10

雪地停车与起步:精准操控的力学实践

雪地停车技巧选择平整开阔区域停车,避免坡道、弯道或低洼处。方向盘需完全回正,在坡道停车时可将前轮转向路缘石等安全侧作为物理阻挡。极低温环境下建议避免使用机械手刹,改为挂入前进挡/倒挡(自动挡P挡)利用发动机阻…

作者头像 李华
网站建设 2026/4/13 16:16:14

SSH隧道转发应用:Miniconda-Python3.10本地端口映射到云服务器

SSH隧道转发应用:Miniconda-Python3.10本地端口映射到云服务器 在人工智能和数据科学领域,越来越多的开发者面临一个共同挑战:如何用一台普通的笔记本电脑,高效地运行需要强大GPU支持的深度学习模型?现实是&#xff0c…

作者头像 李华
网站建设 2026/4/15 9:12:03

任务规划与执行:AI Agent的行动决策机制

任务规划与执行:AI Agent的行动决策机制 关键词:AI Agent、任务规划、行动决策机制、智能体、算法原理、应用场景 摘要:本文围绕AI Agent的行动决策机制展开深入探讨,详细阐述了任务规划与执行的相关核心概念、算法原理、数学模型等内容。通过实际案例展示了其在不同场景下…

作者头像 李华
网站建设 2026/4/11 20:15:54

Mobile GUI Agent相关学习资料整理

Mobile GUI Agent 通用 GUI 智能体基座 MAI-UI 大佬说 唐杰THU 实践派 大润发杀鱼工:RL的一整年 天晴:用 RL 做 LLM 后训练:半年踩过的坑与心得 周星星:Agent 元年复盘 无大算力时,LLM 还有哪些值得做的研究 …

作者头像 李华
网站建设 2026/4/11 21:44:47

GitHub Wiki文档维护:Miniconda-Python3.10生成自动化API文档

GitHub Wiki文档维护:Miniconda-Python3.10生成自动化API文档 在开源项目和团队协作日益频繁的今天,一个常被忽视却极其关键的问题浮出水面:代码更新了,但文档还停留在几个月前。这种“文档滞后”现象不仅让新成员上手困难&#x…

作者头像 李华
网站建设 2026/4/9 0:25:31

Docker build缓存利用:Miniconda-Python3.10加速镜像重建过程

Docker build缓存利用:Miniconda-Python3.10加速镜像重建过程 在数据科学与AI开发的日常中,你是否经历过这样的场景?刚刚修改了一行代码,却要重新跑一遍漫长的依赖安装流程——conda慢悠悠地下载PyTorch、numpy、pandas……哪怕这…

作者头像 李华