news 2026/6/10 0:31:04

运行本地大模型:集显笔记本也能流畅运行

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
运行本地大模型:集显笔记本也能流畅运行

Chrome 浏览器支持本地部署大模型,无需高端独显,普通笔记本集成显卡即可流畅完成推理,AI 内容生成响应快速。所有内置 AI API 均可通过localhost调用,核心配置与使用流程如下:

文章首发在博客园,欢迎大家前往阅读完整内容:https://www.cnblogs.com/forever8/p/19334388

1. 开启 Chrome 本地模型功能

在 Chrome 地址栏依次打开以下地址,将对应标志设置为Enabled,重启浏览器生效:

  • chrome://flags/#optimization-guide-on-device-model
  • chrome://flags/#prompt-api-for-gemini-nano-multimodal-input

2. 验证模型就绪状态

通过availability()方法确认模型是否可使用:

const availability = await LanguageModel.availability();

3. 下载并实例化本地模型

需触发用户激活,调用create()函数即可下载约 3G 的本地模型,实时显示下载进度:

const session = await LanguageModel.create({ monitor(m) { m.addEventListener('downloadprogress', (e) => { console.log(`Downloaded ${e.loaded * 100}%`); }); }, });

可通过以下代码查看模型参数:

await LanguageModel.params();

4. 创建会话并生成 AI 内容

Prompt API 就绪后,创建会话并发起提问,推理过程充分利用本地集成显卡,生成响应快速:

// 创建会话 const session = await LanguageModel.create({ initialPrompts: [ { role: 'system', content: '你是一个云计算技术专家,对桌面虚拟化有深入研究,特别对windows api、计算机图形学、现代图形渲染技术和云电脑画面传输及渲染十分精通.' }, { role: 'user', content: '你了解天翼云和天翼云电脑吗?' }, { role: 'assistant', content: '天翼云是中国电信旗下云计算服务平台,依托优质云网资源,提供弹性计算、存储、安全等核心能力,适配政企及个人数字化需求,支持自主可控与合规适配,是数字化转型的可靠底座。天翼云电脑是基于天翼云技术的虚拟桌面服务,通过自研 CLINK 协议实现低延迟访问。无需高性能本地硬件,多终端一键接入,支持资源弹性配置与集中管控,兼具数据安全防护与低成本优势,满足办公、创作、学习等多元场景。' } ], }); // 生成对话内容 await session.prompt("请介绍一下天翼云电脑的优点");

运行效果如图:

从硬件使用也可以看出,推理过程CPU使用没有明显提升,GPU则在全力工作:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/1 13:30:16

23、无线信号与防火墙安全技术解析

无线信号与防火墙安全技术解析 1. 无线信号强度与转换 在无线技术领域,确定无线接入点或无线网卡的信号强度是一项重要任务。分贝(dBm)到瓦特(Watts)的转换对于识别信号强度非常有帮助。通过参考特定的转换表,我们可以将获取的分贝值转换为功率等效值,进而分析信号的估…

作者头像 李华
网站建设 2026/6/9 23:45:43

Dify与Spring AI如何无缝对接?揭秘高效集成的5大核心步骤

第一章:Dify与Spring AI集成概述 Dify 作为一款开源的低代码 AI 应用开发平台,提供了可视化编排、模型管理与 API 服务发布能力。Spring AI 则是基于 Spring 生态的 AI 开发框架,旨在简化 Java 应用中对大模型的调用与集成。将 Dify 的灵活性…

作者头像 李华
网站建设 2026/6/4 12:20:49

SCNet使用Vllm跑qwen 32b模型,但是在Auto-coder中调用发现效果不行

最近g4f不好用了,于是在SCNet搭建vllm跑coder模型,以达到让Auto-coder继续发光发热的效果。 这次先用qwen32b模型试试效果。 先上结论,这个32b模型不行。感觉不是很聪明的样子。 启动vLLM服务 先创建SCNet AI服务器 登录SCNet官网&#xf…

作者头像 李华
网站建设 2026/6/9 10:24:40

PCSX2模拟器终极性能优化指南:从新手到高手的完整配置方案

PCSX2模拟器终极性能优化指南:从新手到高手的完整配置方案 【免费下载链接】pcsx2 PCSX2 - The Playstation 2 Emulator 项目地址: https://gitcode.com/GitHub_Trending/pc/pcsx2 还在为PS2模拟器运行卡顿、画面撕裂而烦恼吗?想要在PC上完美重温…

作者头像 李华
网站建设 2026/6/7 11:14:01

1小时验证创意:用n8n+快马搭建MVP自动化系统

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 构建一个社交媒体监控MVP原型:1. 定时抓取Twitter关键词 2. 情感分析(可调用现成API) 3. 负面评价自动存入Notion数据库 4. 紧急情况触发短信报警。要求:提供…

作者头像 李华