DevNull 知识库

Appearance

第 03 篇｜给 AI 装上器官：破解多模态、实时性与短期记忆硬伤 ​

导读：
很多人以为“把截图往输入框一拖”、“打开网页联网开关”就是 AI 的全貌。但只要你开始做严肃项目、调用 API、或者使用一些专门的代码/开源模型时，你马上就会撞墙：
很多模型原生根本就是个“瞎子”（纯文本模型），更是个“断网者”（离线大脑）。
这一篇，我们不依赖商业平台的封装施舍，教你用工程师的架构视角：如何用脚本、MCP、专用外挂小模型（视觉外挂）和专用搜索接口（Tavily 等），亲手给纯文本 AI 拼装出一套“机械外骨骼”。

一、 剥离幻觉：认清大模型的“毛坯房”本质 ​

商业公司（OpenAI、Anthropic）打包好的网页版，就像一套精装样板房：他们已经在后台偷偷帮模型接好了眼睛、插好了网线。

但当你要独立做项目、搭建自己的自动化工作流、或者使用某些逻辑能力极强但偏科严重的模型（例如一些主打逻辑推理但无视觉能力的纯文本模型、性价比极高的国产模型或本地开源模型）时，你拿到的其实是一间“毛坯房”：

  • 它原生没有视觉（纯 LLM）：它只认得字符，你给它一个图片文件路径，它只觉得那是一串乱码文本；
  • 它原生无法联网：它的神经元被定格在训练完成的那一刻，物理上没有通往公网的网卡驱动；
  • 它的记忆只有闪存（RAM）：窗口一关，刚才的一切烟消云散。

AI-Native 的高段位思维，不是去抱怨模型为什么偏科，而是把它当成“CPU 计算中枢”，用外围设备给它打补丁。

未来这些缺陷大概率会被更强的“原生全模态、全感知模型”彻底吃掉；但在当下以及很长一段时间内，学会用工具链给模型“外挂器官”，是你手里最管用、成本最低的保底手段。

image-20261028143728113

二、 没眼睛怎么看？——外挂专职“侦察兵”小模型 ​

当你用的核心大模型是个“纯文本瞎子”，而你又必须让它看控制台红字报错、或者复刻 UI 设计图时，该怎么办？

答案是：不要逼张飞去绣花，给它配一个专职看图的“侦察兵小模型”。

1. 架构逻辑：转译而非硬塞 ​

在现代自动化工作流（或通过 MCP 协议）中，流程是解耦的：

  1. 捕获图像：脚本或终端自动截取你的屏幕、报错区域或设计图；
  2. 前置小模型（视觉转译）：系统把图片先丢给一个轻量、便宜、专门做视觉识别的模型（例如轻量级 Vision 模型或 OCR 引擎）；
  3. 生成结构化文本描述：侦察兵把图片翻译成文字报告——“图中包含一个卡片，背景色 #1E293B，顶部有报错红字提示：TypeError: undefined is not a function at Line 42”；
  4. 主模型接盘：你的主力纯文本大脑拿到这份文字报告，瞬间“看懂”了现场，开始执行核心推理和代码修复。

这里有个核心认知：“看”不等于必须主脑亲自看。让专职视觉的小模型当眼睛，主脑只负责动脑，既便宜又高效。

三、 没网线怎么查？——外挂专为 AI 定制的搜索雷达（Tavily 等） ​

很多初学者以为，“让 AI 联网”就是让它去爬百度或者 Google 的搜索页面。
大错特错！普通搜索引擎是给人看的，里面充斥着大量的广告、弹窗、无意义的 HTML 标签，大模型直接抓取这些网页，上下文瞬间就会被垃圾信息塞爆。

1. 专用工具的降维打击：以 Tavily / Exa 为例 ​

在真正的 AI 工作流中，我们给模型插上的网线，通常是专为大模型设计的搜索引擎（如 Tavily、Exa），或者是写好的自动化检索脚本。

它们和普通搜索有什么区别？

普通搜索给 AI 的东西（垃圾场）：
HTML 源码 + 广告弹窗 + 导航栏 + 版权声明 + 零散的网页正文（几万 Token 瞬间没了）

Tavily 类工具给 AI 的东西（精加工刺身）：
自动过滤广告、提取核心正文、以 Markdown/JSON 纯文本形式返回的最相关的 3 段权威事实

2. 工作流实战：把“死记硬背”变成“雷达巡视” ​

  • 当你提问：“某前端框架最新 2.0 版本的路由怎么配置？”
  • 离线的主脑不会硬编，而是触发一个外部调用动作（Tool / MCP Call）；
  • 它命令 Tavily：“去查该框架 2.0 官方文档关于路由的变更摘要”；
  • Tavily 转眼就把干货文本带回桌面；
  • 主脑基于这份新鲜出炉的情报写出靠谱的新代码，把幻觉压到最低。

一句话心法：不要指望大模型肚子里存储全世界，把大模型当处理器，把 Tavily 当它的网络雷达。

四、 记不住怎么持久化？——本地 Markdown 外挂记忆硬盘 ​

前两项（眼睛和网线）解决了输入源的问题，第三项要解决的是状态保留的问题。

再次强调：绝对不要相信任何 AI 聊天界面的“历史记录”。
不管是哪怕几十万上下文的模型，对话一旦拉长，都会面临两个必然死亡：

  1. 注意力被垃圾上下文污染（思维走偏，一个错误反复犯）；
  2. 会话崩溃或被误删（所有进度毁于一旦）。

在系统级开发中，我们采用的是最朴素但最无敌的方案：文件即记忆（File as Memory）。

实操标准：两张永不丢失的本地软盘 ​

在你的项目文件夹根目录，丢入这两个文件，这就是你给 AI 配备的“外挂持久化固态硬盘”：

📁 你的项目根目录/
├── 📄 RULES.md       ◄── 【规矩硬盘】：写死模型必须遵守的“军规”
└── 📄 PROGRESS.md    ◄── 【进度硬盘】：写死项目做到哪了、卡在哪了

  • RULES.md（行为铁律）：
    如果你的模型总是喜欢用你不习惯的语言、或者总写冗余代码，不要每次聊天都训斥它。把规矩刻在石头上：

    1. 所有注释与回复必须使用简体中文；
    2. 样式必须强制使用 Tailwind CSS；
    3. 遇到不确定的第三方 API，必须调用联网工具查询，严禁凭空伪造。

  • PROGRESS.md（状态交接棒）：
    当下班或旧会话被报错日志彻底污染时，命令 AI 执行最后一步：

    “总结当前系统实现的功能、已知但未修的 Bug、以及明天第一步要干的事，覆盖写入 PROGRESS.md。”

这样做的威力在于：解耦。
明天你哪怕换一个全新的会话、甚至从 Claude 换成 GPT、换成国产开源模型，你只需要把这两张“软盘”塞给它：“读一下，继续。”
新模型瞬间满血复活，接盘继续干活。

五、 认知升维：当下用外挂，未来看演进 ​

作为一名清醒的 AI 玩家，你必须拥有这种“阶段性技术审美”：

  1. 认清当下局限：
    在今天，很多最聪明的模型依然没有视觉，很多本地工具依然闭目塞听。利用 脚本调度、MCP 工具协议、专用视觉转译、以及 Tavily 这类清洗过的搜索引擎，是你突破模型物理限制最坚固的“护城河”。
  2. 看透未来趋势：
    这些补丁手段（外挂脚本、手动中转），未来很大一部分必然会被越来越强的原生全模态架构（原生即具备视觉、语音、实时检索）所内化。
  3. 不变的底层内核：
    即使未来外挂的形式变了，“解耦核心推理与外围工具”、“永远保持核心上下文干净”、“用外部持久化介质管理项目进度” 这套系统级思考逻辑，永远不会过时。

📝 结语与本篇自查 ​

  1. 当你使用一个纯文本逻辑极强、但没有视觉功能的模型时，如何让它帮你分析网页布局 Bug？
    (用专用视觉小模型/截图脚本先将图片转译成结构化的布局与报错文字描述，再喂给主脑。)
  2. 为什么让 AI 联网时，用 Tavily 这类专用 API 比直接爬取普通网页要好得多？
    (因为普通网页充斥广告和冗余代码会挤爆上下文，专用搜索工具只返回高度浓缩、结构化的干净事实。)
  3. 当未来某一天大模型原生自带了极强视觉和超强联网时，我们今天学的外挂记忆（本地 Markdown）会过时吗？为什么？
    (不会。因为无论是多强的模型，多轮任务都需要一个独立的“客观事实基线”来防止思维发散和跨会话协作。)

下一篇预告：
我们给 AI 装上了眼睛、网线和硬盘，它现在拥有了极其可怕的执行力。但请记住：一个有行动力但会犯错的助手，比一个废物更危险。 如果它手滑敲错了一行命令删除了你的核心文件怎么办？它写出的代码到底能不能直接跑？
在下一篇《防灾避坑法则：三道交叉验证与让 AI 不闯祸的底线思维》中，我们将为你筑起三道坚不可摧的“安全防波堤”。