What is Peekaboo?
您的AI智能体在代码世界中纵横驰骋,然而您的工作界面却是直观的可视化桌面。Peekaboo应运而生,巧妙弥合了这一关键鸿沟。它提供了一个高性能服务器,赋予您的AI助手在macOS上如同人类一般的“慧眼”。通过它,AI助手能够无侵扰地捕获屏幕内容并进行深度分析,从而解锁了一类全新的、功能强大且具备上下文感知能力的自动化和调试应用。
主要功能
⚡️ 无感高速捕获 Peekaboo利用Apple原生的ScreenCaptureKit框架,能瞬息间捕获您的整个屏幕、指定应用程序或独立窗口。整个捕获过程在后台默默进行,不干扰您的当前活动窗口,也不中断您的工作流,确保自动化任务运行顺畅、稳定可靠。
🧠 集成视觉问答(VQA) 不再只是捕获像素,更要深入挖掘洞察力。在发送捕获请求的同时,您可以附带一个问题,Peekaboo将运用具备视觉能力的AI模型分析图像,并返回结构化的答案。这能将简单的屏幕截图转化为AI智能体的可操作数据,赋予其更强的决策能力。
🎯 智能灵活目标锁定 您可以精准锁定所需捕获的内容,无论是当前最前端的窗口,还是整个应用程序的所有窗口,皆可一手掌握。Peekaboo的模糊匹配能力,即使您只提供部分名称,也能可靠地找到正确的应用程序或窗口,让您的脚本更加健壮,大幅减少出错几率。
🔒 隐私至上,本地AI赋能 您的数据隐私是我们的首要考量。Peekaboo赋予您选择权:既可调用GPT-4o和Claude等强大的云端模型,也能选择在本地机器上运行所有任务。通过全面支持Ollama,所有视觉分析均可在本地完成,确保您的屏幕数据绝不离开您的Mac,隐私安全无虞。
Peekaboo如何洞察并解决您的痛点:
Peekaboo专为实用、真实的开发者场景量身打造。以下是您可以如何将其融入日常工作流:
自动化UI测试与验证: 您的智能体可以在应用程序中执行操作,捕获结果后立即询问Peekaboo:“现在是否显示了包含‘Update Successful’文本的确认消息?”这提供了一种简洁而强大的方式来验证用户界面状态。
智能错误调试: 当脚本运行失败时,‘盲’智能体往往束手无策。借助Peekaboo,您的智能体能在失败发生的第一时间自动捕获屏幕,并提问:“红色警报框内的错误消息全文是什么?”从而获取进行自我修正或准确报告问题所需的宝贵上下文信息。
从任意应用中智能提取内容: 是否需要从没有API的传统应用程序中轻松提取数据?您的智能体可以捕获该应用的窗口,并提出诸如“右上角标记为‘Account Balance’的值是什么?”的特定问题,直接从用户界面中高效提取结构化信息。
独特优势
原生macOS性能与卓越可靠性 Peekaboo并非市面上那些笨重、体验欠佳的跨平台工具。它融合了用于直接访问macOS API的原生Swift CLI和面向现代开发的TypeScript服务器。这种混合架构确保了极致的性能、出色的稳定性和与操作系统的无缝集成。
专为现代AI开发者工作流量身定制 无论是Cursor IDE中的一键安装,还是简单的
npx命令行操作,抑或是通过环境变量进行配置,Peekaboo都旨在轻松融入您现有的开发工具链。其简洁的JSON API和强大的错误处理机制,使其成为任何严肃macOS AI智能体项目中不可或缺的可靠组件。
总结:
Peekaboo为您的AI智能体补齐了关键的视觉感知能力,使其能够像人类一样,自然地感知并与macOS图形用户界面(GUI)进行交互。这使得它们不再局限于简单的命令行任务,而是进化为真正能干的助手,能够凭借视觉上下文,高效地执行测试、调试和自动化工作流程。




