# HomeSense Studio · 项目进度文档
日期:2026-05-04 项目根目录:D:\files\HomeSense Stdio 定位:求职展示用个人项目
一、项目身份
- 名称:HomeSense Studio (Plus)
- 核心理念:双面系统 — Chat(家居特化Agent)+ Studio(Dify式工作流控制面)
- 目标演示:"在东芝电视上看B站"端到端闭环
- 参考项目:20+ 个(Dify、OpenClaw、Hermes、HA、Xiaolongxia、Orra等)
- 老项目:D:\files\HomeSense 已闭环,此为 Plus 升级版
二、架构概览
七层架构,全部文档化:
- Surface 层:Chat + Studio 双入口
- Runtime 层:AgentRuntime (L0/L1/L2/L3) + WorkflowRuntime
- Knowledge 层:MemoryKernel + KnowledgeCompiler → Compiled Wiki / Plan
- Governance 层:RuleEngine、Compensation、Approval、SelfEnhancement
- Capability 层:ServiceRegistry、EntityRegistry、StateMachine
- Integration 层:CLIBridge、mi-cli、模型接入商
- Device/Test 层:虚拟设备、米家、红外、小爱、ADB
三、构建与测试状态
| 检查项 | 结果 |
|---|---|
| 后端 TypeScript 构建 | 通过 |
| 前端 TypeScript + Vite 构建 | 通过 |
| 前端测试 (Vitest) | 13文件 / 33测试 全部通过 |
| 后端核心测试 (Node) | 5文件 / 11测试 全部通过 |
| 编码乱码检查 | 通过,无问题 |
| Manifest 投影检查 | 通过 (3个channel) |
| 开发服务器 | 前端 43173 / 后端 3000 |
四、各模块完成度
4.1 前端 (80%)
| 页面 | 状态 |
|---|---|
| ChatView | 完成 — 三栏SSE transcript,带level/L1-L3指示 |
| StudioHomeView | 完成 — Dify风格资产中枢 |
| StudioView | 完成 — VueFlow工作流编辑器 |
| DevicesView | 完成 — HA式统一设备/实体/状态注册表 |
| IntegrationsView | 完成 — 插件/集成中枢,mi-cli/adb-cli/bilibili-cli专属厚面板,外部CLI薄接入onboarding |
| WorkflowOverviewView | 完成 |
| WorkflowRunsView | 完成 |
| AssetDetailView | 完成 |
| SettingsRouteView | 完成 |
| MiControlView | 旧页,已重定向到 /integrations |
前端组件清单 (11个):DeviceCard、DeviceSidebar、EntityControl、LoginPanel、ManifestExplorer、ObservabilityPanel、PlanPreviewCard、SettingsModal、StateIndicator、WorkflowNode、WorkflowRunner
4.2 后端模块 (33个模块)
Chat 链路 (核心)
- intent-router — 意图分流骨架
- context-completer — 设备别名/默认值/历史偏好补全
- candidate-plan — CandidatePlan 正式结构 + 合并/策略
- agent-runtime — AgentRuntime 消息流处理
Workflow 链路
- workflow (run/execute/variable-pool) — 拓扑执行骨架
- Dify对齐差距分析已完成 (docs/workflow-runtime-dify-alignment-zh.md)
记忆系统
- memory-kernel — ACE记忆核 (L2/L3)
- knowledge-compiler — 经验→编译知识
- memory — 记忆实体/属性/三元组
- experience — 经验沉淀
执行器
- cli-bridge — CLI执行器桥接 (内置+第三方)
- executor-gateway — 统一执行网关 (cli/service/workflow/agent)
- manifest-registry — 统一Manifest注册表 (20个manifest)
Agent / A2A
- agent-adapter — Agent适配器注册
- agent-instance — Agent实例管理
- a2a-client — Codex/Claude Code/Xiaolongxia A2A dry-run适配器
治理
- approval — 审批闭环
- compensation — 失败补偿 (retry/fallback/abort)
- cron — 定时任务
- rule-engine — 规则引擎
- self-enhancement — 自我增强
基础设施
- llm-provider — LLM供应商管理 + 模型槽位
- device — 设备路由与发现入库
- entity-registry — 实体注册
- device-state-poller — 设备状态轮询
- devtest — smoke test 端到端序列
- channels — WeChat/QQ/Feishu 渠道骨架
4.3 Skills / CLI 执行器
| CLI | 状态 |
|---|---|
| mi-cli | V1完成 — 扫码登录、设备发现、场景、小爱、红外、MIoT控制 |
| adb-cli | 虚拟适配器 — 连接、包名查询、应用启动 |
| bilibili-cli | Dry-run草稿管理 — 健康检查、上传预备、列表、提交 |
| hami-cli | 已封档,cli-bridge硬阻断 |
五、真实基础设施状态
5.1 模型供应商 (已配置,未实测验证)
| 槽位 | 模型 | API |
|---|---|---|
| LLM推理 | deepseek-v4-flash | pie-xian API |
| 多模态/视觉 | nemotron-nano-12b-v2-vl | pie-xian API (可降级) |
| Embedding | qwen3-embedding-8b | ao.pie-xian API (不可随意切换) |
| Reranker | qwen3-reranker-8b | ao.pie-xian API (不可随意切换) |
5.2 设备基础设施
- Xiaomi / 米家:mi-cli QR登录已实现,未用真实小米账号实测
- ADB:仅虚拟ADB适配器,未连接真实Android TV
- 红外 / 小爱:mi-cli动作已定义,未真实设备冒烟
六、完成度估算
| 领域 | % | 说明 |
|---|---|---|
| 架构文档 | 90% | 14份文档覆盖全部子系统 |
| 前端UI | 80% | 所有页面搭建完成,中英双语,厚/薄集成面板 |
| Chat运行时 | 65% | 意图路由+L1/L2/L3+会话骨架已通,待接真LLM |
| Workflow运行时 | 60% | 编辑器+执行骨架存在,待升级GraphEngine/NodeFactory |
| 记忆系统 | 55% | ACE核+编译器+profiles已定义,待接真embedding |
| CLI集成 | 70% | mi-cli V1完成,adb/bilibili dry-run,cli-bridge架构完整 |
| 真实基础设施 | 35% | 供应商可配,未验证;无真实设备冒烟 |
| 测试覆盖 | 50% | 44个测试通过,有虚拟设备smoke,缺真实集成测试 |
七、近期做过的重要决策
- HA / hami-cli 全部封档,mi-cli 成唯一米家控制核心
- 前端管理面拆分为三层:Studio(资产+工作流) / 设备管理(HA式) / 集成管理(插件+CLI)
- 内置CLI做厚适配器(mi-cli/adb-cli/bilibili-cli),外部CLI走薄接入合同(EXECUTOR.json + 标准JSON)
- Chat L2默认算法优先,reranker做主判别器,LLM只做L3
- Embedding/Reranker不可随意切换(记忆空间稳定性)
八、下一步工作
- Embedding/Rerank API 验证:确认密钥可用,模型能正常响应
- mi-cli 真实登录测试:用实际小米账号走通扫码登录流程
- Chat L2→L3 LLM接入:把 deepseek-v4-flash 接入 AgentRuntime 热路径
- WorkflowRuntime 升级:实现 GraphEngine + NodeFactory (按Dify对齐文档)
- 设备页实体动作面板:从设备详情直接发控制指令