首次使用配置
首次安装并打开“眼语心声”时,App 会展示 8 步引导流程(欢迎界面)。请由家属或护理员协助完成。
如果不开启 AI 联想,在第 3 步选择“暂不开启”后,会跳过使用人信息与声音、位置权限配置,进入第 7 步自定义表达介绍,再进入第 8 步设备放置。
8 步引导流程
第 1 步:用目光表达需求(功能介绍)
- 介绍四象限沟通的核心概念:将常用需求放在清晰的大区域中,通过注视停留或触控逐级选择、组合句子并朗读。
- 支持直接触控屏幕,方便家属演示、协助或在不使用摄像头时操作。
- 阅读后点击右下方「下一步」。
第 2 步:让目光成为操作方式(相机权限)
- 说明视线操作需要前置摄像头与 ARKit 面部跟踪(支持 TrueDepth 的设备)。设备会在本机实时处理面部网格、眼睛位置与注视方向。
- 隐私保护:面部和视线数据仅在当前使用期间存于设备内存,不写入磁盘、不上传服务器,也不提供给第三方。
- 点击「下一步」后,iPadOS 将弹出系统权限提示:
- 点击「允许」启用相机;
- 若拒绝或设备不支持 ARKit 面部跟踪,可直接点击「下一步」,App 将提供触控模式继续使用。
第 3 步:是否开启 AI 联想?(数据共享选择)
- 详细说明 AI 联想的作用:结合当前句子、使用人偏好、常用语和场景摘要生成快捷候选,减少注视与翻页次数。
- 明确披露第三方 AI 服务商(火山方舟 / 北京火山引擎科技有限公司)与发送的数据范围(当前句子、使用人设置、已授权的地点与天气摘要、语音转写摘要等,绝不包含相机画面、面部或注视数据)。
- 两项选择:
- 同意数据共享并开启:点击「下一步」进入第 4 步,继续配置使用人与情境信息。
- 暂不开启:点击「下一步」跳至第 7 步自定义表达介绍(跳过第 4、5、6 步),再进入设备放置。主页第四象限将显示为本机「最近使用」,所有基础沟通功能完好可用。
第 4 步:配置使用人信息(仅开启 AI 时)
- 点击「配置使用人信息」按钮打开表单,填写使用人的基本信息与护理背景:
- 年龄段与性别;
- 疾病或状态标签(如脑卒中、渐冻症、脑外伤等);
- 进食途径、饮水限制、呼吸辅助、体位限制、偏瘫侧及其他护理标签;
- 看护人称呼、常用药品、常吃食物、生活习惯、常驻环境(家庭/病房/养老院)以及快捷词。
- 这些信息保存在设备本地,用于帮助 AI 生成贴合日常生活且符合安全护理要求的建议(例如限制饮水时不推荐饮料)。
- 填写完成后点击保存,再点击「下一步」。
第 5 步:理解身边的声音(麦克风与语音识别权限,仅开启 AI 时)
- 可选功能:经允许后,App 可在设备端将护理员的话转成文字,并识别环境声音。开启 AI 联想时,相关文字摘要用于辅助生成贴合当下的候选词。
- 隐私保护:原始录音不在本地保存,也不上传网络。
- 点击「下一步」后,系统将依次请求麦克风和语音识别权限。可按需选择允许或拒绝;拒绝不影响基础选择与朗读。
第 6 步:结合所在场景表达(位置权限,仅开启 AI 时)
- 可选功能:位置用于帮助 App 判断大致场所,并通过 Apple WeatherKit 获取当地天气,丰富 AI 联想上下文。
- 隐私保护:不记录或上传行动轨迹。
- 点击「下一步」后,系统将请求位置权限。可按需选择允许或拒绝;拒绝不影响基础沟通。
第 7 步:把表达改成更适合他的内容
- 分类表达与常用表达的分类、文字和图标都可以修改,与是否开启 AI 无关。
- 分类表达进入后分为「分类 → 分组 → 语句」3 层,每层最多 4 项,共可容纳 64 条自定义语句。
- 常用表达进入后分为「分类 → 语句」2 层,每层最多 4 项,共可容纳 16 条自定义语句。
- 通过“找儿子”改成“找小明”的示例,了解如何放入家里熟悉的称呼与照护请求。
- 完成引导后,可随时到「设置 → 表达内容」编辑。删除后其他内容的位置不会移动,也可以恢复默认。
- 阅读后点击「下一步」。详细操作见 表达内容。
第 8 步:固定设备,保持视线稳定(设备放置辅助)
- 指导将 iPad 横向固定在稳定支架上,正对使用者,避免反光和晃动。
- 若在第 2 步已允许相机权限,页面会显示「前往设备放置辅助」按钮:
- 点击可打开全屏实时画面;
- 检查额头、下巴和脸部两侧是否完整显示在虚线框内;
- 确认脸部居中,并保持约 40~70 厘米 的最佳距离。
- 设备放置为可选步骤,也可稍后在设置中随时使用。
- 确认就绪后,点击右下方「完成设置」。
引导完成后的主流程
点击「完成设置」后,引导画面关闭,进入应用主流程:
1. 视线校准(相机已授权)
如果设备支持并已允许相机,系统会自动启动面部检测:
- 寻找面部:屏幕全屏显示压暗的实时预览,提示「正在寻找面部」;
- 准备校准:检测到面部后,提示即将开始注视校准;
- 6 点采样校准:屏幕依次显示 6 个校准点(中心 → 左上 → 右上 → 右下 → 左下 → 中心)。每个点先预留约 1 秒寻找时间,再采样约 1.5 秒。校准期间如光线不足,进度会暂停在当前点;
- 校准完成后,直接进入四象限沟通主界面,即可开始眼神注视操作。
2. 触控模式(未授权相机或设备不支持)
若设备不支持面部跟踪或未允许相机,完成引导后直接进入四象限主界面。使用者或家属通过直接点击屏幕大区域进行沟通,无需校准。
权限清单与说明
| 权限 | 引导步骤 | 用途 | 拒绝或不授权时的影响 |
|---|---|---|---|
| 摄像头 | 第 2 步 | 注视追踪、眨眼识别、6 点校准与设备放置 | 仍可使用触屏模式正常沟通 |
| 麦克风与语音识别 | 第 5 步 | 可选的护理员语音转写与环境声识别(设备端) | 不影响象限选择、拼音与语音朗读 |
| 位置 | 第 6 步 | 反向地理编码与 WeatherKit 天气,用于 AI 建议 | 不影响基础沟通功能 |
重新配置与重播教程
- 重新观看引导:进入「设置 → 教程与辅助」,点击「观看使用教程」,可随时重播 8 步引导流程(重播模式下可点击右上角「关闭」退出)。
- 重新校准视线:主页左上角点击「校准」,或在「设置 → 高级设置」中点击「立即重新校准视线」。
- 修改信息与权限:随时可在「设置 → 使用人信息」「设置 → 基础设置」与「设置 → 设备状态」中修改。