Skip to content

首次使用配置 ​

首次安装并打开“眼语心声”时,App 会展示 8 步引导流程(欢迎界面)。请由家属或护理员协助完成。

如果不开启 AI 联想,在第 3 步选择“暂不开启”后,会跳过使用人信息与声音、位置权限配置,进入第 7 步自定义表达介绍,再进入第 8 步设备放置。


8 步引导流程 ​

第 1 步:用目光表达需求(功能介绍) ​

  • 介绍四象限沟通的核心概念:将常用需求放在清晰的大区域中,通过注视停留或触控逐级选择、组合句子并朗读。
  • 支持直接触控屏幕,方便家属演示、协助或在不使用摄像头时操作。
  • 阅读后点击右下方「下一步」。

第 2 步:让目光成为操作方式(相机权限) ​

  • 说明视线操作需要前置摄像头与 ARKit 面部跟踪(支持 TrueDepth 的设备)。设备会在本机实时处理面部网格、眼睛位置与注视方向。
  • 隐私保护:面部和视线数据仅在当前使用期间存于设备内存,不写入磁盘、不上传服务器,也不提供给第三方。
  • 点击「下一步」后,iPadOS 将弹出系统权限提示:
    • 点击「允许」启用相机;
    • 若拒绝或设备不支持 ARKit 面部跟踪,可直接点击「下一步」,App 将提供触控模式继续使用。

第 3 步:是否开启 AI 联想?(数据共享选择) ​

  • 详细说明 AI 联想的作用:结合当前句子、使用人偏好、常用语和场景摘要生成快捷候选,减少注视与翻页次数。
  • 明确披露第三方 AI 服务商(火山方舟 / 北京火山引擎科技有限公司)与发送的数据范围(当前句子、使用人设置、已授权的地点与天气摘要、语音转写摘要等,绝不包含相机画面、面部或注视数据)。
  • 两项选择:
    • 同意数据共享并开启:点击「下一步」进入第 4 步,继续配置使用人与情境信息。
    • 暂不开启:点击「下一步」跳至第 7 步自定义表达介绍(跳过第 4、5、6 步),再进入设备放置。主页第四象限将显示为本机「最近使用」,所有基础沟通功能完好可用。

第 4 步:配置使用人信息(仅开启 AI 时) ​

  • 点击「配置使用人信息」按钮打开表单,填写使用人的基本信息与护理背景:
    • 年龄段与性别;
    • 疾病或状态标签(如脑卒中、渐冻症、脑外伤等);
    • 进食途径、饮水限制、呼吸辅助、体位限制、偏瘫侧及其他护理标签;
    • 看护人称呼、常用药品、常吃食物、生活习惯、常驻环境(家庭/病房/养老院)以及快捷词。
  • 这些信息保存在设备本地,用于帮助 AI 生成贴合日常生活且符合安全护理要求的建议(例如限制饮水时不推荐饮料)。
  • 填写完成后点击保存,再点击「下一步」。

第 5 步:理解身边的声音(麦克风与语音识别权限,仅开启 AI 时) ​

  • 可选功能:经允许后,App 可在设备端将护理员的话转成文字,并识别环境声音。开启 AI 联想时,相关文字摘要用于辅助生成贴合当下的候选词。
  • 隐私保护:原始录音不在本地保存,也不上传网络。
  • 点击「下一步」后,系统将依次请求麦克风和语音识别权限。可按需选择允许或拒绝;拒绝不影响基础选择与朗读。

第 6 步:结合所在场景表达(位置权限,仅开启 AI 时) ​

  • 可选功能:位置用于帮助 App 判断大致场所,并通过 Apple WeatherKit 获取当地天气,丰富 AI 联想上下文。
  • 隐私保护:不记录或上传行动轨迹。
  • 点击「下一步」后,系统将请求位置权限。可按需选择允许或拒绝;拒绝不影响基础沟通。

第 7 步:把表达改成更适合他的内容 ​

  • 分类表达与常用表达的分类、文字和图标都可以修改,与是否开启 AI 无关。
  • 分类表达进入后分为「分类 → 分组 → 语句」3 层,每层最多 4 项,共可容纳 64 条自定义语句。
  • 常用表达进入后分为「分类 → 语句」2 层,每层最多 4 项,共可容纳 16 条自定义语句。
  • 通过“找儿子”改成“找小明”的示例,了解如何放入家里熟悉的称呼与照护请求。
  • 完成引导后,可随时到「设置 → 表达内容」编辑。删除后其他内容的位置不会移动,也可以恢复默认。
  • 阅读后点击「下一步」。详细操作见 表达内容。

第 8 步:固定设备,保持视线稳定(设备放置辅助) ​

  • 指导将 iPad 横向固定在稳定支架上,正对使用者,避免反光和晃动。
  • 若在第 2 步已允许相机权限,页面会显示「前往设备放置辅助」按钮:
    • 点击可打开全屏实时画面;
    • 检查额头、下巴和脸部两侧是否完整显示在虚线框内;
    • 确认脸部居中,并保持约 40~70 厘米 的最佳距离。
    • 设备放置为可选步骤,也可稍后在设置中随时使用。
  • 确认就绪后,点击右下方「完成设置」。

引导完成后的主流程 ​

点击「完成设置」后,引导画面关闭,进入应用主流程:

1. 视线校准(相机已授权) ​

如果设备支持并已允许相机,系统会自动启动面部检测:

  1. 寻找面部:屏幕全屏显示压暗的实时预览,提示「正在寻找面部」;
  2. 准备校准:检测到面部后,提示即将开始注视校准;
  3. 6 点采样校准:屏幕依次显示 6 个校准点(中心 → 左上 → 右上 → 右下 → 左下 → 中心)。每个点先预留约 1 秒寻找时间,再采样约 1.5 秒。校准期间如光线不足,进度会暂停在当前点;
  4. 校准完成后,直接进入四象限沟通主界面,即可开始眼神注视操作。

2. 触控模式(未授权相机或设备不支持) ​

若设备不支持面部跟踪或未允许相机,完成引导后直接进入四象限主界面。使用者或家属通过直接点击屏幕大区域进行沟通,无需校准。


权限清单与说明 ​

权限引导步骤用途拒绝或不授权时的影响
摄像头第 2 步注视追踪、眨眼识别、6 点校准与设备放置仍可使用触屏模式正常沟通
麦克风与语音识别第 5 步可选的护理员语音转写与环境声识别(设备端)不影响象限选择、拼音与语音朗读
位置第 6 步反向地理编码与 WeatherKit 天气,用于 AI 建议不影响基础沟通功能

重新配置与重播教程 ​

  • 重新观看引导:进入「设置 → 教程与辅助」,点击「观看使用教程」,可随时重播 8 步引导流程(重播模式下可点击右上角「关闭」退出)。
  • 重新校准视线:主页左上角点击「校准」,或在「设置 → 高级设置」中点击「立即重新校准视线」。
  • 修改信息与权限:随时可在「设置 → 使用人信息」「设置 → 基础设置」与「设置 → 设备状态」中修改。

完成后可参考 界面总览 和 四象限选择操作。