Gen300 是什么ASUS UGen300 外观上和移动硬盘差不多USB-C 接口接上去系统就多了一个 Hailo-10H 的设备。Hailo 是以色列的芯片公司做边缘 AI 推理起家。继 Hailo-8 之后推出了第二代的 Hailo-10 芯片算力是 40 TOPS功耗极低满载不超过 5W。1和 GPU 跑 Whisper 不同Hailo 上跑的是预编译的 .hef 文件模型已经被量化、图优化、编译进去了运行时直接推送数据进去不需要框架做任何动态计算可以参考之前博客的介绍“将自定义模型编译为 Hailo NPU 的 .hef 模型”。这就决定了它的延迟和功耗都非常稳定但代价是得用官方提供的模型或者自己走编译流程。Hailo 官方 hailo_model_zoo_genai 仓库里已经准备好了 Whisper-Tiny、Whisper-Base、Whisper-Small 三个版本的 .hef 文件直接下载就能用这省了很多麻烦。环境配置这里使用的是安装了 Raspberry Pi OS 的 Raspberry Pi 5 实现的。安装 HailoRT首先要安装 HailoRT这是 Hailo 的运行时库包含设备驱动、Python 绑定、命令行工具。可以去 Hailo Developer Zone 注册账号下载也可以在 ASUS 的官网下载。2建议下载 UGen Utility for UGen300 USB AI Accelerator里面有一个一键安装脚本避免单独安装时出现漏装。解压后有一 ugen-utility-install.sh 脚本执行即可安装。3cd ~/ugen-utility_2.4.0-9_arm64_usbbash ugen-utility-install.sh装完用这个命令验证设备是否识别hailortcli fw-control identify例如piraspberrypi:~$ hailortcli fw-control identifyExecuting on device: usb/002:002Identifying boardControl Protocol Version: 2Firmware Version: 5.3.2 (release,app)Logger Version: 0Device Architecture: HAILO10HPython 环境如果你使用系统自带的 Python则需要的包已经随 HailoRT 一起装好。如果你使用的是虚拟环境则还需要在虚拟环境内安装 hailort 包。cd ~/ugen-utility_2.4.0-9_arm64_usbpip install hailort-5.3.0-cp312-cp312-linux_aarch64.whl音频支持如果你想实现麦克风实时采集还需要安装音频相关的工具。工具很多任选一种即可。sudo apt install alsa-utils pulseaudio-utils pavucontrol语音转文字模型下载所有 Whisper 模型均以 .hef 格式预编译音频采样率固定为 16 kHz每次处理窗口为 10 秒使用混合精度量化。模型 参数量 文件大小 WER 最低 HailoRTWhisper-Tiny 39M 78 MB 48.14% ≥ 5.2.0Whisper-Base 74M 155 MB 25.32% ≥ 5.2.0Whisper-Small 244M 388 MB 10.61% ≥ 5.2.0模型 .hef 文件下载地址见官方 MODELS 页面。将下载的 .hef 文件放入 models/ 目录。例如models/└── Whisper-Tiny.hef代码实现核心流程很简单麦克风 → PCM 数据 → Hailo 推理 → 文字。下面新建 minimal_demo.py 文件。引用相关包import subprocessimport numpy as npfrom hailo_platform import VDevicefrom hailo_platform.genai import Speech2Text, Speech2TextTask录音用 parec 直接输出 float32 的 PCM 流16kHz 单声道录 3 秒。–formatfloat32le 让 parec 直接输出 Hailo 需要的格式省去中间转换。proc subprocess.run([“timeout”, str(RECORD_SEC),“parec”, “–channels1”, “–rate16000”, “–formatfloat32le”, “–raw”],stdoutsubprocess.PIPE,stderrsubprocess.DEVNULL,)2. 数据处理parec 输出的字节流直接解析成 numpy 数组audio np.frombuffer(proc.stdout, dtype“f4”).copy()3. 加载设备和模型VDevice 代表 UGen300 这个硬件Speech2Text 是 Hailo 封装好的推理接口加载模型大概需要几秒钟首次编译缓存。vdevice VDevice()s2t Speech2Text(vdevice, “./models/Whisper-Tiny.hef”)4. 推理text s2t.generate_all_text(audio,taskSpeech2TextTask.TRANSCRIBE,language“zh”, # 指定中文也可以 None 自动检测)print(f识别结果{text})generate_all_text 返回整段文字如果你需要知道每句话的时间位置比如做字幕换成 generate_all_segmentssegments s2t.generate_all_segments(audio,taskSpeech2TextTask.TRANSCRIBE,language“zh”,)for seg in segments:print(f[{seg.start:.2f}s → {seg.end:.2f}s] {seg.text})
