本地推理,
覆盖多种设备。

查看 OmniInfer 的模型、平台与真实性能。

OmniInferOne inference layer
WindowsCUDA · HIP · WSL2
LinuxCUDA · ROCm · vLLM
AndroidCPU · GPU · HTP
macOSMetal · MLX
iOSllama.cpp · MLX
模型族
目录模型
目标平台
真实测量记录

Model families

从模型族开始探索

先选择模型,再查看它在不同平台、后端与量化格式上的实际覆盖,避免在复杂矩阵里迷路。

查看全部模型族 →
正在加载已验证目录…

Platforms

一套接口,覆盖多类硬件

平台页把操作系统、具体设备与后端分开呈现,并明确哪些只是目录支持、哪些已经真机验证。

查看平台矩阵 →

Evidence first

每个结论都标明证据等级

目录支持 代码与模型目录声明

说明 OmniInfer 已配置相应平台、后端、格式或量化,但不等同于每台设备都完成性能测试。

已验证 真实设备运行通过

已经在标注设备上完成加载或推理验证;没有统一测试口径时仍会显示“暂无实测”。

真实性能 带条件与来源的测量

只展示有设备、模型、量化、PP/TG、后端、日期和方法记录的数据,缺少字段保持为空。