人工智能与算法相关文章
8 GB 设备能跑 2 GB 大模型吗?把内存账算到并发那一刻
8 GB 内存减去 2 GB 模型文件,不等于还能用 6 GB。逐项计算权重和 KV Cache,留出整机测量表,并按失败阶段排查并发峰值。
阅读全文
RK3588 部署 RKLLM:先锁版本,再转换模型和验证板端推理
基于 Rockchip RKLLM v1.3.1,说明模型转换、量化数据、板端 Runtime 与驱动的版本锁定和分层验收。公开文档路径,不含目标板实测性能。
阅读全文
边缘大模型性能怎么测:把首字等待、生成速度与持续功耗分开验收
边缘大模型验收不能只看 tokens/s。分开测 TTFT、TPOT、内存峰值、热稳态与整机功率,并固定模型、上下文、并发和测量位置。
阅读全文
边缘设备跑大模型,硬件先看内存还是 NPU:一套选型顺序
边缘大模型硬件选型不能只比 NPU TOPS。先固定模型、上下文与并发,核算权重、KV cache 和运行时峰值,再检查后端兼容、带宽与持续散热。
阅读全文
边缘大模型运行时怎么选:先看设备与模型制品,再看加速能力
llama.cpp、RKLLM、ExecuTorch 与 MLC LLM 不在同一条交付链。按目标设备、模型制品、加速后端和更新责任缩小选择,再到目标机验证。
阅读全文
设备手册离线 RAG:先管住版本、权限和引文,再谈本地大模型
设备手册离线 RAG 的关键不是把模型搬到边缘盒子,而是让型号、版本、权限与引文贯穿索引、检索、回答和更新。本文给出可试点的系统边界与验收方法。
阅读全文
RK3588 边缘 AI 盒子适合什么工业视觉场景
RK3588 的 6 TOPS 不能直接等同于产线能力。本文从相机链路、RKNN 转换、时延、热、故障恢复和升级回滚解释适用场景与验收方法。
阅读全文
Dify Workflow 与 Agent:5 个关键区别和生产选型方法
对比 Dify Workflow 与 Agent 的流程控制、工具选择、副作用、审计和错误处理,用选型表判断该用 Workflow、Agent 还是混合架构。
阅读全文
FunASR 适合什么 AI Voice 项目:离线转写、边缘语音与云端 ASR 取舍
FunASR 适合需要本地处理、中文识别、离线转写或边缘语音的项目,但团队必须自行承担模型评测、容量、监控和升级。本文提供与云端 ASR 的决策矩阵及上线验收方法。
阅读全文
YOLO 做 AI 视觉检测适合什么项目:从样本、工位到边缘部署的实施路径
YOLO 适合边界清楚、目标可见、时延可量化的视觉检测任务,但它不是完整质检系统。本文结合 RK3566 边缘测试与真实识别终端约束,说明样本、工位、阈值、边缘部署、观测和回滚怎么设计。
阅读全文
Dify 适合什么 AI 应用项目:Workflow、RAG、Agent 与自研系统的边界
Dify 适合快速交付 Workflow、RAG、Agent 和标准 API 型 AI 应用,但不应替代复杂业务后端。本文给出选型表、系统边界、混合架构和上线检查清单。
阅读全文
LlamaIndex 做 RAG 知识库适合什么场景:数据接入、检索质量与工程边界
LlamaIndex 适合需要多源数据接入、可重复索引、可调检索和离线评测的 RAG 知识库;如果资料少、权限简单或团队只需托管问答,轻量方案通常更省维护成本。
阅读全文正在评估人工智能与算法相关项目?
把设备、协议、数据流和业务目标发给我们,可以更快判断平台、网关、算法或集成方案的实现边界。