DepthAI Docs Logo

认识OAK硬件

  • 1. 产品系列简介
  • 2. 产品型号解释
    • 2.1. 相机类别
    • 2.2. 产品线
    • 2.3. 变体
    • 2.4. 接口
  • 3. 硬件连接注意事项
    • 3.1. USB 系列
      • 3.1.1. 强制使用 USB2 通信
      • 3.1.2. OAK-D
    • 3.2. PoE 系列
    • 3.3. IoT 系列
      • 3.3.1. OAK-D-IOT-40
    • 3.4. All-in-One 系列
      • 3.4.1. OAK-D-CM4
    • 3.5. FFC 系列
      • 3.5.1. OAK-FFC-4P
    • 3.6. SoM 系列
      • 3.6.1. OAK-SoM
  • 4. OAK支持的格式与神经网络
    • 4.1. OAK支持的格式
      • 4.1.1. 术语介绍
      • 4.1.2. 支持的模型格式
      • 4.1.3. 支持的输入精度
      • 4.1.4. 支持的输出精度
      • 4.1.5. 支持的输入数据格式
      • 4.1.6. 支持的输出数据格式
    • 4.2. OAK支持的网络
      • 4.2.1. Caffe*
      • 4.2.2. TensorFlow*
      • 4.2.3. MXNet*
      • 4.2.4. 最受欢迎的三大网络
  • 5. 产品系列特定使用教程
    • 5.1. USB系列入门必看
    • 5.2. PoE系列入门必看
      • 5.2.1. 分步教程
      • 5.2.2. POE版本的OAK如何运作
      • 5.2.3. PoE 故障排除
        • 测试
      • 5.2.4. 闪存静态IP
      • 5.2.5. 手动指定设备IP
    • 5.3. IoT系列入门必看
      • 5.3.1. 代码示例
      • 5.3.2. 概观
      • 5.3.3. 局限性
      • 5.3.4. ESP32的通用用例
      • 5.3.5. 如何开始开发
      • 5.3.6. DepthAI应用程序包（DAP）
    • 5.4. All-in-One系列入门必看
    • 5.5. 相机校准标定
      • 5.5.1. 模块化相机校准
      • 5.5.2. 放置棋盘格并捕获图像。
      • 5.5.3. 测试深度

OAK快速上手

  • 1. 安装depthai
    • 1.1. depthai项目链接
    • 1.2. 支持的平台
    • 1.3. 启用 USB 设备（仅在 Linux 上）
    • 1.4. 安装依赖
      • 1.4.1. windows
        • windows10
        • Windows 7
      • 1.4.2. Linux
      • 1.4.3. Raspberry Pi
      • 1.4.4. Ubuntu
      • 1.4.5. Jetson平台
      • 1.4.6. macOS
  • 2. 镜像加速
    • 2.1. pypi 镜像使用帮助
      • 2.1.1. 临时使用
      • 2.1.2. 设为默认
  • 3. 使用Pycharm打开项目

基础OAK玩法

  • 1. Hello Word
  • 2. Gen2 API入门
    • 2.1. Python
    • 2.2. C++
  • 3. depthai API 示例
    • 3.1. Bootloader Config
      • 3.1.1. 演示
        • 设置
        • 源代码
    • 3.2. Bootloader Version
      • 3.2.1. 演示
        • 设置
        • 源代码
    • 3.3. Flash Bootloader
      • 3.3.1. 设置
      • 3.3.2. 源代码
    • 3.4. 设置POE设备静态IP
      • 3.4.1. 演示
      • 3.4.2. 设置
      • 3.4.3. 源代码
    • 3.5. Calibration Flash
      • 3.5.1. 设置
      • 3.5.2. 源代码
    • 3.6. Calibration Flash v5
      • 3.6.1. 设置
      • 3.6.2. 源代码
    • 3.7. Calibration Load
      • 3.7.1. 设置
      • 3.7.2. 源代码
    • 3.8. Calibration Reader
      • 3.8.1. 设置
      • 3.8.2. 源代码
    • 3.9. Gen2 彩色相机控制
      • 3.9.1. 演示
      • 3.9.2. 设置
      • 3.9.3. 源代码
    • 3.10. Gen2 彩色相机Preview流
      • 3.10.1. 演示
      • 3.10.2. 设置
      • 3.10.3. 源代码
    • 3.11. Gen2 自动曝光roi
      • 3.11.1. 演示
      • 3.11.2. 设置
      • 3.11.3. 源代码
    • 3.12. Gen2 摄像头视频高分辨率
      • 3.12.1. 演示
      • 3.12.2. 设置
      • 3.12.3. 源代码
    • 3.13. Edge Detector
      • 3.13.1. Demo
      • 3.13.2. 设置
      • 3.13.3. 源代码
        • 流程图
    • 3.14. Gen2 设备队列事件
      • 3.14.1. 演示
      • 3.14.2. 设置
      • 3.14.3. 源代码
    • 3.15. Gen2 对OpenCV的支持
      • 3.15.1. 演示
      • 3.15.2. 设置
      • 3.15.3. 源代码
    • 3.16. Gen2 彩色相机编码&灰度相机&运行MobilenetSSD模型
      • 3.16.1. 演示
      • 3.16.2. 设置
      • 3.16.3. 源代码
    • 3.17. Gen2 彩色相机编码&灰度相机深度流&运行MobilenetSSD模型
      • 3.17.1. 演示
      • 3.17.2. 设置
      • 3.17.3. 源代码
    • 3.18. Gen2 彩色相机编码与MobilenetSSD模型
      • 3.18.1. 演示
      • 3.18.2. 设置
      • 3.18.3. 源代码
    • 3.19. Gen2 灰度相机深度流和运行MobilenetSSD模型
      • 3.19.1. 演示
      • 3.19.2. 设置
      • 3.19.3. 源代码
    • 3.20. Gen2 4K彩色相机运行MobileNetSSD模型
      • 3.20.1. 演示
      • 3.20.2. 设置
      • 3.20.3. 源代码
    • 3.21. Gen2 灰度相机和运行MobilenetSSD模型
      • 3.21.1. 演示
      • 3.21.2. 设置
      • 3.21.3. 源代码
    • 3.22. Gen2 彩色相机和运行MobilenetSSD模型
      • 3.22.1. 演示
      • 3.22.2. 设置
      • 3.22.3. 源代码
    • 3.23. Gen2 视频流&MobilenetSSD神经网络模型
      • 3.23.1. 演示
      • 3.23.2. 设置
      • 3.23.3. 源代码
    • 3.24. Gen2 灰度相机控制
      • 3.24.1. 演示
      • 3.24.2. 设置
      • 3.24.3. 源代码
    • 3.25. Gen2 保存灰度相机全分辨率图片
      • 3.25.1. 演示
      • 3.25.2. 设置
      • 3.25.3. 源代码
    • 3.26. Gen2 灰度相机Preview流
      • 3.26.1. 展示
      • 3.26.2. 设置
      • 3.26.3. 源代码
    • 3.27. Gen2 RGB相机上的对象跟踪器
      • 3.27.1. 演示
      • 3.27.2. 设置
      • 3.27.3. 源代码
    • 3.28. Gen2 视频上的对象跟踪器
      • 3.28.1. 演示
      • 3.28.2. 设置
      • 3.28.3. 源代码
    • 3.29. Gen2 RGB相机上的空间对象跟踪器
      • 3.29.1. 演示
      • 3.29.2. 设置
      • 3.29.3. 源代码
    • 3.30. Gen2 在双目相机上运行MobilenetSSD神经网络并获取深度信息
      • 3.30.1. 演示
      • 3.30.2. 设置
      • 3.30.3. 源代码
    • 3.31. Gen2 在RGB相机上运行MobilenetSSD神经网络并获取深度信息
      • 3.31.1. 演示
      • 3.31.2. 设置
      • 3.31.3. 源代码
    • 3.32. Gen2 在RGB相机上运行TinyYolo神经网络并获取深度信息
      • 3.32.1. 演示
      • 3.32.2. 设置
      • 3.32.3. 源代码
    • 3.33. Gen2 空间位置计算器
      • 3.33.1. 演示
      • 3.33.2. 设置
      • 3.33.3. 源代码
    • 3.34. Gen2 深度信息流
      • 3.34.1. 演示
      • 3.34.2. 设置
      • 3.34.3. 源代码
    • 3.35. Gen2 深度图像控制
      • 3.35.1. 演示
      • 3.35.2. 设置
      • 3.35.3. 源代码
    • 3.36. Gen2 主机上的双目深度
      • 3.36.1. 演示
      • 3.36.2. 设置
      • 3.36.3. 源代码
    • 3.37. Stereo Depth Video
      • 3.37.1. 设置
      • 3.37.2. 源代码
        • 代码流程图
    • 3.38. Gen2 系统信息
      • 3.38.1. 演示
      • 3.38.2. 设置
      • 3.38.3. 源代码
    • 3.39. Gen2 最大编码限制
      • 3.39.1. 演示
      • 3.39.2. 设置
      • 3.39.3. 源代码
    • 3.40. Gen2 彩色相机和灰度相机编码
      • 3.40.1. 演示
      • 3.40.2. 设置
      • 3.40.3. 源代码
    • 3.41. Gen2 彩色相机编码
      • 3.41.1. 演示
      • 3.41.2. 设置
      • 3.41.3. 源代码
    • 3.42. Gen2 保存彩色相机全分辨率图片
      • 3.42.1. 演示
      • 3.42.2. 设置
      • 3.42.3. 源代码
    • 3.43. Gen2 设备上的彩色相机和MobilenetSSD模型解码
      • 3.43.1. 演示
      • 3.43.2. 设置
      • 3.43.3. 源代码
    • 3.44. Gen2 设备上的彩色相机和TinyYoloV3模型解码
      • 3.44.1. 演示
      • 3.44.2. 设置
      • 3.44.3. 源代码
    • 3.45. 立体神经推理
      • 3.45.1. Demo
    • 3.46. 如何最大化FOV
      • 3.46.1. 更改纵横比
      • 3.46.2. Letterboxing
    • 3.47. 在一个主机上使用多个 DepthAI
      • 3.47.1. 依赖
      • 3.47.2. 发现DepthAI-USB端口映射
      • 3.47.3. 选择要使用的特定 DepthAI 设备。
      • 3.47.4. 主机负担的摘要和概述
  • 4. 应用示例
    • 4.1. 示例-社交距离
      • 4.1.1. 演示
      • 4.1.2. 示例源代码
      • 4.1.3. 示例原理说明
        • 1.捕获图片
        • 2.检测人和人到相机的距离
        • 3.将位置信息映射到2D空间
        • 4.计算距离
    • 4.2. 示例-人脸识别
      • 4.2.1. 演示
      • 4.2.2. 示例源代码
      • 4.2.3. 代码原理说明
        • 1. 从人脸库读取图片
        • 2. 运行模型
        • 3. 余弦计算
        • 4. 最终效果
    • 4.3. 示例-车辆车牌识别
      • 4.3.1. 演示
      • 4.3.2. 示例源代码
      • 4.3.3. 示例原理说明：
      • 4.3.4. 应用程序流程图
    • 4.4. 示例-口罩检测
      • 4.4.1. 演示
      • 4.4.2. 示例源代码：
      • 4.4.3. 代码原理说明：
        • 1. 运行人脸检测模型
        • 2. 运行口罩检测模型
    • 4.5. 示例-头部姿态检测
      • 4.5.1. 示例源代码
      • 4.5.2. 代码原理说明：
        • 1. 运行人脸检测模型
        • 2. 运行面部特征点检测模型
    • 4.6. 示例-疲劳检测
      • 4.6.1. 示例源代码
      • 4.6.2. 代码原理说明：
        • 1. 运行人脸检测模型
        • 2. 运行面部特征点检测模型
    • 4.7. 示例-手掌检测
      • 4.7.1. 示例源代码：
      • 4.7.2. 原理说明：
        • 手掌检测模型
        • 运行手掌检测模型
    • 4.8. 示例-面部信息识别
      • 4.8.1. 示例源代码：
    • 4.9. 示例-目标跟踪
      • 4.9.1. 演示
      • 4.9.2. 示例源码代码
      • 4.9.3. 硬件设备
      • 4.9.4. 模型介绍
      • 4.9.5. 实现重点
        • 1. 给检测到的目标指定ID
        • 2. 计算偏差距离
        • 3. PID控制算法
        • 4. 控制云台
      • 4.9.6. 效果演示
    • 4.10. 示例-跌倒检测
      • 4.10.1. 示例源代码：
        • Demo
    • 4.11. 示例-YOLOX目标检测
      • 4.11.1. 示例源代码：
        • Demo
    • 4.12. 人像语义分割

进阶OAK玩法

  • 1. 下载官方的blob模型运行
    • 1.1. 下载模型
    • 1.2. 使用预训练的 OpenVINO 模型
      • 1.2.1. 运行 DepthAI 默认模型
      • 1.2.2. 运行模型
      • 1.2.3. 尝试其他模型
      • 1.2.4. 空间AI–用3D定位增强模型的功能
    • 1.3. 模型性能
    • 1.4. AI视觉任务
    • 1.5. 计算机视觉
  • 2. OpenVINO预训练模型转换
    • 2.1. 本地 OpenVINO 模型转换
      • 2.1.1. 什么是OpenVINO?
      • 2.1.2. 什么是Open Model Zoo?
      • 2.1.3. 安装 OpenVINO
        • 2022.1 LTS
        • 2021.4 LTS
      • 2.1.4. 下载 face-detection-retail-0004 模型
      • 2.1.5. 编译模型
        • 激活 OpenVINO 环境
        • 找到 compile_tool
        • 运行 compile_tool
      • 2.1.6. 运行并显示模型输出
      • 2.1.7. 审查流程
  • 3. 自定义神经网络
    • 3.1. 将自定义模型转换为MyriadX blob
      • 3.1.1. 自定义神经网络模型转换
        • 本地编译
        • 使用 Google Colab
        • 使用在线转换器
        • 使用 blobconverter 库
        • 支持的层
        • 不支持的图层类型”layer_type”
        • 数据类型不正确
      • 3.1.2. Yolov5 6.0 转换成blob格式
    • 3.2. 自定义神经网络模型训练
      • 3.2.1. 使用Docker训练Yolov3/Yolov4
      • 3.2.2. 自定义训练
        • 自定义训练
    • 3.3. 自定义神经网络部署
      • 3.3.1. 在设备上运行您自己的CV模型
        • 使用PyTorch创建自定义模型
        • Kornia
      • 3.3.2. 部署参考的API示例
  • 4. 点云与深度
  • 5. ROS示例
    • 5.1. ROS上使用预编译的depthai C++ 库
      • 5.1.1. 演示
      • 5.1.2. 已测试平台
      • 5.1.3. 安装依赖
      • 5.1.4. 设置程序
      • 5.1.5. 执行示例
      • 5.1.6. 常见问题及解决方案
    • 5.2. depthai-ros
    • 5.3. depthai-ros-examples
  • 6. OAK与SLAM
  • 7. OAK与VIO
  • 8. OAK与SCRATCH
    • 8.1. 初识OAK图形化编程
      • 8.1.1. 图形化编程基础知识学习
      • 8.1.2. 版本介绍
      • 8.1.3. PC离线版指南
        • 安装要求：
        • 安装步骤：
      • 8.1.4. 网页版及插件指南
        • 安装要求：
        • 安装步骤：
    • 8.2. OAK图形化编程快速入门
      • 8.2.1. 界面介绍
      • 8.2.2. 实例演示
    • 8.3. 初识积木
      • 8.3.1. 积木种类
      • 8.3.2. OAK积木介绍
        • 各种模型节点
    • 8.4. 上手案例
      • 8.4.1. 实现逻辑
      • 8.4.2. 案例
    • 8.5. 新功能预告

高阶OAK玩法

  • 1. 设备上编程
    • 1.1. 设备上编程
      • 1.1.1. 使用脚本节点
      • 1.1.2. 创建自定义NN模型
      • 1.1.3. 创建自定义OpenCL内核
    • 1.2. On-device Pointcloud NN model

问题答疑

  • 主要问题解答
  • 1. 常见问题解答
    • 1.1. 为什么存在 DepthAI？
    • 1.2. 什么是 DepthAI？
    • 1.3. 什么是 SpatialAI？ 什么是 3D 目标定位？
    • 1.4. DepthAI 如何提供 Spatial AI 结果？
      • 1.4.1. 单目神经推理与双目深度的融合
      • 1.4.2. 立体神经推理
      • 1.4.3. 注意
    • 1.5. 什么是 MegaAI ？
    • 1.6. 我应该订购哪种型号？
      • 1.6.1. 模块系统
    • 1.7. 从头开始运行 DepthAI 有多困难？ 支持哪些平台？
    • 1.8. DepthAI 和 MegaAI 易于在 Raspberry Pi 中使用吗？
    • 1.9. Raspberry Pi 是否可以使用所有模型？
    • 1.10. DepthAI 是否可以在 NVIDIA Jetson 系列上使用？
    • 1.11. 我可以在一台主机上使用多个 DepthAI 吗？
    • 1.12. DepthAI 与 OpenVINO 兼容吗？
    • 1.13. 我能否在 DepthAI 上运行自己训练的模型？
    • 1.14. 我需要深度数据来训练自己的 DepthAI 自定义模型吗？
    • 1.15. 如果我训练自己的网络，DepthAI 支持哪些神经操作？
    • 1.16. DepthAI 支持哪些网络？
    • 1.17. 我的模型需要预处理，如何在 DepthAI 中做到这一点
    • 1.18. 我可以并行或串联(或同时运行)多个神经网络模型吗？
    • 1.19. DepthAI可以随意裁剪，调整大小，缩略图等吗？
    • 1.20. DepthAI可以运行自定义CV代码吗？说来自PyTorch的CV代码？
    • 1.21. 如何将 DepthAI 集成到我们的产品中？
      • 1.21.1. 用例 1： DepthAI / MegaAI 是运行 Linux ， macOS 或 Windows 的处理器的协处理器。
      • 1.21.2. 用例 2：将 DepthAI 与微控制器（如 ESP32，ATTiny8 等）结合使用
      • 1.21.3. 用例 3：将 DepthAI 用作设备上的唯一处理器。
      • 1.21.4. 每种用例的硬件：
      • 1.21.5. 开发入门
    • 1.22. DepthAI 和 MegaAI 中存在哪些硬件加速功能？
      • 1.22.1. 目前在 DepthAI API 中可用：
      • 1.22.2. 在我们的路线图中（计划于 2020 年 12 月交付）
      • 1.22.3. Gen2 管道构建器
    • 1.23. CAD 文件是否可用？
    • 1.24. 如何使DepthAI感知更近的距离
    • 1.25. DepthAI 可见的最小深度是多少？
      • 1.25.1. 单目神经推理与双目深度的融合
      • 1.25.2. 立体神经推理
      • 1.25.3. 板载相机最小深度
        • 单目神经推理与双目深度的融合模式
        • 立体神经推理模式
      • 1.25.4. 模块化相机最小深度:
        • 单目神经推理与双目深度的融合模式
        • 立体神经推理模式
      • 1.25.5. 扩展视差深度模式
      • 1.25.6. Left-Right Check Depth Mode
    • 1.26. DepthAI 最大可见深度是多少？
    • 1.27. 深度流中的深度数据是什么格式？
    • 1.28. 如何计算视差的深度？
    • 1.29. 如何显示多个流 ？
      • 1.29.1. 是否可以访问主机上的原始双目相机视频流？
    • 1.30. 如何限制每个流的帧速率？
    • 1.31. 如何同步流/元数据（神经推理结果）
      • 1.31.1. 降低相机帧速率
      • 1.31.2. 在主机上同步
    • 1.32. 如何使用 DepthAI 录制（或编码）视频？
      • 1.32.1. 视频编码选项
    • 1.33. 什么是流延迟？
    • 1.34. 可以将 RGB 相机/双目相机作为普通的 UVC 相机使用吗？
    • 1.35. 如何强制使用 USB2 模式？
    • 1.36. 什么是「 NCS2 模式」 ？
    • 1.37. DepthAI 板上存储了哪些信息？
    • 1.38. 双匀质成像与单匀质成像校准
    • 1.39. 什么是 DepthAI 和 MegaAI 的视野？
    • 1.40. 如何获得 DepthAI 和 MegaAI 的不同视野或镜头？
    • 1.41. DepthAI 和 MegaAI 的最高分辨率和录制 FPS 是多少？
    • 1.42. 有多少算力可用？有多少神经算力可用？
    • 1.43. 支持哪些自动对焦模式？可以从主机控制自动对焦吗？
    • 1.44. 自动对焦彩色相机的超焦距是多少？
    • 1.45. 是否可以从主机控制 RGB 相机的曝光、白平衡和自动对焦 (3A) 设置？
      • 1.45.1. 自动对焦 (AF)
      • 1.45.2. 曝光 (AE)
      • 1.45.3. 白平衡 (AWB)
    • 1.46. 全局快门灰度相机的规格是什么？
    • 1.47. 我可以在相机上安装备用镜头吗？什么样的接口？ S 型？ C 型？
    • 1.48. 我可以完全通过 USB 为 DepthAI 供电吗？
    • 1.49. 如何在 VirtualBox 下使用 DepthAI
    • 1.50. 如何提高 NCE、SHAVES 和 CMX 参数？
    • 1.51. 我可以将 DepthAI 与新的 RPi HQ 相机一起使用吗？
    • 1.52. 我可以将 DepthAI 与 Raspberry Pi Zero 一起使用吗？
    • 1.53. DepthAI RPi CME 的耗电量是多少？
    • 1.54. 如何获得更短或更长的柔性扁平数据线 (FFC)？
    • 1.55. meta_d2h 返回的 CSS MSS UPA 和 DSS 是什么？
    • 1.56. Githubs 地址在哪里？DepthAI 是开源的吗？
      • 1.56.1. 整体
      • 1.56.2. 嵌入式应用案例
    • 1.57. 我可以在 DepthAI 上使用 IMU 吗？
    • 1.58. 产品手册和数据表在哪里？
      • 1.58.1. 产品手册:
      • 1.58.2. 数据表:
    • 1.59. 如何在出版物中引用 luxonis 产品？
    • 1.60. 如何与工程师交流？
  • 2. 故障排除
    • 2.1. 如何禁用 RPi 计算模块版本上的启动演示?
    • 2.2. 如果pip安装depthai时出现”is not a supported wheel on this platform”错误:
    • 2.3. depthai：初始化 xlink 时出错’错误，DepthAI 无法运行
    • 2.4. ImportError: 没有名为 ‘depthai’ 的模块
    • 2.5. 为什么相机校准运行缓慢?
    • 2.6. 权限拒绝错误
    • 2.7. DepthAI 不会像网络摄像机那样显示在 /dev/video* 下。 为什么?
    • 2.8. 用2米长的USB3.0数据线时信号断断续续
      • 2.8.1. 强制 USB2 通信
    • 2.9. DepthAI 的输出一直冻结
    • 2.10. 无法启动设备：1.3-ma2480,错误代码 3
    • 2.11. Failed to find device (ma2480), error message: X_LINK_DEVICE_NOT_FOUND.
    • 2.12. CTRL-C没有停止程序！
    • 2.13. 您的Raspberry Pi是锁定还是DepthAI在Raspberry Pi上崩溃？
    • 2.14. Windows上的“导入cv2时DLL加载失败”
    • 2.15. python3 depthai_demo.py 返回非法指令
    • 2.16. 用不兼容的 openvino 版本编译的神经网络 blob
    • 2.17. Raspberry Pi出现 “realloc(): invalid pointern Aborted”
  • 3. 技术支持
    • 3.1. 退款和退货政策
DepthAI Docs
  • »
  • 3. 自定义神经网络 »
  • 3.1. 将自定义模型转换为MyriadX blob
  • View page source

3.1. 将自定义模型转换为MyriadX blob

  • 3.1.1. 自定义神经网络模型转换
    • 本地编译
    • 使用 Google Colab
    • 使用在线转换器
    • 使用 blobconverter 库
      • 故障排除
    • 支持的层
    • 不支持的图层类型”layer_type”
    • 数据类型不正确
  • 3.1.2. Yolov5 6.0 转换成blob格式

3.2. 自定义神经网络模型训练

3.2.1. 使用Docker训练Yolov3/Yolov4

请参考此处 链接。

3.2.2. 自定义训练

  • 自定义训练
    • 概述

3.3. 自定义神经网络部署

  • 3.3.1. 在设备上运行您自己的CV模型
    • 使用PyTorch创建自定义模型
    • Kornia
  • 3.3.2. 部署参考的API示例
Previous Next

© Copyright 2022, Arducam.

Built with Sphinx using a theme provided by Read the Docs.