本文档介绍了如何使用 微控制器
Hello World 示例
通过 你好!世界 本示例旨在演示使用 LiteRT 的绝对基础知识 是微控制器的理想之选。我们训练并运行了一个模型,该模型将复制正弦函数, 也就是说,它接受一个数字作为其输入,然后输出该数字的 正弦值。部署到 微控制器的预测用于闪烁 LED 或控制 动画。
端到端工作流包括以下步骤:
获取受支持的设备
我们要使用的示例应用已在以下设备上进行了测试:
- Arduino Nano 33 BLE Sense (使用 Arduino IDE)
- SparkFun Edge(直接构建) 来源)
- STM32F746 Discovery 套件 (使用 Mbed)
- Adafruit EdgeBadge(使用 Arduino) IDE)
- 适用于微控制器的 Adafruit LiteRT 套件 (使用 Arduino IDE)
- Adafruit 循环游乐场 Bluefruit (使用 Arduino IDE)
- Espressif ESP32-DevKitC (使用 ESP IDF)
- Espressif ESP-EYE (使用 ESP IDF)
如需详细了解支持的平台,请参阅 适用于微控制器的 LiteRT。
训练模型
使用 train.py 用于 Sinwave 识别的 Hello World 模型训练
运行:bazel build tensorflow/lite/micro/examples/hello_world:train bazel-bin/tensorflow/lite/micro/examples/hello_world/train --save_tf_model --save_dir=/tmp/model_created/
运行推断
为了在您的设备上运行该模型,我们将浏览 README.md:
以下部分详细介绍了该示例的 evaluate_test.cc、 该单元测试演示了如何使用 LiteRT 运行推理, 微控制器。它会加载模型并进行多次推理。
1. 添加库头文件
要使用 LiteRT for Microcontrollers 库,我们必须包含 以下头文件:
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h" #include "tensorflow/lite/micro/micro_error_reporter.h" #include "tensorflow/lite/micro/micro_interpreter.h" #include "tensorflow/lite/schema/schema_generated.h" #include "tensorflow/lite/version.h" micro_mutable_op_resolver.h提供解释器运行模型时所使用的操作。micro_error_reporter.h输出调试信息。micro_interpreter.h包含用于加载和运行模型的代码。schema_generated.h包含FlatBuffer模型文件格式。version.h提供 LiteRT 架构的版本控制信息。
2. 添加模型标题
适用于微控制器的 LiteRT 解释器希望模型 以 C++ 数组形式提供。该模型在 model.h 和 model.cc 文件中定义。 标头包含在以下行中:
#include "tensorflow/lite/micro/examples/hello_world/model.h" 3. 添加单元测试框架头文件
为了创建单元测试,我们添加了 微控制器单元测试框架,添加以下代码行:
#include "tensorflow/lite/micro/testing/micro_test.h" 该测试使用以下宏进行定义:
TF_LITE_MICRO_TESTS_BEGIN TF_LITE_MICRO_TEST(LoadModelAndPerformInference) { . // add code here . } TF_LITE_MICRO_TESTS_END 现在,我们讨论上述宏中包含的代码。
4. 设置日志记录
为了设置日志记录,系统会使用指针创建 tflite::ErrorReporter 指针 添加到 tflite::MicroErrorReporter 实例:
tflite::MicroErrorReporter micro_error_reporter; tflite::ErrorReporter* error_reporter = µ_error_reporter; 此变量将传递到解释器中,允许其写入 日志。由于微控制器通常具有各种日志记录机制, tflite::MicroErrorReporter 的实现旨在 特定设备
5. 加载模型
在以下代码中,使用 char 数组中的数据对模型进行了实例化, g_model,在 model.h 中声明。然后检查模型, schema 版本与我们使用的版本兼容:
const tflite::Model* model = ::tflite::GetModel(g_model); if (model->version() != TFLITE_SCHEMA_VERSION) { TF_LITE_REPORT_ERROR(error_reporter, "Model provided is schema version %d not equal " "to supported version %d.\n", model->version(), TFLITE_SCHEMA_VERSION); } 6. 实例化操作解析器
答 MicroMutableOpResolver 实例。解释器将使用它来注册和 访问模型使用的操作:
using HelloWorldOpResolver = tflite::MicroMutableOpResolver<1>; TfLiteStatus RegisterOps(HelloWorldOpResolver& op_resolver) { TF_LITE_ENSURE_STATUS(op_resolver.AddFullyConnected()); return kTfLiteOk; MicroMutableOpResolver 需要一个模板参数,用于指明 将会注册的操作数。RegisterOps 函数用于注册操作 与解析器通信
HelloWorldOpResolver op_resolver; TF_LITE_ENSURE_STATUS(RegisterOps(op_resolver)); 7. 分配内存
我们需要为输入、输出和 中间数组。此参数以大小的 uint8_t 数组的形式提供 tensor_arena_size:
const int tensor_arena_size = 2 * 1024; uint8_t tensor_arena[tensor_arena_size]; 所需大小取决于您使用的模型,并可能需要 由实验确定。
8. 实例化解释器
我们创建一个 tflite::MicroInterpreter 实例,并传入变量 创建于以下列表:
tflite::MicroInterpreter interpreter(model, resolver, tensor_arena, tensor_arena_size, error_reporter); 9. 分配张量
我们告知解释器从 tensor_arena 为 模型的张量:
interpreter.AllocateTensors(); 10. 验证输入形状
MicroInterpreter 实例可以为我们提供一个指向模型 输入张量,其中 0 表示第一个(也是唯一一个).input(0) 输入张量:
// Obtain a pointer to the model's input tensor TfLiteTensor* input = interpreter.input(0); 然后,我们会检查此张量,以确认其形状和类型符合我们 预期:
// Make sure the input has the properties we expect TF_LITE_MICRO_EXPECT_NE(nullptr, input); // The property "dims" tells us the tensor's shape. It has one element for // each dimension. Our input is a 2D tensor containing 1 element, so "dims" // should have size 2. TF_LITE_MICRO_EXPECT_EQ(2, input->dims->size); // The value of each element gives the length of the corresponding tensor. // We should expect two single element tensors (one is contained within the // other). TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]); TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]); // The input is a 32 bit floating point value TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, input->type); 枚举值 kTfLiteFloat32 是对其中一个 LiteRT 的引用 数据类型,在 common.h。
11. 请提供输入值
为了向模型提供输入,我们需要设置输入张量的内容,如下所示: 如下:
input->data.f[0] = 0.; 在本例中,我们输入表示 0 的浮点值。
12. 运行模型
如需运行模型,我们可以对 tflite::MicroInterpreter 调用 Invoke() 实例:
TfLiteStatus invoke_status = interpreter.Invoke(); if (invoke_status != kTfLiteOk) { TF_LITE_REPORT_ERROR(error_reporter, "Invoke failed\n"); } 我们可以检查返回值(即 TfLiteStatus),以确定运行是否 成功。TfLiteStatus 的可能值,定义于 common.h, 为 kTfLiteOk 和 kTfLiteError。
以下代码断言值为 kTfLiteOk,这意味着推断是 已成功运行。
TF_LITE_MICRO_EXPECT_EQ(kTfLiteOk, invoke_status); 13. 获取输出
可以对output(0) tflite::MicroInterpreter,其中 0 表示第一个(也是唯一一个)输出 张量。
在该示例中,模型的输出是单个浮点值, 在 2D 张量中:
TfLiteTensor* output = interpreter.output(0); TF_LITE_MICRO_EXPECT_EQ(2, output->dims->size); TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]); TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]); TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, output->type); 我们可以直接从输出张量中读取该值,并断言该值 预期:
// Obtain the output value from the tensor float value = output->data.f[0]; // Check that the output value is within 0.05 of the expected value TF_LITE_MICRO_EXPECT_NEAR(0., value, 0.05); 14. 再次运行推理
代码的其余部分会多次运行推理。在每个实例中 我们向输入张量分配一个值,调用解释器,并读取 输出张量的结果:
input->data.f[0] = 1.; interpreter.Invoke(); value = output->data.f[0]; TF_LITE_MICRO_EXPECT_NEAR(0.841, value, 0.05); input->data.f[0] = 3.; interpreter.Invoke(); value = output->data.f[0]; TF_LITE_MICRO_EXPECT_NEAR(0.141, value, 0.05); input->data.f[0] = 5.; interpreter.Invoke(); value = output->data.f[0]; TF_LITE_MICRO_EXPECT_NEAR(-0.959, value, 0.05);