【ChatGPT】大语言模型使用案例1——查询API和相关知识
当人们听说图书馆已经收集齐全所有的书籍时，首先得到的是一种奇特的幸福感。人们都觉得自己是一座完整无缺的秘密宝库的主人。任何个人或世界的问题都可以在某个六角形里找到有说服力的答案。……但是寻找者忘了，一个人要找到……的机会几乎等于零。 ——豪尔赫·路易斯·博尔赫斯《通天塔图书馆》
现在，以ChatGPT为代表，众多大语言模型 (LLM) 并驾齐驱，快速走进人们生产生活中。如果你想向别人提问有关机器学习、编程或其他各种主题，你可以在这里找到帮助。
但是，如果你想得到最有价值的回答，你需要知道如何巧妙地提问。那么，本文展示一些成功使用ChatGPT的例子，同时介绍一些提问的原则，以便获得最准确、最有用的回答。（*此开头由ChatGPT生成，做了少许修改）
案例：实验室提出需求，模型要部署在边端设备上。因此，需要评估模型。向AI提问关于评估模型的“thop”库和使用。
**Human:** 你知道thop库吗？
**AI:** `作为AI助手，我不太清楚关于“thop库”的具体细节。但是，根据我的了解，thop是一种计算模型量和计算量的工具，可以帮助深度学习开发人员优化神经网络模型。thop库能够计算模型的FLOPs和参数数量，从而评估模型的计算复杂性和规模，以便进行优化和构建更高效的神经网络。`
**Human:** 是的，就是你说的thop。你知道这个库如何使用吗？
**AI:** `thop库主要用于计算深度神经网络的FLOPs和参数数量，帮助我们评估模型的计算量和复杂度。使用thop库的步骤如下：
1. 安装thop库，可以使用pip进行安装：`pip install thop`
2. 导入thop库：`from thop import profile`
3. 定义模型并输入模型输入数据：`model = YourModel()`，`inputs = torch.randn(...)`
4. 调用thop库中的`profile`函数计算模型的FLOPs和参数数量：`flops, params = profile(model, inputs)`
5. 打印计算结果：`print("FLOPs: ", flops, " Params: ", params)`
需要注意的是，计算FLOPs和参数数量需要使用PyTorch框架中的模型，如果您使用的是其他框架，可能需要进行一些适配操作。此外，thop库在计算FLOPs和参数数量时只考虑了模型中的操作数量，对于不同的设备和优化器对计算速度的影响并没有考虑。因此，计算结果仅供参考，实际性能以实际测试为准。`
**Human:** 请问FLOPs和Params计算出的单位是什么？
**AI:** `FLOPs是一种表示计算量的单位，全称为“floating point operations per second”，即每秒钟浮点运算次数。在深度学习中，FLOPs常常被用作衡量模型计算复杂度的指标。在thop库中，计算出的FLOPs单位为GFLOPs，即10亿次浮点运算。
而Params是模型中可训练参数的数量，通常以“万”、“百万”、“千万”为单位进行表示。在thop库中，计算出的Params数量的单位为“个”。`
**Human:** 对于不同大小的输入，thop得到的FLOPs和Params会变化吗？是否存在某种线性关系？
**AI:** `是的，对于不同大小的输入，thop得到的FLOPs和Params数量通常会发生变化。这是因为模型需要针对不同大小的输入进行不同的计算和存储。例如，卷积层需要为输入图像和卷积核的不同大小分配不同的内存空间，这样计算过程中才能保证正确性和有效性。
对于FLOPs和输入大小之间的关系，通常存在一种线性关系。当输入大小增加时，模型需要进行更多的计算和存储，因此FLOPs数量也会相应地增加。但这种关系可能受到模型的具体操作和结构的影响，在一定程度上可能存在非线性影响。
对于Params和输入大小之间的关系，通常不会发生明显的变化。模型的参数数量通常由模型结构和超参数等因素决定，输入大小的变化对Params数量的影响较小。`
**Human:** torchstats和这个有什么区别？
**AI:** `torchstats和thop都是用于分析PyTorch模型的工具，但是它们的功能和使用方法略有不同。
torchstats主要用于：(1)统计模型各个层的输出尺寸、参数数量和占用内存量;(2)对模型进行梯度和权重的可视化;(3)寻找由于输入的维度而导致的内存错误。因此，torchstats主要关注模型的内存使用和参数的信息。
而thop主要用于：(1)计算深度神经网络的FLOPs和参数数量;(2)帮助优化模型，降低模型的计算负担和复杂度。因此，thop主要关注模型的计算复杂性和计算量。
综上所述，torchstats和thop都是对PyTorch模型进行分析的工具，但它们的关注点略有不同。如果您想关注模型的内存使用情况、权重和梯度的可视化以及寻找内存错误，可以选择torchstats工具；如果您希望了解模型的运算要求、计算量和对于不同输入的计算复杂度，可以选择thop工具。`
**Human:** 你能写一个示范程序，使用thop比较多个不同的模型性能吗？
**AI:** `当然可以，下面是一个使用thop比较不同模型计算复杂度的示范代码：
```python
import torch
from thop import profile
import torchvision.models as models
# 定义模型列表
model_list = [
models.resnet18(),
models.resnet34(),
models.resnet50(),
models.vgg16(),
models.alexnet(),
models.densenet121(),
models.densenet161(),
models.mobilenet_v2()
]
# 随机生成输入数据，大小为(1, 3, 224, 224)
inputs = torch.randn(1, 3, 224, 224)
# 使用thop计算模型的FLOPs和参数数量，并打印结果
for model in model_list:
flops, params = profile(model, inputs)
print("Model: ", model.__class__.__name__)
print("FLOPs: ", flops / 1e9, " GFLOPs")
print("Params: ", params / 1e6, " Million\n")
```
这个示范程序使用了PyTorch中的一些常用模型，比如ResNet、VGG、AlexNet和MobileNet。程序随机生成了一个大小为(1, 3, 224, 224)的输入数据，然后遍历模型列表，分别使用thop计算每个模型的FLOPs和参数数量，并打印计算结果。在实际应用中，可以根据自己的需要修改参考代码中的模型列表和输入数据大小，以及更改打印结果的格式。`
**Human:** 我可以使用thop计算模型中某些层的运算量吗？
**AI:** `是的，thop库还支持计算模型中某些指定层的FLOPs和参数数量。这对于模型调试和算法优化非常有用。
假设您想要计算模型中第1到第3层的FLOPs和参数数量，可以使用如下代码：
```python
import torch
from thop import profile, clever_format
import torchvision.models as models
# 定义模型
model = models.resnet18()
# 定义输入数据
inputs = torch.randn(1, 3, 224, 224)
# 使用thop计算第1到第3层的FLOPs和参数数量
flops, params = profile(model, inputs,
custom_ops={
torch.nn.Conv2d:
lambda x:
(x.input_shape[0]*x.kernel_size[0]*x.kernel_size[1]*x.input_channels//x.groups,
x.input_shape[0]*x.output_channels//x.groups*(x.output_shape[2]//x.stride[0])*(x.output_shape[3]//x.stride[1]),
x.kernel_size[0]*x.kernel_size[1]*x.input_channels//x.groups*x.output_channels//x.groups),
torch.nn.BatchNorm2d:
lambda x: (x.input_shape[0]*x.num_features,
2*x.num_features),
torch.nn.Linear:
lambda x: (x.input_shape[0]*x.in_features,
x.input_shape[0]*x.out_features)
},
# 计算第1到第3层的FLOPs和参数数量
# 输入idxs列表
# 输出数量是给出的。
idxs=list(range(3)))
# 将结果转换为可读性更好的格式
flops, params = clever_format([flops, params], "%.2f")
# 打印结果
print("FLOPs: ", flops)
print("Params: ", params)
```
需要注意的是，我们需要使用`custom_ops`参数自定义特定层的计算方法。在这个示范程序中，我们为`Conv2d`、`BatchNorm2d`和`Linear`层分别定义了计算FLOPs和参数数量的Lambda函数。
当我们使用`profile`函数时，还需要传入`idxs`参数来指定我们想要计算的层数。在这个示范程序中，我们使用`list(range(3))`指定要计算前三层的FLOPs和参数数量。
最后，我们使用`clever_format`函数将结果转换为更易读的格式，并打印计算结果。`
**Human:** custom_ops参数的作用是什么？
**AI:** ``custom_ops`参数是thop库中profile函数的一个参数，用于为特定类型的操作自定义计算FLOPs和参数数量的函数。这个参数主要用于支持那些不在thop库默认覆盖范围内的操作，这些操作可能是您自己特定的操作、定制的操作或者包含了轻量级操作的自定义模块。
举个例子，假设在您的模型中，您定义了一个自定义模块`MyConv2d`来实现卷积操作。如果您直接使用thops库计算模型的FLOPs和参数数量，那么该自定义模块不会被默认覆盖，也就无法进行计算。这个时候，您可以使用`custom_ops`参数来为这个自定义模块定义一个自定义的计算函数，让thop库计算该模块的FLOPs和参数数量。
具体而言，您可以使用`custom_ops`参数来自定义任何类型的操作，只需要传入任何类型的Python对象作为key（通常是torch.nn下的模块、函数或其它可调用对象），以及一个能够返回FLOPs和参数数量的函数作为value。在这个函数中，您需要根据传入的模块、参数和输入形状等信息计算相应的FLOPs和参数数量，然后将结果返回。
需要注意的是，如果您没有自定义任何操作，那么可以省略`custom_ops`参数。如果您的模型只包含thop库默认支持的操作，那么thop会自动推断每个操作的FLOPs和参数数量。如果您的模型中包含自定义操作，那么使用thop库之前，需要自定义这些操作的计算方式。`
**Human:** thop的实现是遍历模型的module并使用hook计算所有module吗？为什么无法计算自定义模块？
**AI:** `是的，thop的实现是通过Hook机制对模型中的Module进行遍历，并在遍历过程中计算每个Module的FLOPs和参数数量。
当我们使用thop计算一个模型的FLOPs和参数数量时，thop会遍历模型中所有的Module，对每个Module都注册一个forward_hook，在Module前向计算结束后，会将该Module计算得到的FLOPs和参数数量累加到整个模型的总FLOPs和参数数量中。
关于为什么无法计算自定义模块，可能原因是自定义模块的类名不在thop支持的计算操作范围内，或者没有为自定义模块写专门的计算FLOPs和参数数量的函数。
thop支持的计算操作范围包括常见的torch.nn下的常用操作，包括Conv2d、ConvTranspose2d、Linear、MaxPool2d等，同时还支持一些torchvision.models下的预训练模型，例如alexnet、vgg、resnet等。
如果您的自定义模块的类名与这些操作不一致，那么thop就无法自动计算其FLOPs和参数数量。要解决这个问题，您可以使用`custom_ops`参数来为自定义模块写一个专门的计算函数，并传递给thop库的profile函数。具体而言，您需要使用`custom_ops`参数来传递一个字典，其中key为自定义模块的类名，value为计算FLOPs和参数数量的lambda函数。在lambda函数中，您需要根据模块的输入输出形状以及模块本身的参数信息等，手动计算FLOPs和参数数量。
需要注意的是，如果自定义模块包含轻量级操作或者需要特殊处理的操作，那么需要在lambda函数中自行实现这些特殊处理，例如计算深度可分离卷积的FLOPs。`
**Human:** 如果自定义模块的名称不在thop支持的模块中，但其它的子模块所有名称和操作都是thop支持的，那么thop是否能够正确计算呢？
**AI:** `如果自定义模块的名称不在thop支持的模块中，但是其它的子模块都是thop支持的，那么thop能够正确计算其它子模块的FLOPs和参数数量，但是不能计算包含自定义模块的子模块的FLOPs和参数数量。
具体而言，thop在计算模型的FLOPs和参数数量时是遍历模型中所有的Module，并使用hook机制对每个Module进行计算。如果一个Module的类名不在thop支持的范围内，那么thop会忽略这个Module，不会对其进行计算。因此，如果自定义模块的类名不在thop支持的范围内，那么thop就无法对其进行计算，这也就导致了无法计算包含自定义模块的子模块的FLOPs和参数数量。
解决这个问题的方法是，使用`custom_ops`参数为自定义模块写一个专门的计算函数，并手动计算FLOPs和参数数量。具体而言，您需要在`custom_ops`参数中传递一个字典，其中key为自定义模块的类名，value为计算FLOPs和参数数量的函数。在这个函数中，您需要根据自定义模块的输入输出形状、参数、以及自定义模块包含的所有子模块的FLOPs和参数数量等信息，手动计算FLOPs和参数数量。这样，thop就可以正确计算包含自定义模块的子模块的FLOPs和参数数量了。`
**Human:** 我指的是，此自定义模块的子模块全部是支持的，但很显然，自定义模块本身名称是不可能在thop库中。这种情况也能够正确计算吗？
**AI:** `如果自定义模块本身名称不在thop库中，但是自定义模块的子模块全部在thop库支持的模块中，那么thop仍然能够正确地计算模型的FLOPs和参数数量。
具体来说，当thop对模型进行遍历时，对于包含自定义模块的子模块，thop会递归地遍历它们的子模块，并统计它们的FLOPs和参数数量。这样，自定义模块的子模块的FLOPs和参数数量依然能够被正确计算，并且会被累加到整个模型的FLOPs和参数数量中。
需要注意的是，尽管自定义模块的名称不在thop库中，但是自定义模块的实现方式必须符合模块的定义规范，即包含forward方法和parameters方法。否则，thop可能会无法正确计算模型的FLOPs和参数数量。
总之，只要自定义模块的子模块在thop库支持的范围内，并且实现符合规范，那么thop就能够正确地计算模型的FLOPs和参数数量。`
**Human:** 一个thop无法计算的模块可能是怎样的？
**AI:** `一个 thop 无法计算的模块通常是由以下几种情况导致的：
1. 类型不支持：thop 目前只能计算支持的 torch.nn 下的常用操作，包括 Conv2d、ConvTranspose2d、Linear、MaxPool2d、AdaptiveAvgPool2d 等，并且支持 torchvision.models 下一些预训练模型，如 AlexNet、VGG、ResNet 等。如果模型中存在未被支持的操作，如自定义的操作或其他类型的操作，thop 将无法计算它们对应的 FLOPs 和参数数量。
2. 动态形状：如果模型中存在输入或输出形状（shape）与实际运行时不一致（如使用输入图像中的宽高作为网络输入大小），或者通过 Resize、Upsample 等方法得到的形状是在运行时动态生成的，thop 将无法计算这些动态形状对应的 FLOPs 和参数数量。
3. 控制流：如果模型中存在使用 if、while 等流程控制语句控制每个 batch 数据的不同分支执行不同计算的情况，thop 难以知晓模型运行时的具体情况，也无法计算这种模型的 FLOPs 和参数数量。
4. 不同运算间耦合：thop 无法对不同的计算层之间的耦合进行精确建模。比如模型中存在一个乘法运算需要另外一个计算层的输出，那么如果不了解另外那个计算层的输出情况，就会导致 FLOPs 计算不准确，这就是 thop 现有的限制。不过实际中，这类情况发生的概率较小。
针对上述情况，可以通过手动计算 FLOPs 的方式得到准确的 FLOPs 和参数数量，或者通过修改模型结构来去除这些限制。`