本文主要是介绍imgaug增强边界框，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
imgaug对边界框及其扩展具有本地支持。 它们通过其左上角和右下角的坐标表示，既是绝对值，又具有亚像素精度。
在imgaug中，边框仅受增强器更改图像几何形状的影响。 例如 水平翻转或仿射变换。 它们不受其他方法（例如高斯噪声）的影响。
在以下各节中列出了两个类，用于在imgaug中增加边界框。
API：边界框
imgaug.augmentables.bbs.BoundingBox（x1，y1，x2，y2，label = None）：单个边界框的容器，根据其左上角和右下角定义，每个角分别表示为x和y像素坐标（浮点数，即亚像素精度）。BoundingBox提供的重要属性是：.x1，.y1，.x2，.y2，.height，.width，.area，.center_x，.center_y。
BoundingBox提供的重要方法是：
project（from_shape，to_shape）：将边界框坐标从一种图像形状投影到另一种图像形状。
extend（[all_sides]，[top]，[right]，[bottom]，[left]）：沿给定边增加像素值的边界框大小。
交集（其他，[默认]）：返回此边界框和另一个边界框的相交边界框。
union（other）：类似于intersection（），返回联合。
iou（other）：计算此边界框和另一个边界框的IoU。
is_fully_within_image（image）：确定所有边界框坐标是否在图像平面内。
is_partly_within_image（image）：确定边框的至少一部分是否在图像平面内。
clip_out_of_image（image）：裁剪边界框在图像平面之外的所有部分。
shift（[x]，[y]）：移动边界框。
draw_on_image（图像，[颜色]，α，[大小]，[副本]，[raise_if_out_of_image]）：在图像上绘制边界框及其标签。
draw_label_on_image（图像，[颜色]，[颜色文本]，[颜色_bg]，[alpha]，[大小]，[大小_文本]，[高度]，[副本]，[raise_if_out_of_image]）：仅绘制包含标签（文本）的矩形）（在边框上方）上。
draw_box_on_image（图像，[颜色]，[alpha]，[尺寸]，[副本]，[raise_if_out_of_image）：仅在图像上绘制边框的框。
extract_from_image（image，[pad]，[pad_max]，[prevent_zero_size]）：从图像中提取包围盒中包含的像素。API：BoundingBoxesOnImage
imgaug.augmentables.bbs.BoundingBoxesOnImage（bounding_boxes，shape）：放置在图像上的边界框列表的容器。 shape参数表示放置边框的图像的形状。需要确保基于图像大小的增强在图像和放置在其上的边界框之间对齐（例如，裁剪）。BoundingBoxesOnImage提供的重要方法是：
on（image）：将边界框投影到另一个图像上。
from_xyxy_array（xyxy，shape）：从（N，4）numpy数组创建BoundingBoxesOnImage实例。
to_xyxy_array（[dtype]）：将实例转换为（N，4）numpy数组。
draw_on_image（[颜色]，[alpha]，[大小]，[副本]，[raise_if_out_of_image]）：将所有边界框及其标签绘制到图像上。
remove_out_of_image（[完全]，[部分]）：删除完全或至少部分在图像平面之外的边界框。
clip_out_of_image（）：在所有边界框上调用clip_out_of_image（）。
shift（[x]，[y]）：在所有边界框上调用shift（）。API：方法
可以使用方法expand（images = ...，bounding_boxes = ...）来扩大边界框。 或者，可以使用Enhance_bounding_boxes（），它接受BoundingBoxesOnImage的单个实例或该类的列表。
API：更多
下面介绍大多数提到的方法。 该API还包含更多详细信息。 参见例如 BoundingBox，BoundingBoxesOnImage，imgaug.augmenters.meta.Augmenter.augment（）和imgaug.augmenters.meta.Augmenter.augment_bounding_boxes（）
例子
让我们尝试一个简单的边界框增强示例。 我们加载一张图像，在其上放置两个边界框，然后使用仿射变换来扩充数据。
首先，我们加载并可视化数据：
ia.seed(1)
image = imageio.imread("d.jpg")
#image = ia.imresize_single_image(image, (1280,720))
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
ia.imshow(bbs.draw_on_image(image, size=2))
下一步是定义我们要应用的扩充。 我们选择一个简单的对比度增强（仅影响图像）和仿射变换（影响图像和边界框）。
ia.seed(1)seq = iaa.Sequential([iaa.GammaContrast(1.5),iaa.Affine(translate_percent={"x": 0.1}, scale=0.8)
])现在，我们同时增强图像和其上的边框。 我们可以使用seq.augment（...）或其快捷方式seq（...）：
image_aug, bbs_aug = seq(image=image, bounding_boxes=bbs)请注意，如果我们想增加几个图像，我们将使用seq（images = [image1，image2，...]，bounding_boxes = [bbs1，bbs2，...]）之类的东西。 该方法非常灵活，并且还可以处理与BoundingBoxesOnImage不同的边界框，例如 每个图像一个（N，4）数组，表示每个边界框的（x1，y1，x2，y2）。 确保尽管对图像和边界框都调用一次该方法，但不要两次（对于图像一次，针对边界框）一次，因为这样每次调用将采样不同的随机值，并且扩展将最终未对齐。
现在我们已经扩充了数据，我们可以再次对其进行可视化：
ia.imshow(bbs_aug.draw_on_image(image_aug, size=2))
45度旋转引入的问题
让我们尝试另一种增强技术。 这次我们应用仅包含旋转的仿射变换。
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
image_aug, bbs_aug = iaa.Affine(rotate=45)(image=image, bounding_boxes=bbs)
ia.imshow(bbs_aug.draw_on_image(image_aug))
您现在可能倾向于说这些扩充功能看起来有些错误，并且某些地方一定出错了。 但是输出实际上是正确的，并且显示了边界框扩展的特殊情况-或者，为什么要避免45°旋转。 问题源于非对象像素是边界框的一部分。 旋转后，必须绘制一个包含这些非对象像素的新边界框。 以下示例将问题可视化：
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
# highlight the area of each bounding box
image_points = np.copy(image)
colors = [(0, 255, 0), (128, 128, 255)]
for bb, color in zip(bbs.bounding_boxes, colors):image_points[bb.y1_int:bb.y2_int:4, bb.x1_int:bb.x2_int:4] = color
# rotate the image with the highlighted bounding box areas
rot = iaa.Affine(rotate=45)
image_points_aug, bbs_aug = rot(image=image_points, bounding_boxes=bbs)
# visualize
side_by_side = np.hstack([bbs.draw_on_image(image_points, size=2),bbs_aug.draw_on_image(image_points_aug, size=2)])
fig, ax = plt.subplots(figsize=(20, 20))
ax.imshow(side_by_side)
如您所见，增强的边界框非常适合每个边界框的旋转像素。 但是由于必须环绕最顶部/右侧/底部/左侧的像素，因此新的边界框现在还包含大量以前未包含在边界框中的像素。
绘画
常见的操作是在图像上绘制边框。 上面的示例中已经使用了执行此操作的方法。 它提供了参数来控制绘制的边界框的颜色，大小（即边框厚度）和alpha（即不透明度）。 以下示例显示了它们的用法。
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
image_bbs = np.copy(image)
image_bbs = bbs.bounding_boxes[0].draw_on_image(image_bbs, color=[255, 0, 0], size=3)
image_bbs = bbs.bounding_boxes[1].draw_on_image(image_bbs, color=[0, 255, 0], size=10, alpha=0.5)
ia.imshow(image_bbs)
如果我们向边界框添加标签，它们也会自动绘制：
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
image_bbs = np.copy(image)
image_bbs = bbs.bounding_boxes[0].draw_on_image(image_bbs, color=[0, 255, 0], size=3)
image_bbs = bbs.bounding_boxes[1].draw_on_image(image_bbs, color=[255, 0, 0], size=10, alpha=0.5)
#加标签
bbs_labeled = bbs.deepcopy()
bbs_labeled[0].label = "safeHat"
bbs_labeled[1].label = "person"
image_bbs = bbs_labeled.draw_on_image(image, size=2)
ia.imshow(image_bbs)
如果要在边界框上设置标签但不绘制它们，请在每个边界框上手动调用draw_box_on_image（）。 那只会画box。
提取图像内容，移动边界框
使用边界框时，另一种常见操作是提取其相应的图像区域。 当边界框完全位于图像平面内时，这是微不足道的。 如果它也可以全部或部分位于图像平面之外，则操作将变得更加复杂。 BoundingBox提供了extract_from_image（image），从而避免了处理此类问题的麻烦。 如果边界框未完全在图像中，它将根据需要将结果零填充，以达到边界框的高度和宽度。
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
hat = bbs.bounding_boxes[0].extract_from_image(image)
ia.imshow(hat)
通过组合.extend（）和.extract_from_image（）来提取更大的图像区域：
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
hat = bbs.bounding_boxes[1].extend(all_sides=10, left=100).extract_from_image(image)
ia.imshow(hat)
现在，我们将边界框部分移到图像的外部，然后提取其内容：
image = imageio.imread("d.jpg")
bbs = BoundingBoxesOnImage([BoundingBox(x1=1154, x2=1185, y1=254, y2=282),BoundingBox(x1=1220, x2=1270, y1=423, y2=472)
], shape=image.shape)
bb = bbs.bounding_boxes[0].shift(x=200)
ia.imshow(bb.draw_on_image(image, size=2))
ia.imshow(bb.extract_from_image(image))
如您在第二张图像中看到的，图像外部的像素填充有零。 如果您不希望这样做，则可以添加参数pad = False以禁用填充。 默认情况下，这仍将填充以防止任何轴变为零，即您将不会获得（0，0，3）输出数组。 这样可以防止错误 在绘图过程中。 如果您希望在这种情况下获得零大小的数组，只需添加prevent_zero_size = False。
这篇关于imgaug增强边界框的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
