在計算機視覺中，這些任務有著巨大的用途，例如用于自動駕駛車輛（檢測人和其他車輛）、基于人工智能的安全性（人體檢測和/或分割）和對象重新識別（對象分割或實例分割去除背景有助于檢查對象身份）。

COCO數據格式

基本結構和常見元素_COCO 注釋使用的文件格式是 JSON，她有字典（大括號內的鍵值對{…}）作為頂部值，她還可以有列表（括號內的有序項目集合，[…]）或嵌套在其中的字典。

{  "info": {…},  "licenses": […],  "images": […],  "categories": […],  "annotations": […]}

讓我們仔細看看基本結構中的每一個部分。

“info”部分_

該字典包含有關數據集的元數據，對于官方的 COCO 數據集，如下_

{  "description": "COCO 2017 Dataset",  "url": "cocodataset.org",  "version": "1.0",  "year": 2017,  "contributor": "COCO Consortium",  "date_created": "2017/09/01"}

如我們所見，她僅包含基本信息，"url"值指向數據集官方網站（例如 UCI 存儲庫頁面或在單獨域中），這是機器學習數據集中常見的事情，指向他們的網站以獲取更多信息，例如獲取數據的方式和時間。

“licenses”部分_

以下是數據集中圖像許可的鏈接，例如知識共享許可，具有以下結構_

[  {    "url": "creativecommons.org/licenses/by-nc-sa/2.0/",     "id": 1,     "name": "Attribution-NonCommercial-ShareAlike License"  },  {    "url": "creativecommons.org/licenses/by-nc/2.0/",     "id": 2,     "name": "Attribution-NonCommercial License"  },  …]

這里要注意的重要一點是"id"字段_"images"字典中的每個圖像都應該指定其許可證的“id”。

在使用圖像時，請確保沒有違反其許可_可以在 URL 下找到全文。

如果我們決定創建自己的數據集，請為每個圖像分配適當的許可_如果我們不確定，最好不要使用該圖像。

“image”部分_

可以說是第二重要的，這本字典包含有關圖像的元數據_

{  "license": 3,  "file_name": "000000391895.jpg",  "coco_url": "images.cocodataset.org/train2017/000000391895.jpg",  "height": 360,  "width": 640,  "date_captured": "2013–11–14 11:18:45",  "flickr_url": "farm9.staticflickr/8186/8119368305_4e622c8349_z.jpg",  "id": 391895}

接下來我們看一下這些字段_

"id"領域是最重要的領域，這是用于"annotations"識別圖像的編號，因此如果我們想識別給定圖像文件的注釋，則必須在"圖像"中檢查相應圖像文檔的“id”，然后在“注釋”中交叉引用她。

在官方COCO數據集中"id"與"file_name"相同。需要注意的是，自定義 COCO數據集可能不一定是這種情況！這不是強制的規則，例如由私人照片制成的數據集可能具有與沒有共同之處的原始照片名稱"id"。

"categories"部分_

本部分對于對象檢測和分割任務以及對于實例分割任務有點不同。

對象檢測/對象分割_

[  {"supercategory": "person", "id": 1, "name": "person"},  {"supercategory": "vehicle", "id": 2, "name": "bicycle"},  {"supercategory": "vehicle", "id": 3, "name": "car"},  …  {"supercategory": "indoor", "id": 90, "name": "toothbrush"}]

這些是可以在圖像上檢測到的對象類別（"categories"在 COCO 中是類別的另一個名稱，我們可以從監督機器學習中了解到）。

每個類別都有一個唯一的"id"，她們應該在 [1，number of categories] 范圍內。類別也分為“超類別”，我們可以在程序中使用她們，例如，當我們不關心是自行車、汽車還是卡車時，一般檢測車輛。

實例分割_

[  {"supercategory": "textile", "id": 92, "name": "banner"},  {"supercategory": "textile", "id": 93, "name": "blanket"},  …  {"supercategory": "other", "id": 183, "name": "other"}]

類別數從高開始以避免與對象分割沖突，因為有時這些任務可以一起執行。從 92 到 182 的 ID 是實際的背景素材，而 ID 183 代表所有其他沒有單獨類的背景紋理。

“annotations”部分_

這是數據集最重要的部分，其中包含對特定 COCO 數據集的每個任務至關重要的信息。

{  "segmentation":  [[    239.97,    260.24,    222.04,    …  ]],  "area": 2765.1486500000005,  "iscrowd": 0,  "image_id": 558840,  "bbox":  [    199.84,    200.46,    77.71,    70.88  ],  "category_id": 58,  "id": 156}

在處理人群圖像 ( "iscrowd": 1) 時，該"segmentation"部分可能會有所不同_

"segmentation":{  "counts": [179,27,392,41,…,55,20],  "size": [426,640]}

這是因為對于許多像素，明確列出所有像素創建分割掩碼將占用大量空間，相反，COCO使用自定義的運行長度編碼（RLE）壓縮，這是非常有效的，因為分段掩碼是二進制的，僅0和1的RLE可能會將大小減小很多倍。

總結

我們探討了用于最流行任務的COCO數據集格式_對象檢測、對象分割和實例分割。COCO官方數據集質量高、規模大，適合初學者項目、生產環境和最新研究。我希望本文能夠幫助小伙伴理解如何解釋這種格式，并將其用于小伙伴的ML應用程序。