據(jù)集：從原理到實戰(zhàn)的完整指南)
1. 項目概述為什么我們需要CUHK-SYSU行人搜索數(shù)據(jù)集在計算機視覺領(lǐng)域尤其是安防監(jiān)控、智能零售和智慧城市等應(yīng)用場景中“行人搜索”是一個既基礎(chǔ)又極具挑戰(zhàn)性的任務(wù)。它不同于單純的行人檢測只框出畫面中的人或行人重識別在跨攝像頭場景下匹配同一個人而是將兩者結(jié)合首先在復(fù)雜的、未經(jīng)裁剪的大尺度圖像中定位出行人然后從這些定位出的行人中找到與給定查詢?nèi)宋锿ǔＪ且粡埐眉艉玫男腥藞D片身份相同的個體。你可以把它想象成在一個大型商場或交通樞紐的監(jiān)控畫面里不僅要“看到”所有人還要“認(rèn)出”那個穿著紅色外套、背著藍(lán)色書包的特定目標(biāo)。十年前這個領(lǐng)域的研究者面臨一個尷尬的境地要么用檢測數(shù)據(jù)集如VOC、COCO和重識別數(shù)據(jù)集如Market-1501拼湊著用流程割裂效果不佳要么自己費時費力去采集和標(biāo)注數(shù)據(jù)。正是在這樣的背景下CUHK-SYSU數(shù)據(jù)集應(yīng)運而生。它由香港中文大學(xué)和中山大學(xué)聯(lián)合發(fā)布是首個大規(guī)模、專門為行人搜索任務(wù)設(shè)計的公開數(shù)據(jù)集。它的出現(xiàn)為這個子領(lǐng)域的研究樹立了一個統(tǒng)一的基準(zhǔn)極大地推動了相關(guān)算法的發(fā)展。簡單說如果你想做行人搜索相關(guān)的研究或工程驗證CUHK-SYSU幾乎是繞不開的“必修課”。它定義了任務(wù)的標(biāo)準(zhǔn)形式也包含了現(xiàn)實場景中會遇到的絕大多數(shù)挑戰(zhàn)遮擋、姿態(tài)變化、光照差異、背景雜亂以及海量的干擾項。2. 數(shù)據(jù)集核心結(jié)構(gòu)與設(shè)計邏輯拆解理解一個數(shù)據(jù)集絕不能只看它包含了多少張圖片或多少個標(biāo)注框更要理解其設(shè)計者構(gòu)建它的邏輯和意圖。CUHK-SYSU的設(shè)計充滿了巧思其結(jié)構(gòu)直接反映了行人搜索任務(wù)的核心難點。2.1 數(shù)據(jù)來源與場景構(gòu)成數(shù)據(jù)集主要包含兩部分圖像源一是從電影、電視劇中截取的幀二是從街頭實地拍攝的監(jiān)控風(fēng)格圖像。這種混合來源的設(shè)計非常關(guān)鍵。影視劇片段提供了豐富的室內(nèi)外場景、多樣的服裝、復(fù)雜的社交互動以及相對清晰的畫面質(zhì)量。而街頭拍攝的圖像則更貼近真實的安防監(jiān)控條件存在更多的運動模糊、低分辨率、強烈光照變化和極其復(fù)雜的背景。兩者結(jié)合確保了數(shù)據(jù)集既能覆蓋算法需要學(xué)習(xí)的豐富外觀特征又能考驗其在真實惡劣條件下的魯棒性。整個數(shù)據(jù)集包含18,184張全景圖像Gallery Images和96,143個手工標(biāo)注的行人邊界框。更重要的是它提供了8,432個不同的行人身份Identity以及2,900個作為查詢Query的行人實例。平均每張全景圖里有超過5個人這模擬了真實監(jiān)控畫面中人群密集的場景。2.2 查詢集Query Set與圖庫集Gallery Set的定義這是行人搜索數(shù)據(jù)集最核心的結(jié)構(gòu)也是其區(qū)別于檢測或重識別數(shù)據(jù)集的關(guān)鍵。查詢集你可以把它理解成“要找的人的照片”。它由2,900張經(jīng)過裁剪的、只包含目標(biāo)行人的圖片組成。每張查詢圖片對應(yīng)一個唯一的行人ID。在任務(wù)中算法會依次接收這些查詢圖片然后去龐大的圖庫集中尋找同一個人。圖庫集這就是“要被搜索的監(jiān)控畫面全集”。它由18,184張未經(jīng)裁剪的原始圖像組成。每張圖里包含數(shù)量不等的行人每個行人都被標(biāo)注了邊界框和身份ID如果是未知身份或無法標(biāo)注則標(biāo)記為“-1”。任務(wù)流程因此非常清晰給定一張查詢圖片算法需要在所有圖庫圖像的所有標(biāo)注框中找出那些與查詢ID相同的框。這要求算法必須同時完成“檢測”在圖庫圖像中找到所有行人框和“重識別”判斷這些框的身份是否與查詢匹配兩個子任務(wù)。2.3 標(biāo)注信息的深度解析數(shù)據(jù)集的標(biāo)注文件通常是一個.mat或.json文件是寶藏所在。我們以常見的格式為例深入看看里面有什么圖庫標(biāo)注通常是一個列表列表中的每個元素對應(yīng)一張圖庫圖像。每個元素包含img_path: 圖像路徑。boxes: 一個N x 4的矩陣表示這張圖里N個行人檢測框的坐標(biāo)[x_top_left, y_top_left, width, height]。gt_pids: 一個長度為N的列表表示每個框?qū)?yīng)的行人身份ID。-1表示該行人身份未知或不是關(guān)注的查詢目標(biāo)即干擾項。gt_bbox和gt_pid有時會分開表示但含義相同。查詢標(biāo)注也是一個列表每個元素對應(yīng)一個查詢。img_path: 查詢圖片的路徑。pid: 該查詢目標(biāo)的身份ID。cam_id(可選): 攝像頭ID在評估跨攝像頭性能時有用。bbox(可選): 有時會提供該查詢目標(biāo)在原圖中的邊界框坐標(biāo)主要用于分析。注意不同版本的數(shù)據(jù)集如原始版、或經(jīng)過社區(qū)處理的PyTorch友好版標(biāo)注格式可能有細(xì)微差別使用前務(wù)必仔細(xì)閱讀其自述文件。一個常見的“坑”是坐標(biāo)格式可能是[x1, y1, x2, y2]右下角坐標(biāo)而非[x1, y1, w, h]寬高在數(shù)據(jù)加載時需要進(jìn)行統(tǒng)一轉(zhuǎn)換。2.4 訓(xùn)練集與測試集的劃分CUHK-SYSU采用了身份不相交的劃分方式這是行人重識別領(lǐng)域的標(biāo)準(zhǔn)做法以確保評估的公正性。訓(xùn)練集包含11,206張圖庫圖像和5,532個查詢身份。這些身份對應(yīng)的行人只會出現(xiàn)在訓(xùn)練集中。測試集包含6,978張圖庫圖像和2,900個查詢身份。測試集的身份與訓(xùn)練集完全互斥。這意味著算法在測試階段遇到的都是“從未見過”的新行人這迫使模型必須學(xué)習(xí)到泛化性強的行人特征表示而不是簡單地記住訓(xùn)練集里人的樣子。3. 數(shù)據(jù)集的核心挑戰(zhàn)與算法評價指標(biāo)一個優(yōu)秀的數(shù)據(jù)集其價值在于它能精準(zhǔn)地暴露算法的弱點。CUHK-SYSU在設(shè)計時就內(nèi)置了多個現(xiàn)實世界的挑戰(zhàn)。3.1 內(nèi)置的四大現(xiàn)實挑戰(zhàn)跨場景與光照變化從明亮的室外街道到昏暗的室內(nèi)走廊從影視劇的均勻打光到監(jiān)控攝像頭的逆光、側(cè)光要求模型對光照變化不敏感。姿態(tài)與視角多樣性行人以正面、背面、側(cè)面、蹲下、奔跑等各種姿態(tài)出現(xiàn)攝像頭視角也有高低、遠(yuǎn)近之分。嚴(yán)重遮擋這是監(jiān)控場景中最常見也最棘手的問題。行人可能被車輛、建筑物、其他行人部分甚至大部分遮擋。數(shù)據(jù)集中有大量此類樣本直接考驗?zāi)Ｐ吞幚聿煌暾庥^信息的能力。海量干擾項Distractors每張圖庫圖像平均有5個以上的行人而目標(biāo)可能只出現(xiàn)一次。算法需要在成百上千個無關(guān)的候選框中做出正確選擇這要求模型具有極高的判別力。3.2 評價指標(biāo)詳解mAP與Top-k行人搜索任務(wù)的評價綜合了檢測和重識別的性能主要采用以下指標(biāo)平均精度均值Mean Average Precision, mAP這是最核心、最綜合的指標(biāo)。對于每個查詢算法會返回在圖庫中檢索到的所有邊界框并按與查詢的相似度排序。計算這個排序列表的Average Precision (AP)然后對所有查詢的AP取平均即得到mAP。mAP同時考慮了檢索的準(zhǔn)確率Precision和召回率Recall。一個高mAP意味著算法不僅能找到大部分目標(biāo)高召回而且返回的結(jié)果中正確目標(biāo)排得很靠前高準(zhǔn)確率。計算過程簡述對于單個查詢算法返回一個排序列表。我們從上到下遍歷這個列表每遇到一個正確匹配True Positive就計算當(dāng)前的準(zhǔn)確率到當(dāng)前位置為止正確結(jié)果數(shù) / 已檢查結(jié)果數(shù)。然后以召回率為橫軸準(zhǔn)確率為縱軸可以畫出一條鋸齒狀的曲線。這條曲線下的面積就是該查詢的AP。對所有查詢的AP取平均即得mAP。Top-k 命中率Top-k Accuracy這是一個更直觀的指標(biāo)。它檢查在算法返回的前k個最相似結(jié)果中是否至少包含一個正確匹配。常用的有Top-1和Top-5。Top-1排名第一的結(jié)果是否正確。這非常嚴(yán)格。Top-5前五個結(jié)果中是否包含正確答案。這在實用中更有意義因為在實際安防系統(tǒng)中操作員通常愿意查看前幾個候選。在CUHK-SYSU的論文和大多數(shù)后續(xù)研究中mAP是衡量算法性能的首要指標(biāo)因為它比Top-k更能全面反映算法在整個檢索列表上的質(zhì)量。4. 數(shù)據(jù)準(zhǔn)備與預(yù)處理實戰(zhàn)指南拿到數(shù)據(jù)集壓縮包后如何將其轉(zhuǎn)換成深度學(xué)習(xí)框架如PyTorch, TensorFlow可以高效讀取的格式是項目的第一步也是容易踩坑的一步。4.1 數(shù)據(jù)下載與目錄結(jié)構(gòu)組織通常從官網(wǎng)或?qū)W術(shù)資源站下載的數(shù)據(jù)集是一個壓縮包解壓后結(jié)構(gòu)可能比較原始。我強烈建議按照以下邏輯重新組織目錄這會給后續(xù)的代碼編寫帶來巨大便利。CUHK-SYSU/ ├── dataset/ │ ├── gallery/ # 存放所有18,184張原始圖庫圖像 │ │ ├── scene1/ │ │ ├── scene2/ │ │ └── ... │ ├── query/ # 存放所有2,900張裁剪好的查詢圖像 │ └── train/ # 可選將訓(xùn)練集圖像鏈接或復(fù)制到這里便于管理 ├── annotation/ │ ├── train.mat # 官方訓(xùn)練集標(biāo)注 │ ├── test.mat # 官方測試集標(biāo)注 │ └── all_bbox.json # 社區(qū)常見的JSON格式轉(zhuǎn)換版更易用 └── splits/ # 存放自己劃分的數(shù)據(jù)集列表文件 ├── train_list.txt └── test_list.txt實操心得不要直接在原始圖像目錄上進(jìn)行操作。先完整備份一份原始數(shù)據(jù)。所有的預(yù)處理如裁剪、縮放都應(yīng)該生成新的文件保留原始數(shù)據(jù)以備不時之需。4.2 標(biāo)注文件解析與格式轉(zhuǎn)換官方標(biāo)注通常是MATLAB的.mat文件。如果你用Python可以用scipy.io.loadmat來加載。但.mat文件在非MATLAB環(huán)境下處理起來并不優(yōu)雅。一個常見的做法是將其轉(zhuǎn)換為JSON或Pickle格式。import scipy.io as sio import json import os # 加載MAT文件 mat_data sio.loadmat(annotation/train.mat) # 注意.mat文件中的變量名需要打開查看確認(rèn)常見的是‘train’或‘gallery’ train_gallery mat_data[train] # 這可能是一個結(jié)構(gòu)化數(shù)組 # 轉(zhuǎn)換為Python字典列表 gallery_list [] for i in range(len(train_gallery)): item train_gallery[i] img_path item[img_path][0] # 注意MATLAB字符串的索引方式 boxes item[boxes][0] # N x 4 gt_pids item[gt_pids][0].flatten() # N, # 處理-1標(biāo)簽有時需要轉(zhuǎn)換為0或一個特定的背景ID gallery_list.append({ img_path: img_path, boxes: boxes.tolist(), gt_pids: gt_pids.tolist() }) # 保存為JSON with open(annotation/train_gallery.json, w) as f: json.dump(gallery_list, f)關(guān)鍵點仔細(xì)檢查gt_pids中的-1。在訓(xùn)練檢測器時通常需要將-1視為背景類或直接忽略。在訓(xùn)練聯(lián)合模型時需要設(shè)計好損失函數(shù)確保這些“干擾項”不被錯誤地優(yōu)化。4.3 構(gòu)建PyTorch Dataset類這是將數(shù)據(jù)喂給模型的核心環(huán)節(jié)。一個健壯的Dataset類需要處理好圖像讀取、數(shù)據(jù)增強、標(biāo)簽對齊等。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class PersonSearchDataset(Dataset): def __init__(self, gallery_json, query_json, transformNone, is_trainingTrue): Args: gallery_json: 圖庫標(biāo)注列表 query_json: 查詢標(biāo)注列表 transform: 圖像增強變換 is_training: 是否為訓(xùn)練模式訓(xùn)練時需返回查詢-圖庫對 self.gallery_data self._load_annotations(gallery_json) self.query_data self._load_annotations(query_json) self.transform transform self.is_training is_training # 為訓(xùn)練構(gòu)建查詢-正樣本對索引簡化示例 if is_training: self.pid_to_gallery_indices self._build_pid_index() def _load_annotations(self, json_path): # 加載并預(yù)處理標(biāo)注 with open(json_path, r) as f: data json.load(f) # 可能需要的預(yù)處理路徑補全坐標(biāo)格式轉(zhuǎn)換 for item in data: item[img_path] os.path.join(dataset, item[img_path]) return data def _build_pid_index(self): # 建立一個字典將行人ID映射到圖庫中所有包含該ID的圖像索引和框索引 pid_index {} for gallery_idx, gallery_item in enumerate(self.gallery_data): for box_idx, pid in enumerate(gallery_item[gt_pids]): if pid ! -1: # 忽略干擾項 if pid not in pid_index: pid_index[pid] [] pid_index[pid].append((gallery_idx, box_idx)) return pid_index def __len__(self): return len(self.query_data) if self.is_training else len(self.gallery_data) def __getitem__(self, idx): if self.is_training: # 訓(xùn)練時返回一個查詢圖像和對應(yīng)的一個正樣本圖庫區(qū)域以及可能的負(fù)樣本 query_item self.query_data[idx] query_pid query_item[pid] query_img Image.open(query_item[img_path]).convert(RGB) # 隨機選擇一個包含該pid的正樣本圖庫框 pos_gallery_infos self.pid_to_gallery_indices.get(query_pid, []) if not pos_gallery_infos: # 如果找不到正樣本可能該查詢只出現(xiàn)在查詢集回退到查詢圖像本身或其他策略 pos_gallery_idx, pos_box_idx idx, 0 else: pos_gallery_idx, pos_box_idx random.choice(pos_gallery_infos) gallery_item self.gallery_data[pos_gallery_idx] gallery_img_full Image.open(gallery_item[img_path]).convert(RGB) pos_box gallery_item[boxes][pos_box_idx] # [x1, y1, w, h] # 裁剪出正樣本區(qū)域 pos_gallery_patch gallery_img_full.crop((pos_box[0], pos_box[1], pos_box[0]pos_box[2], pos_box[1]pos_box[3])) if self.transform: query_img self.transform(query_img) pos_gallery_patch self.transform(pos_gallery_patch) return query_img, pos_gallery_patch, query_pid else: # 測試/推理時返回整張圖庫圖像及其所有標(biāo)注框用于評估檢測和檢索 gallery_item self.gallery_data[idx] img Image.open(gallery_item[img_path]).convert(RGB) boxes torch.tensor(gallery_item[boxes], dtypetorch.float32) pids torch.tensor(gallery_item[gt_pids], dtypetorch.long) if self.transform: img self.transform(img) return img, boxes, pids, gallery_item[img_path]這個Dataset類是一個高度簡化的示例真實的實現(xiàn)會更復(fù)雜需要處理批量采樣如PK采樣即每個批次包含P個身份每個身份K張圖片、更復(fù)雜的數(shù)據(jù)增強、以及測試時的高效圖像處理。5. 基于CUHK-SYSU的算法訓(xùn)練核心要點與調(diào)參經(jīng)驗有了數(shù)據(jù)管道下一步就是設(shè)計或選擇模型進(jìn)行訓(xùn)練。行人搜索的主流方法分為“兩階段”和“一階段”。5.1 兩階段 vs. 一階段方法兩階段方法這是早期和許多經(jīng)典工作采用的范式。第一階段用一個現(xiàn)成的檢測器如Faster R-CNN在圖庫圖像中提取所有行人候選框。第二階段用一個獨立的行人重識別網(wǎng)絡(luò)如ResNet-50 全局池化對每個候選框提取特征然后與查詢特征計算相似度排序。優(yōu)點模塊清晰可以分別利用檢測和ReID領(lǐng)域的最優(yōu)模型。缺點流程冗長速度慢檢測誤差會傳播到ReID階段且兩個階段的目標(biāo)分類/定位 vs. 特征度量可能不一致。一階段端到端方法這是當(dāng)前的研究熱點。設(shè)計一個統(tǒng)一的網(wǎng)絡(luò)共享主干特征同時輸出檢測框和對應(yīng)的ReID特征向量。代表工作有OIMOnline Instance MatchingNPSM等。優(yōu)點效率高聯(lián)合優(yōu)化可能獲得更好的特征表示避免了誤差傳播。缺點模型設(shè)計更復(fù)雜訓(xùn)練難度大需要精心設(shè)計損失函數(shù)來平衡檢測和ReID任務(wù)。對于初學(xué)者或工程落地我建議從兩階段方法開始。它雖然不夠“優(yōu)雅”但更穩(wěn)定更容易調(diào)試和理解每一部分的問題所在。5.2 損失函數(shù)設(shè)計多任務(wù)學(xué)習(xí)的平衡術(shù)無論是兩階段還是一階段損失函數(shù)都至關(guān)重要。檢測損失對于兩階段方法就是檢測器本身的損失如Faster R-CNN的RPN損失和ROI損失。對于一階段方法通常是在特征圖上應(yīng)用類似YOLO或FCOS的檢測頭使用分類損失如Focal Loss和回歸損失如GIoU Loss。重識別損失這是提升檢索精度的關(guān)鍵。常見的有身份分類損失ID Loss將每個行人ID視為一個獨立的類別在特征后接一個全連接層進(jìn)行分類。這是最直接的方式能學(xué)習(xí)到判別性特征。CUHK-SYSU有上千個ID所以這是一個大規(guī)模分類問題。三元組損失Triplet Loss拉近同一ID錨點與正樣本的特征距離推遠(yuǎn)不同ID錨點與負(fù)樣本的特征距離。它對樣本采樣非常敏感。在線實例匹配損失OIM Loss這是一階段經(jīng)典論文OIM提出的。它維護(hù)一個動態(tài)的查找表Look-up Table存儲所有ID的特征原型和一個環(huán)形隊列存儲未標(biāo)記的干擾項特征。通過計算相似度并優(yōu)化對數(shù)似然能同時利用標(biāo)注ID和大量未標(biāo)注的干擾項進(jìn)行學(xué)習(xí)非常適合CUHK-SYSU這種有大量pid-1干擾項的數(shù)據(jù)集。實操心得在訓(xùn)練初期優(yōu)先使用ID Loss它收斂穩(wěn)定能快速為網(wǎng)絡(luò)提供一個好的特征初始化。在模型有一定基礎(chǔ)后可以引入OIM Loss或Triplet Loss作為輔助進(jìn)一步優(yōu)化特征空間的結(jié)構(gòu)。損失函數(shù)的權(quán)重需要仔細(xì)調(diào)校檢測損失和ReID損失的平衡比例如1:1, 1:2需要通過驗證集mAP來調(diào)整。5.3 數(shù)據(jù)增強策略針對行人搜索的特化處理通用的圖像增強如隨機翻轉(zhuǎn)、裁剪、色彩抖動是基礎(chǔ)。但對于行人搜索需要更有針對性的策略遮擋模擬Random Erasing / CutOut隨機擦除圖像中的矩形區(qū)域強制模型不依賴于局部紋理而學(xué)習(xí)更全局、魯棒的特征。這對處理CUHK-SYSU中的真實遮擋非常有效。姿態(tài)不變性增強雖然不直接改變姿態(tài)但可以通過姿態(tài)估計模型如OpenPose獲取關(guān)鍵點然后進(jìn)行基于姿態(tài)的對抗性訓(xùn)練讓特征對姿態(tài)變化更不敏感。這是一個高級技巧。跨分辨率訓(xùn)練由于數(shù)據(jù)集中圖像分辨率不一在訓(xùn)練時可以將圖像隨機縮放到一個范圍如[256, 512]而不是固定尺寸增強模型對尺度變化的適應(yīng)性。5.4 關(guān)鍵超參數(shù)設(shè)置參考以下是一些在PyTorch環(huán)境下使用ResNet-50作為主干網(wǎng)絡(luò)訓(xùn)練兩階段模型時的經(jīng)驗性參數(shù)超參數(shù)推薦值/范圍說明與調(diào)整建議初始學(xué)習(xí)率3.5e-4對于Adam優(yōu)化器這是一個不錯的起點。如果使用SGD可以從0.01開始。批量大小16在GPU內(nèi)存允許下盡可能大。對于兩階段模型這是指查詢圖像的數(shù)量。圖庫圖像通常以更大批次單獨處理。圖像尺寸384 x 128行人圖像的常見高寬比。也可以嘗試256x128或512x256。固定比例比固定尺寸更重要。優(yōu)化器Adam在行人ReID任務(wù)上Adam通常比SGD收斂更快、更穩(wěn)定。學(xué)習(xí)率調(diào)度Cosine Annealing或MultiStepLR在總epoch的[40, 70]處衰減0.1。Cosine Annealing通常效果更好。總訓(xùn)練輪數(shù)80-120需要足夠輪數(shù)使模型充分收斂可通過驗證集mAP不再上升來判斷。檢測模型預(yù)訓(xùn)練COCO預(yù)訓(xùn)練權(quán)重強烈建議使用在COCO上預(yù)訓(xùn)練的檢測器如Faster R-CNN而不是ImageNet分類預(yù)訓(xùn)練。前者具有更強的定位能力。ReID主干預(yù)訓(xùn)練ImageNet預(yù)訓(xùn)練權(quán)重標(biāo)準(zhǔn)做法。注意以上參數(shù)僅為起點。最重要的調(diào)參依據(jù)是驗證集可以從訓(xùn)練集中劃出一部分如20%的mAP。每次只調(diào)整一個參數(shù)觀察其變化趨勢。6. 評估流程、常見問題與排查技巧訓(xùn)練完成后在測試集上進(jìn)行標(biāo)準(zhǔn)評估是檢驗成果的最后一步。這個過程也最容易出現(xiàn)問題。6.1 標(biāo)準(zhǔn)評估流程復(fù)現(xiàn)評估腳本需要嚴(yán)格按照數(shù)據(jù)集的官方設(shè)定來寫核心步驟如下特征提取使用訓(xùn)練好的模型為所有查詢圖像提取特征向量通常是一個2048維或512維的向量。使用同一個模型為所有測試集圖庫圖像提取特征。這里有兩種策略(a) 用訓(xùn)練好的檢測器先檢測出所有框再對每個框提特征(b) 如果是一階段模型可能直接輸出框和特征。相似度計算對于每個查詢特征計算它與所有圖庫框特征的余弦距離或歐氏距離。余弦距離更常用因為它對特征幅值不敏感只關(guān)注方向。排序與匹配對每個查詢根據(jù)相似度對所有圖庫框進(jìn)行降序排序相似度越高排名越前。計算指標(biāo)根據(jù)排序結(jié)果和真實標(biāo)簽計算該查詢的AP。遍歷所有查詢計算平均APmAP和Top-k命中率。6.2 常見問題排查表在評估時如果你的結(jié)果遠(yuǎn)低于論文中的基準(zhǔn)例如經(jīng)典方法mAP應(yīng)在75%以上Top-1在80%左右請按以下順序排查問題現(xiàn)象可能原因排查與解決思路mAP極低10%1. 特征提取錯誤如用了錯誤的層。2. 查詢和圖庫特征維度不一致或未歸一化。3. 數(shù)據(jù)預(yù)處理不一致訓(xùn)練和評估的Resize、歸一化參數(shù)不同。4. 標(biāo)簽ID對應(yīng)錯誤。1. 檢查模型forward函數(shù)確保提取的是池化后的特征向量而非分類logits。2. 確保查詢和圖庫特征都進(jìn)行了L2歸一化feat F.normalize(feat, p2, dim1)。3. 確保評估時使用的transform與訓(xùn)練時驗證階段的完全一致通常只做Resize和ToTensor不做隨機增強。4. 打印幾個樣本的查詢PID和匹配到的圖庫PID檢查對應(yīng)關(guān)系是否正確。Top-1尚可但mAP很低模型傾向于將最像的排在第一位但對后續(xù)的正樣本排序混亂。這通常意味著模型判別力不足無法很好地區(qū)分相似的不同個體。1.加強難負(fù)樣本挖掘在訓(xùn)練中引入更困難的三元組樣本。2.調(diào)整損失函數(shù)權(quán)重增加OIM Loss或Triplet Loss的權(quán)重迫使特征空間更分散。3.使用BNNeck等結(jié)構(gòu)在特征層后、分類層前加入一個批歸一化層分離分類任務(wù)和度量學(xué)習(xí)任務(wù)的特征空間。訓(xùn)練損失震蕩不降1. 學(xué)習(xí)率過高。2. 批量大小太小。3. 數(shù)據(jù)中存在異常標(biāo)簽或損壞圖像。1. 將學(xué)習(xí)率降低一個數(shù)量級如從3e-4降到3e-5試試。2. 嘗試梯度累積來模擬更大批量。3. 檢查數(shù)據(jù)加載流程確保圖像能正常打開標(biāo)簽值在合理范圍內(nèi)。驗證集mAP早早就飽和1. 模型容量不足網(wǎng)絡(luò)太淺。2. 數(shù)據(jù)增強不夠?qū)е逻^擬合。3. 身份分類損失占主導(dǎo)模型只學(xué)會了區(qū)分訓(xùn)練ID但特征泛化性差。1. 換用更深的骨干網(wǎng)絡(luò)如ResNet-101。2. 增強數(shù)據(jù)增強力度特別是加入Random Erasing。3. 在訓(xùn)練中后期降低ID Loss權(quán)重提升度量學(xué)習(xí)損失的權(quán)重。6.3 一個實用的Debug技巧可視化檢索結(jié)果當(dāng)指標(biāo)不正常時最直觀的方法是可視化幾個查詢的檢索結(jié)果。def visualize_retrieval(query_img_path, top_k_indices, gallery_data, save_pathretrieval_result.jpg): 可視化一個查詢的前K個檢索結(jié)果。 query_img_path: 查詢圖片路徑 top_k_indices: 檢索到的top K個圖庫框的索引列表每個索引可能包含圖庫圖像索引框索引 gallery_data: 圖庫標(biāo)注數(shù)據(jù)列表 import matplotlib.pyplot as plt query_img Image.open(query_img_path) fig, axes plt.subplots(1, 6, figsize(20, 5)) # 1行顯示查詢前5個結(jié)果 axes[0].imshow(query_img) axes[0].set_title(Query) axes[0].axis(off) for i, (g_idx, b_idx) in enumerate(top_k_indices[:5]): gallery_item gallery_data[g_idx] gallery_img Image.open(gallery_item[img_path]) box gallery_item[boxes][b_idx] # 裁剪框 patch gallery_img.crop((box[0], box[1], box[0]box[2], box[1]box[3])) axes[i1].imshow(patch) pid gallery_item[gt_pids][b_idx] # 用顏色標(biāo)記是否正確匹配假設(shè)你知道查詢的gt_pid color green if pid query_pid else red axes[i1].set_title(fRank {i1}\nPID:{pid}, colorcolor) axes[i1].axis(off) plt.tight_layout() plt.savefig(save_path) plt.show()通過觀察錯誤匹配的樣本你可以直觀地看到模型在哪里出了問題是姿勢差異大是遮擋嚴(yán)重還是背景干擾太強這能為你后續(xù)的模型改進(jìn)提供最直接的靈感。7. 超越基準(zhǔn)針對CUHK-SYSU的進(jìn)階優(yōu)化思路當(dāng)你跑通基線模型后可以嘗試以下方向進(jìn)行優(yōu)化以追求更高的性能或更好的實用性。7.1 引入更強的檢測骨干網(wǎng)絡(luò)兩階段方法的性能上限很大程度上受限于檢測器。可以考慮更換檢測器將Faster R-CNN更換為性能更強的Cascade R-CNN或Dynamic R-CNN它們能提供更高質(zhì)量的候選框。使用Transformer檢測器如DETR或Deformable DETR。這類檢測器沒有NMS后處理能提供更全局的特征理解可能對嚴(yán)重遮擋的場景有奇效。不過訓(xùn)練難度和計算成本也更高。7.2 設(shè)計更高效的ReID特征學(xué)習(xí)模塊局部特征學(xué)習(xí)全局池化會丟失空間細(xì)節(jié)。可以引入水平切分Part-based方法將最后的特征圖水平切成若干塊分別提取特征再融合。或者使用注意力機制如Non-local Transformer Block讓模型自適應(yīng)地關(guān)注有判別力的局部區(qū)域。度量學(xué)習(xí)改進(jìn)除了基礎(chǔ)的ID Loss和Triplet Loss可以探索ArcFace Loss、Circle Loss等更先進(jìn)的度量學(xué)習(xí)損失它們能優(yōu)化特征空間中的角度邊際獲得更具判別性的特征。重排序Re-ranking這是一個后處理技巧不改變模型但能穩(wěn)定提升mAP幾個點。它利用檢索結(jié)果中頂部的樣本之間的相互關(guān)系如k-reciprocal nearest neighbors對初始排序進(jìn)行二次優(yōu)化。在CUHK-SYSU上重排序通常能帶來2-4%的mAP提升。7.3 利用未標(biāo)注的干擾項-1標(biāo)簽CUHK-SYSU中大量的pid-1的框是“免費的”未標(biāo)注數(shù)據(jù)。OIM Loss已經(jīng)利用了這一點。你可以更進(jìn)一步無監(jiān)督/自監(jiān)督學(xué)習(xí)將這些干擾項視為無標(biāo)簽數(shù)據(jù)應(yīng)用對比學(xué)習(xí)如MoCo, SimCLR的思路讓模型學(xué)習(xí)到更通用的行人表示。偽標(biāo)簽生成用訓(xùn)練好的模型對這些干擾項進(jìn)行預(yù)測將高置信度的預(yù)測結(jié)果作為偽標(biāo)簽加入下一輪的訓(xùn)練中進(jìn)行迭代式自訓(xùn)練。處理CUHK-SYSU數(shù)據(jù)集的過程是一個典型的從數(shù)據(jù)理解、管道搭建、模型訓(xùn)練到問題排查的完整深度學(xué)習(xí)項目閉環(huán)。它涉及計算機視覺中目標(biāo)檢測和重識別兩個核心領(lǐng)域?qū)こ虒崿F(xiàn)和理論理解都有一定要求。我最深的體會是數(shù)據(jù)決定了天花板而代碼實現(xiàn)和調(diào)參技巧決定了你能多接近這個天花板。很多時候性能上不去不是模型不夠新而是數(shù)據(jù)預(yù)處理的一個小bug或者是損失函數(shù)權(quán)重比例沒有調(diào)好。耐心地做好每一步仔細(xì)地分析每一個中間結(jié)果你就能從這個經(jīng)典數(shù)據(jù)集中收獲遠(yuǎn)超一個簡單模型復(fù)現(xiàn)的寶貴經(jīng)驗。 CUHK-SYSU行人搜索數(shù)據(jù)集：從原理到實戰(zhàn)的完整指南
1. 項目概述為什么我們需要CUHK-SYSU行人搜索數(shù)據(jù)集在計算機視覺領(lǐng)域尤其是安防監(jiān)控、智能零售和智慧城市等應(yīng)用場景中“行人搜索”是一個既基礎(chǔ)又極具挑戰(zhàn)性的任務(wù)。它不同于單純的行人檢測只框出畫面中的人或行人重識別在跨攝像頭場景下匹配同一個人而是將兩者結(jié)合首先在復(fù)雜的、未經(jīng)裁剪的大尺度圖像中定位出行人然后從這些定位出的行人中找到與給定查詢?nèi)宋锿ǔＪ且粡埐眉艉玫男腥藞D片身份相同的個體。你可以把它想象成在一個大型商場或交通樞紐的監(jiān)控畫面里不僅要“看到”所有人還要“認(rèn)出”那個穿著紅色外套、背著藍(lán)色書包的特定目標(biāo)。十年前這個領(lǐng)域的研究者面臨一個尷尬的境地要么用檢測數(shù)據(jù)集如VOC、COCO和重識別數(shù)據(jù)集如Market-1501拼湊著用流程割裂效果不佳要么自己費時費力去采集和標(biāo)注數(shù)據(jù)。正是在這樣的背景下CUHK-SYSU數(shù)據(jù)集應(yīng)運而生。它由香港中文大學(xué)和中山大學(xué)聯(lián)合發(fā)布是首個大規(guī)模、專門為行人搜索任務(wù)設(shè)計的公開數(shù)據(jù)集。它的出現(xiàn)為這個子領(lǐng)域的研究樹立了一個統(tǒng)一的基準(zhǔn)極大地推動了相關(guān)算法的發(fā)展。簡單說如果你想做行人搜索相關(guān)的研究或工程驗證CUHK-SYSU幾乎是繞不開的“必修課”。它定義了任務(wù)的標(biāo)準(zhǔn)形式也包含了現(xiàn)實場景中會遇到的絕大多數(shù)挑戰(zhàn)遮擋、姿態(tài)變化、光照差異、背景雜亂以及海量的干擾項。2. 數(shù)據(jù)集核心結(jié)構(gòu)與設(shè)計邏輯拆解理解一個數(shù)據(jù)集絕不能只看它包含了多少張圖片或多少個標(biāo)注框更要理解其設(shè)計者構(gòu)建它的邏輯和意圖。CUHK-SYSU的設(shè)計充滿了巧思其結(jié)構(gòu)直接反映了行人搜索任務(wù)的核心難點。2.1 數(shù)據(jù)來源與場景構(gòu)成數(shù)據(jù)集主要包含兩部分圖像源一是從電影、電視劇中截取的幀二是從街頭實地拍攝的監(jiān)控風(fēng)格圖像。這種混合來源的設(shè)計非常關(guān)鍵。影視劇片段提供了豐富的室內(nèi)外場景、多樣的服裝、復(fù)雜的社交互動以及相對清晰的畫面質(zhì)量。而街頭拍攝的圖像則更貼近真實的安防監(jiān)控條件存在更多的運動模糊、低分辨率、強烈光照變化和極其復(fù)雜的背景。兩者結(jié)合確保了數(shù)據(jù)集既能覆蓋算法需要學(xué)習(xí)的豐富外觀特征又能考驗其在真實惡劣條件下的魯棒性。整個數(shù)據(jù)集包含18,184張全景圖像Gallery Images和96,143個手工標(biāo)注的行人邊界框。更重要的是它提供了8,432個不同的行人身份Identity以及2,900個作為查詢Query的行人實例。平均每張全景圖里有超過5個人這模擬了真實監(jiān)控畫面中人群密集的場景。2.2 查詢集Query Set與圖庫集Gallery Set的定義這是行人搜索數(shù)據(jù)集最核心的結(jié)構(gòu)也是其區(qū)別于檢測或重識別數(shù)據(jù)集的關(guān)鍵。查詢集你可以把它理解成“要找的人的照片”。它由2,900張經(jīng)過裁剪的、只包含目標(biāo)行人的圖片組成。每張查詢圖片對應(yīng)一個唯一的行人ID。在任務(wù)中算法會依次接收這些查詢圖片然后去龐大的圖庫集中尋找同一個人。圖庫集這就是“要被搜索的監(jiān)控畫面全集”。它由18,184張未經(jīng)裁剪的原始圖像組成。每張圖里包含數(shù)量不等的行人每個行人都被標(biāo)注了邊界框和身份ID如果是未知身份或無法標(biāo)注則標(biāo)記為“-1”。任務(wù)流程因此非常清晰給定一張查詢圖片算法需要在所有圖庫圖像的所有標(biāo)注框中找出那些與查詢ID相同的框。這要求算法必須同時完成“檢測”在圖庫圖像中找到所有行人框和“重識別”判斷這些框的身份是否與查詢匹配兩個子任務(wù)。2.3 標(biāo)注信息的深度解析數(shù)據(jù)集的標(biāo)注文件通常是一個.mat或.json文件是寶藏所在。我們以常見的格式為例深入看看里面有什么圖庫標(biāo)注通常是一個列表列表中的每個元素對應(yīng)一張圖庫圖像。每個元素包含img_path: 圖像路徑。boxes: 一個N x 4的矩陣表示這張圖里N個行人檢測框的坐標(biāo)[x_top_left, y_top_left, width, height]。gt_pids: 一個長度為N的列表表示每個框?qū)?yīng)的行人身份ID。-1表示該行人身份未知或不是關(guān)注的查詢目標(biāo)即干擾項。gt_bbox和gt_pid有時會分開表示但含義相同。查詢標(biāo)注也是一個列表每個元素對應(yīng)一個查詢。img_path: 查詢圖片的路徑。pid: 該查詢目標(biāo)的身份ID。cam_id(可選): 攝像頭ID在評估跨攝像頭性能時有用。bbox(可選): 有時會提供該查詢目標(biāo)在原圖中的邊界框坐標(biāo)主要用于分析。注意不同版本的數(shù)據(jù)集如原始版、或經(jīng)過社區(qū)處理的PyTorch友好版標(biāo)注格式可能有細(xì)微差別使用前務(wù)必仔細(xì)閱讀其自述文件。一個常見的“坑”是坐標(biāo)格式可能是[x1, y1, x2, y2]右下角坐標(biāo)而非[x1, y1, w, h]寬高在數(shù)據(jù)加載時需要進(jìn)行統(tǒng)一轉(zhuǎn)換。2.4 訓(xùn)練集與測試集的劃分CUHK-SYSU采用了身份不相交的劃分方式這是行人重識別領(lǐng)域的標(biāo)準(zhǔn)做法以確保評估的公正性。訓(xùn)練集包含11,206張圖庫圖像和5,532個查詢身份。這些身份對應(yīng)的行人只會出現(xiàn)在訓(xùn)練集中。測試集包含6,978張圖庫圖像和2,900個查詢身份。測試集的身份與訓(xùn)練集完全互斥。這意味著算法在測試階段遇到的都是“從未見過”的新行人這迫使模型必須學(xué)習(xí)到泛化性強的行人特征表示而不是簡單地記住訓(xùn)練集里人的樣子。3. 數(shù)據(jù)集的核心挑戰(zhàn)與算法評價指標(biāo)一個優(yōu)秀的數(shù)據(jù)集其價值在于它能精準(zhǔn)地暴露算法的弱點。CUHK-SYSU在設(shè)計時就內(nèi)置了多個現(xiàn)實世界的挑戰(zhàn)。3.1 內(nèi)置的四大現(xiàn)實挑戰(zhàn)跨場景與光照變化從明亮的室外街道到昏暗的室內(nèi)走廊從影視劇的均勻打光到監(jiān)控攝像頭的逆光、側(cè)光要求模型對光照變化不敏感。姿態(tài)與視角多樣性行人以正面、背面、側(cè)面、蹲下、奔跑等各種姿態(tài)出現(xiàn)攝像頭視角也有高低、遠(yuǎn)近之分。嚴(yán)重遮擋這是監(jiān)控場景中最常見也最棘手的問題。行人可能被車輛、建筑物、其他行人部分甚至大部分遮擋。數(shù)據(jù)集中有大量此類樣本直接考驗?zāi)Ｐ吞幚聿煌暾庥^信息的能力。海量干擾項Distractors每張圖庫圖像平均有5個以上的行人而目標(biāo)可能只出現(xiàn)一次。算法需要在成百上千個無關(guān)的候選框中做出正確選擇這要求模型具有極高的判別力。3.2 評價指標(biāo)詳解mAP與Top-k行人搜索任務(wù)的評價綜合了檢測和重識別的性能主要采用以下指標(biāo)平均精度均值Mean Average Precision, mAP這是最核心、最綜合的指標(biāo)。對于每個查詢算法會返回在圖庫中檢索到的所有邊界框并按與查詢的相似度排序。計算這個排序列表的Average Precision (AP)然后對所有查詢的AP取平均即得到mAP。mAP同時考慮了檢索的準(zhǔn)確率Precision和召回率Recall。一個高mAP意味著算法不僅能找到大部分目標(biāo)高召回而且返回的結(jié)果中正確目標(biāo)排得很靠前高準(zhǔn)確率。計算過程簡述對于單個查詢算法返回一個排序列表。我們從上到下遍歷這個列表每遇到一個正確匹配True Positive就計算當(dāng)前的準(zhǔn)確率到當(dāng)前位置為止正確結(jié)果數(shù) / 已檢查結(jié)果數(shù)。然后以召回率為橫軸準(zhǔn)確率為縱軸可以畫出一條鋸齒狀的曲線。這條曲線下的面積就是該查詢的AP。對所有查詢的AP取平均即得mAP。Top-k 命中率Top-k Accuracy這是一個更直觀的指標(biāo)。它檢查在算法返回的前k個最相似結(jié)果中是否至少包含一個正確匹配。常用的有Top-1和Top-5。Top-1排名第一的結(jié)果是否正確。這非常嚴(yán)格。Top-5前五個結(jié)果中是否包含正確答案。這在實用中更有意義因為在實際安防系統(tǒng)中操作員通常愿意查看前幾個候選。在CUHK-SYSU的論文和大多數(shù)后續(xù)研究中mAP是衡量算法性能的首要指標(biāo)因為它比Top-k更能全面反映算法在整個檢索列表上的質(zhì)量。4. 數(shù)據(jù)準(zhǔn)備與預(yù)處理實戰(zhàn)指南拿到數(shù)據(jù)集壓縮包后如何將其轉(zhuǎn)換成深度學(xué)習(xí)框架如PyTorch, TensorFlow可以高效讀取的格式是項目的第一步也是容易踩坑的一步。4.1 數(shù)據(jù)下載與目錄結(jié)構(gòu)組織通常從官網(wǎng)或?qū)W術(shù)資源站下載的數(shù)據(jù)集是一個壓縮包解壓后結(jié)構(gòu)可能比較原始。我強烈建議按照以下邏輯重新組織目錄這會給后續(xù)的代碼編寫帶來巨大便利。CUHK-SYSU/ ├── dataset/ │ ├── gallery/ # 存放所有18,184張原始圖庫圖像 │ │ ├── scene1/ │ │ ├── scene2/ │ │ └── ... │ ├── query/ # 存放所有2,900張裁剪好的查詢圖像 │ └── train/ # 可選將訓(xùn)練集圖像鏈接或復(fù)制到這里便于管理 ├── annotation/ │ ├── train.mat # 官方訓(xùn)練集標(biāo)注 │ ├── test.mat # 官方測試集標(biāo)注 │ └── all_bbox.json # 社區(qū)常見的JSON格式轉(zhuǎn)換版更易用 └── splits/ # 存放自己劃分的數(shù)據(jù)集列表文件 ├── train_list.txt └── test_list.txt實操心得不要直接在原始圖像目錄上進(jìn)行操作。先完整備份一份原始數(shù)據(jù)。所有的預(yù)處理如裁剪、縮放都應(yīng)該生成新的文件保留原始數(shù)據(jù)以備不時之需。4.2 標(biāo)注文件解析與格式轉(zhuǎn)換官方標(biāo)注通常是MATLAB的.mat文件。如果你用Python可以用scipy.io.loadmat來加載。但.mat文件在非MATLAB環(huán)境下處理起來并不優(yōu)雅。一個常見的做法是將其轉(zhuǎn)換為JSON或Pickle格式。import scipy.io as sio import json import os # 加載MAT文件 mat_data sio.loadmat(annotation/train.mat) # 注意.mat文件中的變量名需要打開查看確認(rèn)常見的是‘train’或‘gallery’ train_gallery mat_data[train] # 這可能是一個結(jié)構(gòu)化數(shù)組 # 轉(zhuǎn)換為Python字典列表 gallery_list [] for i in range(len(train_gallery)): item train_gallery[i] img_path item[img_path][0] # 注意MATLAB字符串的索引方式 boxes item[boxes][0] # N x 4 gt_pids item[gt_pids][0].flatten() # N, # 處理-1標(biāo)簽有時需要轉(zhuǎn)換為0或一個特定的背景ID gallery_list.append({ img_path: img_path, boxes: boxes.tolist(), gt_pids: gt_pids.tolist() }) # 保存為JSON with open(annotation/train_gallery.json, w) as f: json.dump(gallery_list, f)關(guān)鍵點仔細(xì)檢查gt_pids中的-1。在訓(xùn)練檢測器時通常需要將-1視為背景類或直接忽略。在訓(xùn)練聯(lián)合模型時需要設(shè)計好損失函數(shù)確保這些“干擾項”不被錯誤地優(yōu)化。4.3 構(gòu)建PyTorch Dataset類這是將數(shù)據(jù)喂給模型的核心環(huán)節(jié)。一個健壯的Dataset類需要處理好圖像讀取、數(shù)據(jù)增強、標(biāo)簽對齊等。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class PersonSearchDataset(Dataset): def __init__(self, gallery_json, query_json, transformNone, is_trainingTrue): Args: gallery_json: 圖庫標(biāo)注列表 query_json: 查詢標(biāo)注列表 transform: 圖像增強變換 is_training: 是否為訓(xùn)練模式訓(xùn)練時需返回查詢-圖庫對 self.gallery_data self._load_annotations(gallery_json) self.query_data self._load_annotations(query_json) self.transform transform self.is_training is_training # 為訓(xùn)練構(gòu)建查詢-正樣本對索引簡化示例 if is_training: self.pid_to_gallery_indices self._build_pid_index() def _load_annotations(self, json_path): # 加載并預(yù)處理標(biāo)注 with open(json_path, r) as f: data json.load(f) # 可能需要的預(yù)處理路徑補全坐標(biāo)格式轉(zhuǎn)換 for item in data: item[img_path] os.path.join(dataset, item[img_path]) return data def _build_pid_index(self): # 建立一個字典將行人ID映射到圖庫中所有包含該ID的圖像索引和框索引 pid_index {} for gallery_idx, gallery_item in enumerate(self.gallery_data): for box_idx, pid in enumerate(gallery_item[gt_pids]): if pid ! -1: # 忽略干擾項 if pid not in pid_index: pid_index[pid] [] pid_index[pid].append((gallery_idx, box_idx)) return pid_index def __len__(self): return len(self.query_data) if self.is_training else len(self.gallery_data) def __getitem__(self, idx): if self.is_training: # 訓(xùn)練時返回一個查詢圖像和對應(yīng)的一個正樣本圖庫區(qū)域以及可能的負(fù)樣本 query_item self.query_data[idx] query_pid query_item[pid] query_img Image.open(query_item[img_path]).convert(RGB) # 隨機選擇一個包含該pid的正樣本圖庫框 pos_gallery_infos self.pid_to_gallery_indices.get(query_pid, []) if not pos_gallery_infos: # 如果找不到正樣本可能該查詢只出現(xiàn)在查詢集回退到查詢圖像本身或其他策略 pos_gallery_idx, pos_box_idx idx, 0 else: pos_gallery_idx, pos_box_idx random.choice(pos_gallery_infos) gallery_item self.gallery_data[pos_gallery_idx] gallery_img_full Image.open(gallery_item[img_path]).convert(RGB) pos_box gallery_item[boxes][pos_box_idx] # [x1, y1, w, h] # 裁剪出正樣本區(qū)域 pos_gallery_patch gallery_img_full.crop((pos_box[0], pos_box[1], pos_box[0]pos_box[2], pos_box[1]pos_box[3])) if self.transform: query_img self.transform(query_img) pos_gallery_patch self.transform(pos_gallery_patch) return query_img, pos_gallery_patch, query_pid else: # 測試/推理時返回整張圖庫圖像及其所有標(biāo)注框用于評估檢測和檢索 gallery_item self.gallery_data[idx] img Image.open(gallery_item[img_path]).convert(RGB) boxes torch.tensor(gallery_item[boxes], dtypetorch.float32) pids torch.tensor(gallery_item[gt_pids], dtypetorch.long) if self.transform: img self.transform(img) return img, boxes, pids, gallery_item[img_path]這個Dataset類是一個高度簡化的示例真實的實現(xiàn)會更復(fù)雜需要處理批量采樣如PK采樣即每個批次包含P個身份每個身份K張圖片、更復(fù)雜的數(shù)據(jù)增強、以及測試時的高效圖像處理。5. 基于CUHK-SYSU的算法訓(xùn)練核心要點與調(diào)參經(jīng)驗有了數(shù)據(jù)管道下一步就是設(shè)計或選擇模型進(jìn)行訓(xùn)練。行人搜索的主流方法分為“兩階段”和“一階段”。5.1 兩階段 vs. 一階段方法兩階段方法這是早期和許多經(jīng)典工作采用的范式。第一階段用一個現(xiàn)成的檢測器如Faster R-CNN在圖庫圖像中提取所有行人候選框。第二階段用一個獨立的行人重識別網(wǎng)絡(luò)如ResNet-50 全局池化對每個候選框提取特征然后與查詢特征計算相似度排序。優(yōu)點模塊清晰可以分別利用檢測和ReID領(lǐng)域的最優(yōu)模型。缺點流程冗長速度慢檢測誤差會傳播到ReID階段且兩個階段的目標(biāo)分類/定位 vs. 特征度量可能不一致。一階段端到端方法這是當(dāng)前的研究熱點。設(shè)計一個統(tǒng)一的網(wǎng)絡(luò)共享主干特征同時輸出檢測框和對應(yīng)的ReID特征向量。代表工作有OIMOnline Instance MatchingNPSM等。優(yōu)點效率高聯(lián)合優(yōu)化可能獲得更好的特征表示避免了誤差傳播。缺點模型設(shè)計更復(fù)雜訓(xùn)練難度大需要精心設(shè)計損失函數(shù)來平衡檢測和ReID任務(wù)。對于初學(xué)者或工程落地我建議從兩階段方法開始。它雖然不夠“優(yōu)雅”但更穩(wěn)定更容易調(diào)試和理解每一部分的問題所在。5.2 損失函數(shù)設(shè)計多任務(wù)學(xué)習(xí)的平衡術(shù)無論是兩階段還是一階段損失函數(shù)都至關(guān)重要。檢測損失對于兩階段方法就是檢測器本身的損失如Faster R-CNN的RPN損失和ROI損失。對于一階段方法通常是在特征圖上應(yīng)用類似YOLO或FCOS的檢測頭使用分類損失如Focal Loss和回歸損失如GIoU Loss。重識別損失這是提升檢索精度的關(guān)鍵。常見的有身份分類損失ID Loss將每個行人ID視為一個獨立的類別在特征后接一個全連接層進(jìn)行分類。這是最直接的方式能學(xué)習(xí)到判別性特征。CUHK-SYSU有上千個ID所以這是一個大規(guī)模分類問題。三元組損失Triplet Loss拉近同一ID錨點與正樣本的特征距離推遠(yuǎn)不同ID錨點與負(fù)樣本的特征距離。它對樣本采樣非常敏感。在線實例匹配損失OIM Loss這是一階段經(jīng)典論文OIM提出的。它維護(hù)一個動態(tài)的查找表Look-up Table存儲所有ID的特征原型和一個環(huán)形隊列存儲未標(biāo)記的干擾項特征。通過計算相似度并優(yōu)化對數(shù)似然能同時利用標(biāo)注ID和大量未標(biāo)注的干擾項進(jìn)行學(xué)習(xí)非常適合CUHK-SYSU這種有大量pid-1干擾項的數(shù)據(jù)集。實操心得在訓(xùn)練初期優(yōu)先使用ID Loss它收斂穩(wěn)定能快速為網(wǎng)絡(luò)提供一個好的特征初始化。在模型有一定基礎(chǔ)后可以引入OIM Loss或Triplet Loss作為輔助進(jìn)一步優(yōu)化特征空間的結(jié)構(gòu)。損失函數(shù)的權(quán)重需要仔細(xì)調(diào)校檢測損失和ReID損失的平衡比例如1:1, 1:2需要通過驗證集mAP來調(diào)整。5.3 數(shù)據(jù)增強策略針對行人搜索的特化處理通用的圖像增強如隨機翻轉(zhuǎn)、裁剪、色彩抖動是基礎(chǔ)。但對于行人搜索需要更有針對性的策略遮擋模擬Random Erasing / CutOut隨機擦除圖像中的矩形區(qū)域強制模型不依賴于局部紋理而學(xué)習(xí)更全局、魯棒的特征。這對處理CUHK-SYSU中的真實遮擋非常有效。姿態(tài)不變性增強雖然不直接改變姿態(tài)但可以通過姿態(tài)估計模型如OpenPose獲取關(guān)鍵點然后進(jìn)行基于姿態(tài)的對抗性訓(xùn)練讓特征對姿態(tài)變化更不敏感。這是一個高級技巧。跨分辨率訓(xùn)練由于數(shù)據(jù)集中圖像分辨率不一在訓(xùn)練時可以將圖像隨機縮放到一個范圍如[256, 512]而不是固定尺寸增強模型對尺度變化的適應(yīng)性。5.4 關(guān)鍵超參數(shù)設(shè)置參考以下是一些在PyTorch環(huán)境下使用ResNet-50作為主干網(wǎng)絡(luò)訓(xùn)練兩階段模型時的經(jīng)驗性參數(shù)超參數(shù)推薦值/范圍說明與調(diào)整建議初始學(xué)習(xí)率3.5e-4對于Adam優(yōu)化器這是一個不錯的起點。如果使用SGD可以從0.01開始。批量大小16在GPU內(nèi)存允許下盡可能大。對于兩階段模型這是指查詢圖像的數(shù)量。圖庫圖像通常以更大批次單獨處理。圖像尺寸384 x 128行人圖像的常見高寬比。也可以嘗試256x128或512x256。固定比例比固定尺寸更重要。優(yōu)化器Adam在行人ReID任務(wù)上Adam通常比SGD收斂更快、更穩(wěn)定。學(xué)習(xí)率調(diào)度Cosine Annealing或MultiStepLR在總epoch的[40, 70]處衰減0.1。Cosine Annealing通常效果更好。總訓(xùn)練輪數(shù)80-120需要足夠輪數(shù)使模型充分收斂可通過驗證集mAP不再上升來判斷。檢測模型預(yù)訓(xùn)練COCO預(yù)訓(xùn)練權(quán)重強烈建議使用在COCO上預(yù)訓(xùn)練的檢測器如Faster R-CNN而不是ImageNet分類預(yù)訓(xùn)練。前者具有更強的定位能力。ReID主干預(yù)訓(xùn)練ImageNet預(yù)訓(xùn)練權(quán)重標(biāo)準(zhǔn)做法。注意以上參數(shù)僅為起點。最重要的調(diào)參依據(jù)是驗證集可以從訓(xùn)練集中劃出一部分如20%的mAP。每次只調(diào)整一個參數(shù)觀察其變化趨勢。6. 評估流程、常見問題與排查技巧訓(xùn)練完成后在測試集上進(jìn)行標(biāo)準(zhǔn)評估是檢驗成果的最后一步。這個過程也最容易出現(xiàn)問題。6.1 標(biāo)準(zhǔn)評估流程復(fù)現(xiàn)評估腳本需要嚴(yán)格按照數(shù)據(jù)集的官方設(shè)定來寫核心步驟如下特征提取使用訓(xùn)練好的模型為所有查詢圖像提取特征向量通常是一個2048維或512維的向量。使用同一個模型為所有測試集圖庫圖像提取特征。這里有兩種策略(a) 用訓(xùn)練好的檢測器先檢測出所有框再對每個框提特征(b) 如果是一階段模型可能直接輸出框和特征。相似度計算對于每個查詢特征計算它與所有圖庫框特征的余弦距離或歐氏距離。余弦距離更常用因為它對特征幅值不敏感只關(guān)注方向。排序與匹配對每個查詢根據(jù)相似度對所有圖庫框進(jìn)行降序排序相似度越高排名越前。計算指標(biāo)根據(jù)排序結(jié)果和真實標(biāo)簽計算該查詢的AP。遍歷所有查詢計算平均APmAP和Top-k命中率。6.2 常見問題排查表在評估時如果你的結(jié)果遠(yuǎn)低于論文中的基準(zhǔn)例如經(jīng)典方法mAP應(yīng)在75%以上Top-1在80%左右請按以下順序排查問題現(xiàn)象可能原因排查與解決思路mAP極低10%1. 特征提取錯誤如用了錯誤的層。2. 查詢和圖庫特征維度不一致或未歸一化。3. 數(shù)據(jù)預(yù)處理不一致訓(xùn)練和評估的Resize、歸一化參數(shù)不同。4. 標(biāo)簽ID對應(yīng)錯誤。1. 檢查模型forward函數(shù)確保提取的是池化后的特征向量而非分類logits。2. 確保查詢和圖庫特征都進(jìn)行了L2歸一化feat F.normalize(feat, p2, dim1)。3. 確保評估時使用的transform與訓(xùn)練時驗證階段的完全一致通常只做Resize和ToTensor不做隨機增強。4. 打印幾個樣本的查詢PID和匹配到的圖庫PID檢查對應(yīng)關(guān)系是否正確。Top-1尚可但mAP很低模型傾向于將最像的排在第一位但對后續(xù)的正樣本排序混亂。這通常意味著模型判別力不足無法很好地區(qū)分相似的不同個體。1.加強難負(fù)樣本挖掘在訓(xùn)練中引入更困難的三元組樣本。2.調(diào)整損失函數(shù)權(quán)重增加OIM Loss或Triplet Loss的權(quán)重迫使特征空間更分散。3.使用BNNeck等結(jié)構(gòu)在特征層后、分類層前加入一個批歸一化層分離分類任務(wù)和度量學(xué)習(xí)任務(wù)的特征空間。訓(xùn)練損失震蕩不降1. 學(xué)習(xí)率過高。2. 批量大小太小。3. 數(shù)據(jù)中存在異常標(biāo)簽或損壞圖像。1. 將學(xué)習(xí)率降低一個數(shù)量級如從3e-4降到3e-5試試。2. 嘗試梯度累積來模擬更大批量。3. 檢查數(shù)據(jù)加載流程確保圖像能正常打開標(biāo)簽值在合理范圍內(nèi)。驗證集mAP早早就飽和1. 模型容量不足網(wǎng)絡(luò)太淺。2. 數(shù)據(jù)增強不夠?qū)е逻^擬合。3. 身份分類損失占主導(dǎo)模型只學(xué)會了區(qū)分訓(xùn)練ID但特征泛化性差。1. 換用更深的骨干網(wǎng)絡(luò)如ResNet-101。2. 增強數(shù)據(jù)增強力度特別是加入Random Erasing。3. 在訓(xùn)練中后期降低ID Loss權(quán)重提升度量學(xué)習(xí)損失的權(quán)重。6.3 一個實用的Debug技巧可視化檢索結(jié)果當(dāng)指標(biāo)不正常時最直觀的方法是可視化幾個查詢的檢索結(jié)果。def visualize_retrieval(query_img_path, top_k_indices, gallery_data, save_pathretrieval_result.jpg): 可視化一個查詢的前K個檢索結(jié)果。 query_img_path: 查詢圖片路徑 top_k_indices: 檢索到的top K個圖庫框的索引列表每個索引可能包含圖庫圖像索引框索引 gallery_data: 圖庫標(biāo)注數(shù)據(jù)列表 import matplotlib.pyplot as plt query_img Image.open(query_img_path) fig, axes plt.subplots(1, 6, figsize(20, 5)) # 1行顯示查詢前5個結(jié)果 axes[0].imshow(query_img) axes[0].set_title(Query) axes[0].axis(off) for i, (g_idx, b_idx) in enumerate(top_k_indices[:5]): gallery_item gallery_data[g_idx] gallery_img Image.open(gallery_item[img_path]) box gallery_item[boxes][b_idx] # 裁剪框 patch gallery_img.crop((box[0], box[1], box[0]box[2], box[1]box[3])) axes[i1].imshow(patch) pid gallery_item[gt_pids][b_idx] # 用顏色標(biāo)記是否正確匹配假設(shè)你知道查詢的gt_pid color green if pid query_pid else red axes[i1].set_title(fRank {i1}\nPID:{pid}, colorcolor) axes[i1].axis(off) plt.tight_layout() plt.savefig(save_path) plt.show()通過觀察錯誤匹配的樣本你可以直觀地看到模型在哪里出了問題是姿勢差異大是遮擋嚴(yán)重還是背景干擾太強這能為你后續(xù)的模型改進(jìn)提供最直接的靈感。7. 超越基準(zhǔn)針對CUHK-SYSU的進(jìn)階優(yōu)化思路當(dāng)你跑通基線模型后可以嘗試以下方向進(jìn)行優(yōu)化以追求更高的性能或更好的實用性。7.1 引入更強的檢測骨干網(wǎng)絡(luò)兩階段方法的性能上限很大程度上受限于檢測器。可以考慮更換檢測器將Faster R-CNN更換為性能更強的Cascade R-CNN或Dynamic R-CNN它們能提供更高質(zhì)量的候選框。使用Transformer檢測器如DETR或Deformable DETR。這類檢測器沒有NMS后處理能提供更全局的特征理解可能對嚴(yán)重遮擋的場景有奇效。不過訓(xùn)練難度和計算成本也更高。7.2 設(shè)計更高效的ReID特征學(xué)習(xí)模塊局部特征學(xué)習(xí)全局池化會丟失空間細(xì)節(jié)。可以引入水平切分Part-based方法將最后的特征圖水平切成若干塊分別提取特征再融合。或者使用注意力機制如Non-local Transformer Block讓模型自適應(yīng)地關(guān)注有判別力的局部區(qū)域。度量學(xué)習(xí)改進(jìn)除了基礎(chǔ)的ID Loss和Triplet Loss可以探索ArcFace Loss、Circle Loss等更先進(jìn)的度量學(xué)習(xí)損失它們能優(yōu)化特征空間中的角度邊際獲得更具判別性的特征。重排序Re-ranking這是一個后處理技巧不改變模型但能穩(wěn)定提升mAP幾個點。它利用檢索結(jié)果中頂部的樣本之間的相互關(guān)系如k-reciprocal nearest neighbors對初始排序進(jìn)行二次優(yōu)化。在CUHK-SYSU上重排序通常能帶來2-4%的mAP提升。7.3 利用未標(biāo)注的干擾項-1標(biāo)簽CUHK-SYSU中大量的pid-1的框是“免費的”未標(biāo)注數(shù)據(jù)。OIM Loss已經(jīng)利用了這一點。你可以更進(jìn)一步無監(jiān)督/自監(jiān)督學(xué)習(xí)將這些干擾項視為無標(biāo)簽數(shù)據(jù)應(yīng)用對比學(xué)習(xí)如MoCo, SimCLR的思路讓模型學(xué)習(xí)到更通用的行人表示。偽標(biāo)簽生成用訓(xùn)練好的模型對這些干擾項進(jìn)行預(yù)測將高置信度的預(yù)測結(jié)果作為偽標(biāo)簽加入下一輪的訓(xùn)練中進(jìn)行迭代式自訓(xùn)練。處理CUHK-SYSU數(shù)據(jù)集的過程是一個典型的從數(shù)據(jù)理解、管道搭建、模型訓(xùn)練到問題排查的完整深度學(xué)習(xí)項目閉環(huán)。它涉及計算機視覺中目標(biāo)檢測和重識別兩個核心領(lǐng)域?qū)こ虒崿F(xiàn)和理論理解都有一定要求。我最深的體會是數(shù)據(jù)決定了天花板而代碼實現(xiàn)和調(diào)參技巧決定了你能多接近這個天花板。很多時候性能上不去不是模型不夠新而是數(shù)據(jù)預(yù)處理的一個小bug或者是損失函數(shù)權(quán)重比例沒有調(diào)好。耐心地做好每一步仔細(xì)地分析每一個中間結(jié)果你就能從這個經(jīng)典數(shù)據(jù)集中收獲遠(yuǎn)超一個簡單模型復(fù)現(xiàn)的寶貴經(jīng)驗。