基于Python+Keras+OpenCV實(shí)現(xiàn)實(shí)時(shí)人臉活體檢測
def isBlinking(history, maxFrames): """ @history: A string containing the history of eyes status where a '1' means that the eyes were closed and '0' open. @m(xù)axFrames: The maximal number of successive frames where an eye is closed """ for i in range(maxFrames): pattern = '1' + '0'*(i+1) + '1' if pattern in history: return True return False3.活體的人臉識(shí)別我們幾乎擁有了建立“真實(shí)”人臉識(shí)別算法的所有要素,我們只需要一種實(shí)時(shí)檢測人臉和眼睛的方法。我使用openCV預(yù)先訓(xùn)練的Haar級(jí)聯(lián)分類器來完成這些任務(wù)。有關(guān)Haar cascade人臉和眼睛檢測的更多信息,我強(qiáng)烈建議你閱讀openCV的這篇強(qiáng)大的文章。https://docs.opencv.org/3.4.3/d7/d8b/tutorial_py_face_detection.htmldef detect_and_display(model, video_capture, face_detector, open_eyes_detector, left_eye_detector, right_eye_detector, data, eyes_detected): frame = video_capture.read() # 調(diào)整框架大小 frame = cv2.resize(frame, (0, 0), fx=0.6, fy=0.6)
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 檢測人臉 faces = face_detector.detectMultiScale( gray, scaleFactor=1.2, minNeighbors=5, minSize=(50, 50), flags=cv2.CASCADE_SCALE_IMAGE )
# 對于每個(gè)檢測到的臉 for (x,y,w,h) in faces: # 將人臉編碼為128維嵌入向量 encoding = face_recognition.face_encodings(rgb, [(y, x+w, y+h, x)])[0]
# 將向量與所有已知的人臉編碼進(jìn)行比較 matches = face_recognition.compare_faces(data["encodings"], encoding)
# 目前我們不知道該人的名字 name = "Unknown"
# 如果至少有一次匹配: if True in matches: matchedIdxs = [i for (i, b) in enumerate(matches) if b] counts = {} for i in matchedIdxs: name = data["names"][i] counts[name] = counts.get(name, 0) + 1
# 匹配次數(shù)最多的已知編碼對應(yīng)于檢測到的人臉名稱 name = max(counts, key=counts.get)
face = frame[y:y+h,x:x+w] gray_face = gray[y:y+h,x:x+w]
eyes = []
# 眼睛檢測 # 首先檢查眼睛是否睜開(考慮到眼鏡) open_eyes_glasses = open_eyes_detector.detectMultiScale(gray_face,scaleFactor=1.1,minNeighbors=5,minSize=(30, 30),flags = cv2.CASCADE_SCALE_IMAGE ) # 如果open_eyes_glasses檢測到眼睛,則眼睛睜開 if len(open_eyes_glasses) == 2: eyes_detected[name]+='1' for (ex,ey,ew,eh) in open_eyes_glasses: cv2.rectangle(face,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)
# 否則嘗試使用left和right_eye_detector檢測眼睛 # 以檢測到睜開和閉合的眼睛 else: # 將臉分成左右兩邊 left_face = frame[y:y+h, x+int(w/2):x+w] left_face_gray = gray[y:y+h, x+int(w/2):x+w]
right_face = frame[y:y+h, x:x+int(w/2)] right_face_gray = gray[y:y+h, x:x+int(w/2)]
# 檢測左眼 left_eye = left_eye_detector.detectMultiScale( left_face_gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE )
# 檢測右眼 right_eye = right_eye_detector.detectMultiScale( right_face_gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE )
eye_status = '1' # we suppose the eyes are open
# 檢查每只眼睛是否閉合。 # 如果有人閉著眼睛,我們得出結(jié)論是閉著眼睛 for (ex,ey,ew,eh) in right_eye: color = (0,255,0) pred = predict(right_face[ey:ey+eh,ex:ex+ew],model) if pred == 'closed': eye_status='0' color = (0,0,255) cv2.rectangle(right_face,(ex,ey),(ex+ew,ey+eh),color,2) for (ex,ey,ew,eh) in left_eye: color = (0,255,0) pred = predict(left_face[ey:ey+eh,ex:ex+ew],model) if pred == 'closed': eye_status='0' color = (0,0,255) cv2.rectangle(left_face,(ex,ey),(ex+ew,ey+eh),color,2) eyes_detected[name] += eye_status
# 每次,我們都會(huì)檢查該人是否眨眼 # 如果是,我們顯示其名字 if isBlinking(eyes_detected[name],3): cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
# 顯示名字 y = y - 15 if y - 15 > 15 else y + 15 cv2.putText(frame, name, (x, y), cv2.FONT_HERSHEY_SIMPLEX,0.75, (0, 255, 0), 2)
return frame上面的功能是用于檢測和識(shí)別真實(shí)人臉的代碼,它接受以下參數(shù):model:我們的睜眼/閉眼分類器video_capture:流視頻face_detector:Haar級(jí)聯(lián)的人臉分類器。我使用了haarcascade_frontalface_alt.xmlopen_eyes_detector:Haar級(jí)聯(lián)睜眼分類器。我使用了haarcascade_eye_tree_eyeglasses.xmlleft_eye_detector:Haar級(jí)聯(lián)的左眼分類器。我使用了haarcascade_lefteye_2splits.xml,它可以檢測睜眼或閉眼。right_eye_detector:Haar級(jí)聯(lián)的右眼分類器。我使用了haarcascade_righteye_2splits.xml,它可以檢測睜眼或閉眼。data:已知編碼和已知名稱的字典eyes_detected:包含每個(gè)名稱的眼睛狀態(tài)歷史記錄的字典。在第2-4行,我們從網(wǎng)絡(luò)攝像頭流中獲取一個(gè)幀,然后調(diào)整其大小以加快計(jì)算速度。在第10行,我們從幀中檢測人臉,然后在第21行,我們將其編碼為128-d矢量。在第23-38行,我們將這個(gè)向量與已知的人臉編碼進(jìn)行比較,并通過計(jì)算匹配的次數(shù)來確定此人的姓名,選擇匹配次數(shù)最多的一個(gè)。從第45行開始,我們試著探測眼睛進(jìn)入人臉框。首先,我們嘗試用睜眼檢測器來檢測睜眼,如果探測器探測成功,則在第54行,將“1”添加到眼睛狀態(tài)歷史記錄中,這意味著眼睛是睜開的,因?yàn)楸犻_的眼睛探測器無法檢測到閉著的眼睛;否則,如果第一個(gè)分類器失。ǹ赡苁且?yàn)檠劬κ情]著的,或者僅僅是因?yàn)樗荒茏R(shí)別眼睛),則使用左眼和右眼檢測器,人臉被分為左右兩側(cè),以便對各個(gè)探測器進(jìn)行分類。從第92行開始,提取眼睛部分,訓(xùn)練后的模型預(yù)測眼睛是否閉合,如果檢測到一只眼睛閉著,則兩眼都將被預(yù)測為閉著,并將“0”添加到眼睛狀態(tài)歷史記錄中;否則就可以斷定眼睛是睜開的。最后,在第110行,is blinking()函數(shù)用于檢測眨眼,如果該人眨眼,則顯示姓名。整個(gè)代碼都可以在我的github帳戶上找到。

發(fā)表評(píng)論
請輸入評(píng)論內(nèi)容...
請輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
6月20日立即下載>> 【白皮書】精準(zhǔn)測量 安全高效——福祿克光伏行業(yè)解決方案
-
7月3日立即報(bào)名>> 【在線會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身機(jī)器人動(dòng)力電池技術(shù)應(yīng)用大會(huì)
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 大廠紛紛入局,百度、阿里、字節(jié)搶奪Agent話語權(quán)
- 3 深度報(bào)告|中國AI產(chǎn)業(yè)正在崛起成全球力量,市場潛力和關(guān)鍵挑戰(zhàn)有哪些?
- 4 上海跑出80億超級(jí)獨(dú)角獸:獲上市公司戰(zhàn)投,干人形機(jī)器人
- 5 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 6 一文看懂視覺語言動(dòng)作模型(VLA)及其應(yīng)用
- 7 下一代入口之戰(zhàn):大廠為何紛紛押注智能體?
- 8 百億AI芯片訂單,瘋狂傾銷中東?
- 9 Robotaxi新消息密集釋放,量產(chǎn)元年誰在領(lǐng)跑?
- 10 格斗大賽出圈!人形機(jī)器人致命短板曝光:頭腦過于簡單