관절 신체 자세 추정: 컴퓨터 비전에서 인간의 움직임 잠금 해제

By Fouad Sabry

관절 신체 자세 추정이란

컴퓨터 비전 분야에서 관절로 구성된 관절 신체의 자세를 복원하는 기술 및 시스템에 대한 연구입니다. 이미지 기반 관찰을 사용하여 단단한 부분을 관절 신체 자세 추정이라고 합니다. 관찰과 위치를 연결하는 모델이 복잡하고 유용할 수 있는 시나리오의 범위 때문에 컴퓨터 비전에서 가장 오래 지속되는 과제 중 하나입니다.

방법 도움이 될 것입니다

(I) 다음 주제에 대한 통찰력 및 검증:

1장: 관절형 신체 자세 추정

2장: 이미지 분할

3장: 동시 현지화 및 매핑

4장: 제스처 인식

5장: 비디오 추적

6장: 기본 행렬(컴퓨터 비전)

7장: 모션의 구조

8장: 컴퓨터 비전의 Bag-of-words 모델

9장: 포인트- 세트 등록

10장: Michael J. Black

(II) 관절형 신체 자세 추정에 관한 대중의 주요 질문에 답합니다.

(III) 실제 사례 다양한 분야에서 관절형 신체 자세 추정을 활용하는 방법에 대해 설명합니다.

이 책은 누구를 위한 책인가요?

전문가, 학부생 및 대학원생, 열성팬, 취미 생활자 및 모든 종류의 관절 신체 자세 추정에 대한 기본 지식이나 정보를 넘어서고 싶은 분.

 

 

• Language: 한국어
• Publisher: 10 억 지식이 걸립니다 [Korean]
• Release date: Apr 30, 2024

Book preview

챕터 1: 관절 신체 자세 추정

관절 신체 자세 추정으로 알려진 컴퓨터 비전 분야는 관절 및 강성 부품의 일련의 이미지에서 움직이는 물체의 위치를 결정할 수 있는 기술과 시스템에 중점을 둡니다. 관찰과 자세를 연관시키는 모델의 어려움과 광범위한 응용 분야로 인해 이는 컴퓨터 비전의 지속적인 과제가 되었습니다.

로봇은 바로 근처에 있는 사람의 존재를 감지하고 이해할 수 있는 능력이 필요합니다. 대화형 기계는 인간이 제스처를 사용하여 특정 개체를 가리키는 경우 시나리오의 실제 컨텍스트를 이해해야 합니다. 그 중요성과 어려움 때문에 지난 20년 동안 컴퓨터 비전에서 포즈 추정 문제를 해결하기 위해 몇 가지 방법이 개발되고 구현되었습니다. 방대한 데이터 세트로 복잡한 모델을 학습시키는 것이 일반적인 접근 방식입니다.

인체의 244 DOF와 230 개의 관절로 인해 자세 추정은 현재 연구에서 어려운 문제입니다. 인체는 10개의 주요 부분과 20개의 자유도를 가지고 있지만 관절 사이의 모든 움직임을 볼 수 있는 것은 아닙니다. 알고리즘이 고려해야 하는 외모에는 옷, 체형, 크기, 머리 모양의 차이 등 다양한 변화가 있습니다. 또한 사람이 손으로 얼굴을 가리는 것과 같은 자기 관절 폐색 또는 외부 교합으로 인해 결과가 명확하지 않을 수 있습니다. 마지막으로, 대부분의 알고리즘은 표준 카메라의 단안(2차원) 이미지에서 포즈를 계산합니다. 일관되지 않은 카메라 및 조명 조건이 문제의 원인이 될 수 있습니다. 추가 성능 요구 사항은 복잡성을 가중시킬 뿐입니다. 이러한 사진은 실제 신체 자세의 깊이 정보가 부족하기 때문에 해석 오류의 여지가 많습니다. 이 방향에 대한 최근의 노력은 RGBD 카메라로 캡처한 색상 및 깊이 정보를 활용합니다.

대부분의 관절형 신체 자세 추정 시스템에서 사용되는 모델 기반 기술에서는 관측치(입력)와 템플릿 모델 간의 최대/최소 유사성/차이가 추정된 자세를 결정하는 데 사용됩니다. 다음과 같은 다양한 센서가 관찰에 사용되는 것으로 고려되었습니다.

가시광선 파장에서의 이미징, 장파 적외선 스펙트럼으로 촬영한 사진, ToF(Time-of-Flight) 사진 및

레이저 거리 측정기로 찍은 사진.

이 모델은 이러한 센서에 의해 생성된 중간 표현을 직접 사용합니다. 다음은 몇 가지 묘사입니다.

이미지 모양, 복셀(볼륨 요소)을 기반으로 재구성, 3차원, 총 가우스 커널 사용

3차원 표면 메쉬.

인간의 골격은 부품 기반 모델의 개념이 처음 등장한 곳입니다. 물체가 관절을 표현할 수 있는 능력을 가지고 있을 때, 그것은 다양한 구성으로 재배열될 수 있는 구성 요소들로 분해될 수 있습니다. 기본 물체의 축척과 방향은 조각의 축척과 방향에 따라 표현됩니다. 스프링은 모델의 많은 구성 요소를 연결하여 수학적으로 설명할 수 있도록 하는 역할을 합니다. 스프링을 닮았다고 해서 붙여진 이름으로, 이 모델에는 다른 이름도 있습니다. 스프링의 압축 및 확장은 다양한 구성 요소의 상대적 근접성을 설명합니다. 스프링 방향은 형상에 의해 제한됩니다. 예를 들어, 다리에는 완전한 원을 그리며 회전할 수 있는 팔이 없습니다. 따라서 구성 요소의 방향은 이러한 방식으로 지정할 수 없습니다. 따라서 실행 가능한 조합의 수가 줄어 듭니다.

스프링 모델에서 노드(V)는 구성요소를 나타내고 모서리(E)는 구성요소를 연결하는 스프링을 나타냅니다.

이미지의 각 위치는 픽셀 위치 x 의 및 y 좌표로 도달할 수 있습니다.

위치를 가리킬 수 {\displaystyle \mathbf {p} _{i}(x,\,y)} 있습니다 {\displaystyle \mathbf {i} ^{th}} .

그런 다음 스프링과 점 사이의 결합과 관련된 비용은 {\displaystyle \mathbf {i} ^{th}} {\displaystyle \mathbf {j} ^{th}} 로 지정할 수 있습니다 {\displaystyle S(\mathbf {p} _{i},\,\mathbf {p} _{j})=S(\mathbf {p} _{i}-\mathbf {p} _{j})} .

따라서 위치에 구성요소 l 를 배치하는 것과 관련된 총 비용은 {\displaystyle \mathbf {P} _{l}} 다음과 같이 계산됩니다.

{\displaystyle S(\mathbf {P} _{l})=\displaystyle \sum _{i=1}^{l}\;\displaystyle \sum _{j=1}^{i}\;\mathbf {s} _{ij}(\mathbf {p} _{i},\,\mathbf {p} _{j})}

앞서 언급한 방정식은 신체 자세를 설명하기 위해 일반적으로 사용되는 스프링 모델을 단순화한 것입니다. 비용 또는 에너지 함수 최소화는 사진에서 포즈를 추정하는 데 사용됩니다. 이 에너지 함수에는 두 가지 항이 있습니다. 첫 번째는 각 부분이 이미지 데이터와 얼마나 잘 일치하는지를 고려하는 반면, 두 번째는 방향(변형된) 부분이 얼마나 잘 일치하는지를 고려하여 관절 및 물체 감지를 고려합니다.

계층적 체인은 운동학적 골격을 구축하는 데 사용됩니다.

각 강체 세그먼트에는 4×4 변환 행렬을 통해 세계 좌표계로 변환할 수 있는 로컬 좌표계가 있습니다 {\displaystyle T_{l}} . {\displaystyle T_{l}=T_{\operatorname {par} (l)}R_{l},}

여기서 {\displaystyle R_{l}} 는 본문 세그먼트에서 부모 부분으로의 로컬 변환을 나타냅니다 S_{l} {\displaystyle \operatorname {par} (S_{l})} .

각 인체 관절에는 3개의 자유도(DoF)가 있습니다.

변환 행렬이 주어지면 T_l T-포즈 조인트 위치는 세계의 좌표계로 변환될 수 있습니다.

수많은 작업에서 3D 조인트 회전은 {\displaystyle [x,y,z,w]} 파라미터 추정에서 그래디언트 기반 최적화를 용이하게 할 수 있는 연속성으로 인해 정규화된 쿼터니언으로 표현됩니다.

관절체의 자세를 정확하게 추정하기 위해 딥러닝은 2016년경부터 표준 기술이 되었습니다. 관절의 모양과 신체의 관절 간의 관계는 위와 같이 부품에 대한 명시적인 모델을 개발하는 것과는 달리 방대한 훈련 세트를 통해 학습됩니다. 하나 또는 여러 장의 사진에서 2D 관절 위치(키포인트), 3D 관절 위치 또는 3D 체형을 추출하는 것은 일반적으로 모델의 주요 강조점입니다.

개발된 초기 딥러닝 모델은 주로 주어진 이미지에서 인간 관절의 2D 위치를 결정하는 데 중점을 두었습니다. 관절을 감지하기 위해 이러한 모델은 입력 이미지를 컨볼루션 신경망에 공급하고, 컨볼루션 신경망은 해당 영역에서 높은 값을 가진 히트맵 세트(각 관절에 하나씩)를 생성합니다.

다양한 각도에서 사람의 자세 주석이 포함된 데이터 세트가 확산됨에 따라 과학자들은 앞서 언급한 연구와 함께 2D 사진 컬렉션에서 사람이나 동물의 3D 형태를 재구성하려고 노력해 왔습니다. SMPL(Skened Multi-Person Linear) 모델의 올바른 포즈를 추정하는 것이 주요 초점입니다. 이미지의 각 동물에 대해 키포인트와 실루엣이 감지되는 경우가 많습니다. 매개변수가 발견되면 3D 형상 모델의 매개변수는 일반적으로 해당 위치에 맞게 조정됩니다.

주석이 달린 사진은 앞서 언급한 알고리즘에 필수적이지만 만드는 것은 힘들 수 있습니다. 이 문제를 해결하기 위해 컴퓨터 비전 분야의 연구원들은 주석 없이 영화의 키포인트를 인식하거나 단일 보기에서 주석이 달린 2D 이미지만 주어지면 3D 키포인트를 학습할 수 있는 새로운 알고리즘을 만들었습니다.

그리 멀지 않은 미래에는 생활 보조 시설에서 개인 간병 로봇을 사용할 수 있습니다. 이러한 로봇이 추락 감지를 포함한 광범위한 작업을 수행하기 위해서는 매우 정확한 사람 식별 및 자세