Everything is NORMAL

4. Isaac Sim(4.5.0)과 ROS2 연동 설치 가이드

smlee- — Fri, 25 Jul 2025 14:37:38 +0900

NVIDIA의 Isaac Sim은 로보틱스 시뮬레이션을 위한 강력한 플랫폼입니다. 특히 ROS 2(로봇 운영체제)와의 연동은 실제 로봇 제어와 유사한 환경을 구현할 수 있게 해주며, 이를 통해 시뮬레이션에서 테스트한 코드를 실기기로 바로 적용하는 것도 가능합니다.

이번 글에서는 Isaac Sim 4.5.0 버전을 기준으로 ROS 2 연동을 위한 설치 및 설정 방법을 하나씩 빠짐없이 설명합니다. 필자는 Ubuntu 22.04 환경과 ROS 2 Humble, Isaac Sim 설치 경로는 ~/isaacsim을 기준으로 설명합니다.

NVIDIA Isaac Sim은 NVIDIA Omniverse 플랫폼 위에 구축된 로보틱스 시뮬레이터로, 실제 ROS 환경과 연동되는 ROS Bridge 기능을 제공합니다. 본 포스팅에서는 4.5.0 정식 버전을 기준으로 ROS 2 Humble과 연동하는 방법을 상세히 설명합니다.

⚠️ 참고: 5.0.0은 현재 GitHub를 통해 Pre-release로 공개된 개발자 전용 버전입니다. 본 글은 안정적인 릴리즈인 Isaac Sim 4.5.0 기준으로 작성되었습니다.

5.0.0 은 Python 3.11과만 호환됩니다. 환경 구축에 주의하세요.

1. 지원 플랫폼 및 ROS 버전 정리

Platform	ROS 1 (지원 종료 예정)	ROS 2 (권장)
Ubuntu 20.04	Noetic (내부 빌드만)	Humble (권장)
Ubuntu 22.04	지원 안함	Humble (권장)
Windows 10/11	WSL2 환경에서만 지원	Humble (WSL2 필수)

⚠️ ROS 1은 곧 Isaac Sim에서 완전히 제거될 예정입니다. 가능하면 ROS 2 환경을 구성하시기 바랍니다.

곧 릴리즈될 5.0.0 에서는 Ubuntu 24.04와 ROS 2 Jazzy가 권장됩니다.

2. 설치 방식 선택

Isaac Sim에서 ROS 연동을 하기 위해서는 아래 중 하나를 선택해야 합니다.

. Native ROS 2 설치 (Ubuntu 22.04)

Python 버전: ROS 2 → Python 3.10 / Isaac Sim → Python 3.10
환경 구성 시 source /opt/ros/humble/setup.bash 필수
ROS 메시지 타입 확장 설치 (선택)

sudo apt install ros-humble-vision-msgs
sudo apt install ros-humble-ackermann-msgs

. Isaac Sim 내부 ROS 2 라이브러리 사용

ROS 2를 직접 설치하지 않고도 동작 가능
내부 라이브러리는 Python 3.10에 맞게 빌드되어 있음
다음과 같은 환경 변수 설정 필요

export isaac_sim_package_path=$HOME/isaacsim
export ROS_DISTRO=humble
export RMW_IMPLEMENTATION=rmw_fastrtps_cpp
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$isaac_sim_package_path/exts/omni.isaac.ros2_bridge/humble/lib
$isaac_sim_package_path/isaac-sim.sh

3. ROS Bridge Extension 활성화

App Selector로 설정

~/isaacsim/isaac-sim.selector.sh

“Enable ROS2 Bridge” 옵션 체크
내부 라이브러리를 사용할 경우 위 환경변수 자동 설정됨

수동 설정 (추천)

Isaac Sim 실행 전에 터미널에서 수동으로 설정
ROS를 설치했다면 source /opt/ros/humble/setup.bash 필수

4. Workspaces 구성

Isaac Sim ROS 작업 영역을 구축하려면 ROS의 시스템 설치가 있는지 확인합니다. ROS 도커 컨테이너를 사용하여 작업 영역을 빌드할 수도 있습니다.

Isaac Sim의 ROS 패키지들을 사용하려면 공식 워크스페이스 레포를 클론합니다

git clone <https://github.com/NVIDIA-Omniverse/IsaacSim-ros_workspaces.git>
cd IsaacSim-ros_workspaces
git submodule update --init --recursive

패키지 설치 및 빌드

sudo apt install python3-rosdep python3-colcon-common-extensions
rosdep init
rosdep update

cd humble_ws
rosdep install -i --from-path src --rosdistro humble -y
colcon build

사용 전 환경 설정

source /opt/ros/humble/setup.bash
cd humble_ws
source install/local_setup.bash

5. Docker에서 실행 (옵션)

시스템에 ROS를 직접 설치하기 어려운 경우 Docker로 실행할 수 있습니다.

xhost +
docker run -it --rm --net=host --env="DISPLAY" \\
-v ~/IsaacSim-ros_workspaces/humble_ws:/humble_ws \\
--name ros_ws_docker osrf/ros:humble-desktop /bin/bash

컨테이너 안에서:

cd /humble_ws
apt-get update
rosdep install --from-paths src --ignore-src --rosdistro=humble -y
colcon build
source install/local_setup.bash

6. Cyclone DDS 사용 (선택)

Fast DDS 대신 Cyclone DDS를 사용하고 싶다면:

export RMW_IMPLEMENTATION=rmw_cyclonedds_cpp

단, Windows(WSL2)에서는 Cyclone DDS 미지원이므로 Linux 전용입니다.

7. 자주 묻는 질문 (FAQ)

Q. Isaac Sim을 먼저 실행해야 하나요, ROS를 먼저 실행해야 하나요?
A. ROS를 먼저 source한 후 Isaac Sim 실행을 권장합니다.
Q. Python 버전이 충돌나요. 어떻게 해결하죠?
A. 내부 라이브러리를 사용하거나, Docker로 Python 3.10 기반 ROS 2 환경을 별도로 빌드하세요.
A. 현재 실행중인 파이썬이 어느 파이썬인지 확인해보세요. 환경을 구성한 Python이어야 합니다.

> which python3

Q. ROS 1은 이제 못 쓰나요?
A. 내부적으로만 지원되며, 공식적으로는 폐기 예정입니다.

ROS Bridge Extension: ros2 bridge 선택

ROS2와의 연동이 되지 않은 경우, Window > Extension 에서 ROS 2 BRIDGE가 활성화되지 않는다.

주의: Cyclone DDS 관련 에러가 나는 경우

export RMW_IMPLEMENTATION=rmw_cyclonedds_cpp

RMW_IMPLEMENTATION에 rmw_cyclonedds_cpp 옵션을 넣었지만, Cyclone DDS를 제대로 설치하지 않은 경우, 위와 같은 에러가 날 수 있다.

Eclipse Cyclone DDS — ROS 2 Documentation: Humble documentation

You're reading the documentation for an older, but still supported, version of ROS 2. For information on the latest version, please have a look at Kilted. Eclipse Cyclone DDS Eclipse Cyclone DDS is a very performant and robust open-source DDS implementatio

docs.ros.org

환경 구축을 잘 해주면 되는데,

잘 해줬다고 생각했는데도 에러가 나는 경우가 있다.

isaac-sim-selector로 실행을 했을 때는 에러가 나는데, isaac-sim을 직접 실행하면 에러가 나지 않는 상황도 발생한다.

이 부분은 아직 밝혀진 바가 없으므로 나중에 추가하는걸로..

정상적으로 환경설정이 된 경우, Window > Extension 에서 ROS2 BRIDGE가 활성화되어있는 모습

마무리

Isaac Sim 4.5.0은 ROS 2 Humble과의 연동이 매우 안정적으로 이루어지며, 별도의 Python 버전 충돌 없이도 시뮬레이션과 실제 시스템을 연계할 수 있는 환경을 제공합니다. 다음 포스팅에서는 URDF를 이용한 로봇 모델 가져오기, RViz 시각화, 그리고 MoveIt 2 연동까지 하나씩 다뤄보겠습니다.

Isaac Sim 4.5.0 RTX 50 시리즈에서 렌더링 품질 이슈

smlee- — Fri, 18 Jul 2025 17:50:46 +0900

RTX 5080 환경에서 Isaac Sim 4.5.0을 다운받고 실행하자마자 굉장히 이상한 것을 발견했다.

object가 매우 심하게 흔들리고 렌더링이 딱봐도 비정상적인 것 처럼 보였다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

이건 예제 중에 하나인데, 권장사양인 5080에서도 렉 걸리는 건 어쩔 수 없는 것 같다.

렉은 둘째치고, 나와 같은 50시리즈 사용자라면 뭔가 도트들이 살아움직이는듯한 우주배경복사느낌의 현상을 겪을 것이다.

RTX5080 isaac sim 4.5 ubuntu22.04 installed error on CUDA compute capability

Note: For any Isaac Lab topics, please submit your topic to its GitHub repo (GitHub - isaac-sim/IsaacLab: Unified framework for robot learning built on NVIDIA Isaac Sim) following the instructions provided on Isaac Lab’s Contributing Guidelines (Contribu

forums.developer.nvidia.com

증상 및 이슈 요약

렌더링이 깨지거나 흐릿한 화면
- 화면이 마치 "지지직"하며, 픽셀이 깨진 듯 보임
CUDA Compute Capability 오류 메시지
- 이는 RTX 50 시리즈의 새 아키텍처(CUDA CC 12.0)가 아직 4.5.0 버전의 OptiX/Iray에서 지원되지 않기 때문
- ```
[Warning] … CUDA compute capability 12.0 is unsupported by this version of iray photoreal.
```
Ubuntu 드라이버 업데이트 후에도 해결되지 않음
- 사용자들이 최신 570 드라이버로 교체했지만, 문제는 계속됨 GitHub

공식 대응 현황

Isaac Sim Rendering Issue on RTX 50 series

Dear Community, We have identified a rendering issue with Isaac Sim 4.5 (Kit 106.5) on 50 series hardware and driver version 570, causing blurry and unclear screens. We are fixing this, and it should be available in the next release of Isaac Sim in June. W

forums.developer.nvidia.com

✅ 최종 결론

Isaac Sim 4.5.0 버전은 RTX 50 시리즈 GPU를 공식적으로 지원하지 않는다.
렌더링 품질 문제와 CUDA 오류는 GPU 아키텍처 및 OptiX 미호환 문제로 인한 것.
NVIDIA 공식 권고: 새 버전에서 이슈 해결을 했으니 Isaac Sim 5.0 developer preview 사용 또는 정식 5.0.0 릴리스 버전을 기다리자

3. Isaac Sim Tutorial: Script Editor Extension으로 첫 시뮬레이션 하기

smlee- — Fri, 18 Jul 2025 17:34:45 +0900

Isaac Sim - Script Editor Extension

Isaac Sim의 Script Editor Extension을 활용하여 Python 코드로 오브젝트를 생성하고 물리 적용 및 조작을 해봅시다.
Script Editor를 사용하면, 사용자가 Python을 사용하여 스테이지와 상호작용을 할 수 있습니다.
독립실행형(Standalone) Python Workflow와 대부분 동일한 Python API를 사용하게 될 것입니다.
두 Workflow의 차이점은 시뮬레이션의 타임라인과 상호작용할 때 확실히 알 수 있습니다.
- 다음 튜토리얼에서 확실히 확인해봅시다! (Quickstart with a Robot)

Step 1. Script Editor 실행

새로운 Isaac Sim을 실행합니다.
Menu Bar에서 Windiw > Script Editor를 클릭합니다.

Step 2. Ground Plane 추가

from isaacsim.core.api.objects.ground_plane import GroundPlane
GroundPlane(prim_path="/World/GroundPlane", z_position=0)

하단 Run 버튼 클릭 (Ctrl + Enter)
Ground Plane이 생성됨

Step 3. 조명(Light Source) 추가

Distance Light 추가 → Scene에 광원이 있지만, 빛을 반사할 개체가 없는 경우 Scene은 어두울 수 있습니다.
Script Editor에서 새 탭을 엽니다. (Tab > Add Tab)
아래 코드를 복붙, 실행하여 조명을 추가합니다.

import omni.usd
from pxr import Sdf, UsdLux

stage = omni.usd.get_context().get_stage()
distantLight = UsdLux.DistantLight.Define(stage, Sdf.Path("/DistantLight"))
distantLight.CreateIntensityAttr(300)

RTX 50 Series 유저라면, 위 이미지와 같이 렌더링 품질이 낮은 경우가 발생할 수 있는데, 이건 4.5.0 버전의 문제입니다.
RTX 설정에서 Interactive (Path Tracing)을 선택하면 일단 조금은 나은 환경이 됩니다.

Step 4. Visual Cube 추가

“Visual” 큐브는 물리 속성이 포함되지 않은 큐브입니다.
Script Editor에서 새 탭을 엽니다. (Tab > Add Tab)
아래 코드를 복붙, 실행하여 두 개의 큐브를 추가합니다.
하나는 visual으로 유지하고, 비교를 위해 다른 하나에 물리 및 충돌 속성을 추가하겠습니다.

import numpy as np
from isaacsim.core.api.objects import VisualCuboid
VisualCuboid(
   prim_path="/visual_cube",
   name="visual_cube",
   position=np.array([0, 0.5, 0.5]),
   size=0.3,
   color=np.array([255, 255, 0]),
)
VisualCuboid(
   prim_path="/test_cube",
   name="test_cube",
   position=np.array([0, -0.5, 0.5]),
   size=0.3,
   color=np.array([0, 255, 255]),
)

Isaac Sim Core API는 raw USD와 물리 엔진 api를 위한 wrapper입니다.
하지만, raw USD API를 사용하여 물리 및 충돌 속성이 없는 pure visual cube를 추가할 수도 있습니다.
raw USD API는 verbose(장황?)하지만 각 속성에 대한 더 많은 제어 권한을 제공합니다.

from pxr import UsdPhysics, PhysxSchema, Gf, PhysicsSchemaTools, UsdGeom
import omni

# USD api for getting the stage
stage = omni.usd.get_context().get_stage()

# Adding a Cube
path = "/visual_cube_usd"
cubeGeom = UsdGeom.Cube.Define(stage, path)
cubePrim = stage.GetPrimAtPath(path)
size = 0.5
offset = Gf.Vec3f(1.5, -0.2, 1.0)
cubeGeom.CreateSizeAttr(size)
if not cubePrim.HasAttribute("xformOp:translate"):
  UsdGeom.Xformable(cubePrim).AddTranslateOp().Set(offset)
else:
  cubePrim.GetAttribute("xformOp:translate").Set(offset)

Step 5. 물리 / 충돌 속성 적용

Isaac Sim에서 오브젝트가 중력의 영향을 받거나, 다른 오브젝트와 충돌하도록 하려면 Physics 속성과 Collision 속성을 추가해주어야 합니다.
Common Physics / Collision Properties란?
- Physics Properties:
  - 물체의 질량(mass)과 관성 행렬(inertia matrix) 등을 포함하며, 중력의 영향을 받아 움직이는 동작을 가능하게 합니다.
- Collision Properties:
  - 물체가 다른 물체와 충돌했을 때 상호작용을 감지할 수 있게 해주는 속성입니다.
Isaac Sim에서는 이 과정을 간편하게 만들기 위해 자주 사용하는 물리 오브젝트에 대해 물리 속성과 충돌 속성이 포함된 래퍼 API를 제공합니다.

DynamicCuboid: 물리 속성이 포함된 큐브 생성 예제

import numpy as np
from isaacsim.core.api.objects import DynamicCuboid

DynamicCuboid(
   prim_path="/dynamic_cube",
   name="dynamic_cube",
   position=np.array([0, -1.0, 1.0]),
   scale=np.array([0.6, 0.5, 0.2]),
   size=1.0,
   color=np.array([255, 0, 0]),
)

DynamicCuboid()는 기본적으로:
- 물리 속성: 질량, 중력 반응 포함
- 충돌 속성: Collider 포함
- 시각 속성: 색상, 크기 포함

만약, 이미 생성한 VisualCube 혹은 다른 객체가 있다면, 다음과 같은 방식으로 나중에 물리 속성만 추가할 수도 있습니다.

RigidPrim + Collision API 적용 예제

from isaacsim.core.prims import RigidPrim
RigidPrim("/test_cube")  # 물리 속성 추가

from isaacsim.core.prims import GeometryPrim
prim = GeometryPrim("/test_cube")
prim.apply_collision_apis()  # 충돌 속성 추가

RigidPrim() → 질량/중력 등 물리 속성 추가
apply_collision_apis() → Collider 생성

위의 DynamicCuboid 또는 test_cube에 물리/충돌 속성을 추가한 뒤, 좌측 메뉴의 ▶️ Play 버튼을 눌러보세요.

큐브가 중력에 의해 떨어지고
Ground Plane에 부딪히는 물리 반응이 재현됩니다.

Step 6. 큐브 조작하기 (Move/Rotate/Scale)

Isaac Sim에서는 Core API와 Raw USD API를 통해 오브젝트를 이동/회전/크기 조절할 수 있습니다.

Move는 위치를 설정합니다.
Rotate는 방향을 설정하며, 주로 쿼터니언 또는 오일러 각도로 지정합니다.
Scale은 오브젝트의 크기를 축별로 조절합니다.

1) Core API 사용 예제

Isaac Sim Core API에서는 XFormPrim 클래스를 통해 큐브와 같은 오브젝트의 pose (위치/회전)와 크기를 손쉽게 설정할 수 있습니다.

import numpy as np
from isaacsim.core.prims import XFormPrim

# 위치, 회전, 스케일 값 정의
translate_offset   = np.array([[1.5, 1.2, 1.0]])
orientation_offset = np.array([[0.7, 0.7, 0,1]])     # note this is in radians
scale              = np.array([[1.0, 1.5, 0.2]])

# 스테이지 객체 가져오기
stage = omni.usd.get_context().get_stage()

# 오브젝트 조작
cube_in_coreapi = XFormPrim(prim_paths_expr="/test_cube")
cube_in_coreapi.set_world_poses(translate_offset, orientation_offset)
cube_in_coreapi.set_local_scales(scale)

set_world_poses()는 위치 + 회전을 한 번에 설정하며,
set_local_scales()는 로컬 스케일을 조정합니다.

2) raw USD API 사용 예제

Isaac Sim은 NVIDIA에서 개발한 USD 기반의 시뮬레이터이기 때문에, 저수준 접근을 위해 raw USD API (pxr 모듈) 를 사용할 수 있습니다.

이번 예제에서는 /visual_cube_usd 경로에 위치한 시각화 큐브에 대해 이동(Translate), 회전(RotateXYZ), **스케일(Scale)**을 각각 설정합니다.

from pxr import UsdGeom, Gf
import omni.usd

# 현재 Stage 가져오기
stage = omni.usd.get_context().get_stage()

# 조작할 Prim 지정
cube_prim = stage.GetPrimAtPath("/visual_cube_usd")

# 설정할 속성값 정의
translate_offset = Gf.Vec3f(1.5, -0.2, 1.0)
rotate_offset    = Gf.Vec3f(90,  -90,  180)        # note this is in degrees
scale            = Gf.Vec3f(1.0, 1.5,  0.2)

# Translation 적용
if not cube_prim.HasAttribute("xformOp:translate"):
   UsdGeom.Xformable(cube_prim).AddTranslateOp().Set(translate_offset)
else:
   cube_prim.GetAttribute("xformOp:translate").Set(translate_offset)

# Rotation 적용 (Euler XYZ 순서)
# there are also "xformOp:orient" for quaternion rotation, 
# as well as "xformOp:rotateX", "xformOp:rotateY", "xformOp:rotateZ" 
# for individual axis rotation
if not cube_prim.HasAttribute("xformOp:rotateXYZ"):        
   UsdGeom.Xformable(cube_prim).AddRotateXYZOp().Set(rotate_offset)
else:
   cube_prim.GetAttribute("xformOp:rotateXYZ").Set(rotate_offset)

# Scale 적용
if not cube_prim.HasAttribute("xformOp:scale"):
   UsdGeom.Xformable(cube_prim).AddScaleOp().Set(scale)
else:
   cube_prim.GetAttribute("xformOp:scale").Set(scale)

2. Isaac Sim Tutorial: GUI로 첫 시뮬레이션 하기

smlee- — Fri, 18 Jul 2025 16:18:09 +0900

“설치 끝! 이제 Isaac Sim에서 큐브 하나 떨어뜨려보자”

목표

GUI만으로 Isaac Sim에서 큐브를 생성하고
중력과 충돌을 적용해서 땅에 떨어뜨려 보기

실행 준비

./isaac-sim.selector.sh

Isaac Sim App Selector가 실행되면 Isaac Sim Full 선택 → START 클릭
실행 시 몇 분 소요될 수 있음 (Shader cache 빌드 등)

Step 1. Ground Plane 추가

Create > Physics > Ground Plane 클릭
→ 바닥이 되는 물리 기반 평면 생성

Step 2. 광원 추가 (Distant Light)

Create > Lights > Distant Light 클릭
→ 조명을 추가하지 않으면 화면이 깜깜하게 보일 수 있음

Step 3. Visual Cube 추가

Create > Shapes > Cube 클릭
→ 질량/충돌 없는 기본 큐브 생성
→ Play 눌러도 이 상태에선 움직이지 않음

움짤입니다 안보이면 클릭해서 확인해보세요

Step 4. 큐브 조작해보기 (Move/Rotate/Scale)

왼쪽 툴바 또는 단축키 사용

이동 W 방향 화살표를 드래그하여 이동

회전 E 회전 축을 기준으로 회전

스케일 R 크기 조절

취소 ESC 선택 취소
Move 또는 Rotate는 Local 또는 World 좌표계에서 기동하는지 여부를 표시할 수 있다. (객체를 길게 클릭하여 옵션을 확인할 수 있음)
오른쪽 하단 Property 창에서 숫자 입력으로 정밀 제어 가능

움짤입니다 안보이면 클릭해서 확인해보세요

Step 5. Cube에 물리 속성 추가 (Physics / Collision)

Common Physics Properties
- 질량과 관성 매트릭스(mass and inertia matrix)
- 물체가 중력에 의해 아래로 떨어질 수 있도록 하는 속성
Collision Properties
- 개체가 다른 개체와 충돌할 수 있도록 하는 속성
Physics 및 Collision 속성을 별도로 추가할 수 있으므로 다른 개체와 충돌하지만 중력에 의해 떨어지지 않는 개체, 또는 중력의 영향을 받지만 다른 개체와 충돌하지 않는 개체가 생길 수 있습니다. 그러나 대부분의 경우 함께 추가됩니다.
물리 및 충돌 속성 추가
- 스테이지 트리에서 /World/Cube 선택
- Add 버튼 클릭 후 Physics 선택
- Rigid Body with Colliders Preset 선택
- 재생 버튼을 눌러 큐브가 중력에 의해 떨어지고 지면과 충돌하는 것 확인

움짤입니다 안보이면 클릭해서 확인해보세요

1. Isaac Sim 설치하기

smlee- — Fri, 18 Jul 2025 15:49:13 +0900

설치에 앞서, Isaac Sim은 Windows와 Linux 모두에서 설치 가능하며, 다음과 같은 다양한 환경을 지원합니다:

Workstation (로컬 PC)
Container (Docker 기반 서버)
☁️ Cloud (AWS 등)
Livestream (원격 실시간 스트리밍)
️ Python 개발 환경
ROS 2 연동

하드웨어 사양과 설치 목적에 따라 설치 방법을 선택할 수 있으며, 이는 프로젝트의 규모나 확장성에 따라 달라집니다.

설치 옵션 알아보기

1. Quick Install (가장 빠른 시작)

체험 중심 설치 가이드 (예상 소요: 1~3시간)
Windows / Linux 모두 가능
간단한 로봇팔 + 테이블 예제 포함
https://docs.isaacsim.omniverse.nvidia.com/latest/installation/quick-install.html

2. Full Requirements & Download

Isaac Sim은 목적에 따라 설치 파일과 요구 사양이 달라집니다.

요소 최소 사양 권장 사양 이상적 사양

OS	Ubuntu 20.04/22.04Windows 10/11	동일	동일
CPU	i7 7세대 / Ryzen 5	i7 9세대 / Ryzen 7	i9 / Threadripper 이상
코어 수	4	8	16
RAM	32GB	64GB	64GB+
저장공간	50GB SSD	500GB SSD	1TB NVMe SSD
GPU	RTX 3070	RTX 4080	RTX Ada 6000
VRAM	10GB	16GB	48GB

ℹ️ 참고:

10GB VRAM은 16MP 이상의 복잡한 장면에 부족할 수 있음

Isaac Lab 사용 시 RAM/VRAM 추가 필요

A100, H100 등 RT 코어 없는 GPU는 지원되지 않음

자세한 내용: 공식 요구사항 링크

3. 드라이버 요구사항

최신 GPU를 사용하는 경우, NVIDIA 최신 Production Branch 드라이버를 수동 설치하는 것이 가장 안정적입니다.
예: Ubuntu 22.04.5 + 커널 6.8 이상이면 535.216.01 이상 권장
설치 이슈 해결을 위한 링크:
- Linux Troubleshooting
- 드라이버 다운로드 (Unix)

4. 상세 설치 옵션 (Detailed Install Options)

Isaac Sim은 다양한 설치 구조를 제공합니다:

설치 방법 설명

Workstation 설치	로컬 고성능 PC에 설치하여 시뮬레이션/개발
Container 설치	서버 환경, Docker 기반 병렬 처리
Cloud 배포	AWS, GCP 등 클라우드 기반 테스트 환경
Livestream Client	스트리밍 방식으로 시뮬 실행 (저사양 PC 대응)
Python 환경 설치	API 개발 및 자동화 목적
ROS2 연동 설치	실로봇과 시뮬레이션 연결을 위한 ROS2 Bridge 구성

5. 설치 팁 및 문제 해결

설치 시 아래 항목들을 사전에 확인하면 문제를 줄일 수 있습니다:

NVIDIA 드라이버 버전과 CUDA 호환성
Vulkan, SDL2 등의 Linux 필수 라이브러리
Python 환경 구성 (Isaac Sim 4.5.0 버전 기준 Python ≥ 3.10)
가상환경 또는 Conda 사용 시 Qt/PySide 충돌 주의

6. Isaac Sim 버전 정보 및 Python 호환성

현재 사용 가능한 최신 안정 버전은 Isaac Sim 4.5.0입니다.
다음 메이저 릴리스인 5.0.0은 개발 중이며, 주요 기능/API 변경이 예상됩니다.

Isaac Sim 버전 요구 Python 버전 상태

4.5.0	✅ Python 3.10	최신 안정 버전
5.0.0	⏳ Python 3.11	개발 중 (릴리즈 전 테스트 중)

⚠️ 주의: Python 버전이 맞지 않으면 Isaac Sim 실행 시 오류가 발생할 수 있으므로, 가상 환경을 구성하거나 정확한 Python 버전을 사전에 준비해두는 것이 좋습니다.

Isaac Sim 4.5.0 설치하기 (Ubuntu 기반)

⚠️ 설치 전 꼭 알아야 할 주의사항

Isaac Sim 5.0.0은 PRE-RELEASE로 Git에 공개되어있습니다. 따라서, 4.5.0 버전을 설치하도록 하겠습니다.

Isaac Sim 4.5.0은 현재(2025년 기준) 안정적으로 사용할 수 있는 최신 정식 버전이지만, 몇 가지 중요한 사항을 먼저 확인해야 합니다.

❗ 1. RTX 50 시리즈 GPU는 안정화되지 않았습니다

일부 사용자 환경에서 RTX 5080, 5090 등 최신 GPU에서 실행 오류, 드라이버 충돌, 렌더링 문제가 보고되고 있습니다.
Isaac Sim 5.0.0에서는 이러한 문제가 개선될 예정이지만, 아직 정식 릴리스 전입니다.
Isaac Lab 사용 시, PyTorch 최신 Nightly 버전을 수동으로 설치해야 정상 작동할 수 있습니다. (2.7.1이 아닌 2.9.0)

❗ 2. Omniverse Launcher 및 Nucleus 관련 앱 종료 예정

NVIDIA 공지에 따르면:

Omniverse Launcher, Nucleus Workstation, Nucleus Cache는 2025년 10월 1일부터 공식 종료됩니다.
4.5.0은 Omniverse Launcher 기반 마지막 릴리스입니다.
이후부터는 Omniverse Hub 및 Web 기반 다운로드 방식이 사용됩니다.
Live Sync 기능은 4.5.0에서 Deprecated 되었으며, 향후 완전히 제거될 예정입니다.

❗ 3. 패키지 종속성 충돌 주의

ROS 2, PyTorch, PySide2/6, Vulkan 등과 의존성 충돌이 자주 발생합니다.
가급적 **Python 가상환경(venv 또는 conda)**를 따로 구성하는 것이 권장됩니다.

Isaac Sim 4.5.0 설치 전 사전 점검: Isaac Sim Compatibility Checker

설치 전에 내 시스템이 Isaac Sim 4.5.0을 실행할 수 있는지 자동 점검해주는 툴이 존재합니다.

https://docs.isaacsim.omniverse.nvidia.com/4.5.0/installation/download.html#isaac-sim-latest-release

Download Isaac Sim — Isaac Sim Documentation

Omniverse Launcher, Nucleus Workstation, and Nucleus Cache will be deprecated and will no longer be available starting October 1, 2025. Functionality may be reduced If these applications are used after this date.

docs.isaacsim.omniverse.nvidia.com

Linux:

./omni.isaac.sim.compatibility_check.sh

Windows:

omni.isaac.sim.compatibility_check.bat

점검 항목

✅ GPU 및 드라이버: RTX 지원 여부, 드라이버 버전, VRAM
✅ CPU, RAM, 저장공간: 코어 수, 메모리 용량, 남은 디스크
✅ 운영체제 및 디스플레이: Ubuntu 20.04/22.04 권장, Vulkan 활성 여부 등
✅ Test Kit 실행 테스트: Headless 실행 가능 여부 확인

점검 결과는 색상(녹색, 연두, 주황, 빨강)으로 시각화되며, ‘Test Kit’ 버튼을 눌러 실제 실행 가능 여부를 확인할 수 있습니다.

여기까지 따라오셨다면 일단 축하드립니다! 지금까지 설치 사전 준비를 마쳤으니, 이제 본격적으로 Workstation 환경에서 Isaac Sim 4.5.0을 설치하는 실습 단계로 넘어갈 수 있습니다.

Isaac Sim 4.5.0 설치 절차 요약

Isaac Sim 설치를 위해 다음 절차를 순서대로 진행하세요:

✅ 1. 시스템 요구사항 확인

GPU 사양, VRAM, 드라이버 버전, OS 등 최소 요구사항 및 Driver Requirements을 Compatibility Checker로 점검합니다.

✅ 2. Visual Studio Code 설치 (선택)

Python 스크립트 디버깅 및 확장 개발을 위해 VS Code 설치를 권장합니다.

✅ 3. Isaac Sim 4.5.0 다운로드

NVIDIA Isaac Sim 공식 다운로드 페이지에서 .zip 파일 다운로드
예: isaac-sim-standalone@4.5.0-rc.xx+release.xxx.zip

✅ 4. 설치 및 실행 명령어

아래 명령어를 실행:

Linux (Terminal)

# 1. 설치 폴더 생성
mkdir ~/isaacsim

# 2. 다운로드 디렉토리로 이동
cd ~/Downloads

# 3. 압축 해제
unzip "isaac-sim-standalone@4.5.0-rc.xx+release.xxx.zip" -d ~/isaacsim

# 4. post_install 스크립트 실행
cd ~/isaacsim
./post_install.sh

# 5. App Selector 실행
./isaac-sim.selector.sh

Windows (Command Prompt)

# 1. 설치 폴더 생성
mkdir C:\\isaacsim

# 2. 다운로드 디렉토리로 이동
cd %USERPROFILE%/Downloads

# 3. 압축 해제
tar -xvzf "isaac-sim-standalone@4.5.0-rc.36+release.19112.f59b3005.gl.windows-x86_64.release.zip" -C C:\\isaacsim

# 4. post_install 스크립트 실행
cd C:\\isaacsim
post_install.bat

# 5. App Selector 실행
isaac-sim.selector.bat

post_install.sh: 예제 폴더 링크 등 설치 후 셋업

isaac-sim.selector.sh: 실행 모드 선택 GUI

✅ 5. 첫 실행

App Selector에서 START 버튼 클릭
Shader cache가 생성되며 처음 실행 시 몇 분간 로딩이 오래 걸릴 수 있습니다
- Isaac Sim 앱이 응답하지 않습니다. 팝업이 뜰 수 있습니다. 터미널에서 초기 로딩을 위한 내부 스크립트가 실행되고 있으니 기다리면 됩니다. (기다리기 버튼도 누르지 않아도 됨)
실행 성공 시, Isaac Sim GUI가 열립니다 (터미널에 Isaac Sim Full App is loaded. 로그 출력)

6. 첫 실행 이후

축하합니다!! 로컬 PC용 Isaac Sim의 기본 설치를 완료했습니다!
기본 예제를 실행하려면 메뉴에서 Examples → Basics → Hello World 또는 Quick Tutorials 경로를 참고합니다.
이제, 기본 튜토리얼 Getting Started Tutorials 을 따라해봅시다.

0. Isaac Sim이란? 로봇 개발자들이 주목하는 시뮬레이터

smlee- — Fri, 18 Jul 2025 14:42:39 +0900

| 로봇 시뮬레이션, 이제는 Isaac Sim의 시대!

시작하며: 왜 Isaac Sim인가?

저는 현재 Unitree Go2 로봇을 활용한 로봇 제어 S/W를 개발하고자 하는 로봇개발 초보자입니다.
로봇을 실제 환경에서 테스트하려면 다양한 변수(장애물, 위치 인식, SLAM 등)을 고려해야 합니다.
이를 반복적으로 실험하려면 안정적인 시뮬레이션 환경이 꼭 필요합니다.
2025년 7월 기준, 시뮬레이션 툴 중에서 가장 유망하다고 평가받는 Isaac Sim에 대해 알아보고, 실제 활용해보려 합니다.

Isaac Sim과 더불어 다른 대표적인 로봇 시뮬레이터는 무엇이 있을까요?

1. RoboDK: 산업용 로봇 오프라인 프로그래밍 시뮬레이터

개요
- RoboDK는 산업용 매니퓰레이터(팔 로봇)를 위한 오프라인 프로그래밍(OLP) 및 시뮬레이션 소프트웨어입니다.
- 400개 이상의 실제 산업용 로봇 모델(UR, FANUC, KUKA, Yaskawa 등)을 지원하며, 실제 로봇과 동일한 경로 및 코드를 시뮬레이션할 수 있습니다.

주요 기능

기능	설명
OLP 지원	로봇 경로 계획, 절삭, 용접, 도장, 조립 등
로봇 모델	UR, FANUC, KUKA, ABB, Yaskawa 등 400+ 기종
CAD 연동	SolidWorks, Fusion 360, Inventor 등
후처리기	실제 로봇용 코드(Post Processors) 자동 생성
운영체제	Windows, macOS, Linux, Android
API	Python(권장), C++, C#, VB.NET, Matlab
시뮬레이션 자동화	GUI 기반 자동화 + 스크립트 기반 제어
풍부한 예제	다양한 산업별 예제 제공

한계점

기능	설명
동역학(Dynamics) 미지원	운동학(Kinematics) 중심으로, 물리 기반 움직임 (걷기, 균형, 점프 등) 불가
센서 미지원	LiDAR, 카메라, IMU 등의 센서 시뮬레이션 미지원
실시간 제어	파이썬 스크립트는 가능하나, ROS2 연동/실시간 제어에는 한계 있음
복잡한 자세 제어 제한	다관절 로봇(4족보행/휴머노이드)의 복잡한 자세 제어 어려움
물리 엔진 부재	Isaac Sim, Gazebo처럼 충돌/중력/마찰 계산 없음

2. Gazebo: ROS 공식 시뮬레이터

개요
- 다양한 로봇 환경과 물리 기반 시뮬레이션을 제공하는 범용 오픈소스 로봇 시뮬레이션 플랫폼입니다.
- 2002년에 시작되어, 대대적인 업그레이드와 현대화를 거쳐 2022년 이전까지를 Gazebo Classic으로 명명하고, 새로운 브랜드네임으로 Ignition 이라는 브랜드를 지정하기도 하였습니다.
- 하지만, 브랜드네임의 상표 관련 문제로 다시 Gazebo라는 이름으로 돌아오게 되었습니다.
- Gazebo Classic은 최신 Gazebo 라이브러리가 개발되기 전의 Gazebo 버전입니다. 클래식 버전은 주 버전 번호가 0에서 11 사이인 숫자입니다.
- 공식 발언은 찾지 못했으나, Gazebo Sim 이라는 이름을 공식 명칭으로 사용하려는 것처럼 보입니다. (공식 홈페이지가 gazebosim.org로 등록되어 있음)

주요 특징

성능 최적화

기능	설명
분산 시뮬레이션	여러 서버에서 연산을 분산 실행하여 성능 향상 (Performer 단위 병렬 처리)
동적 자산 로딩	공간 정보를 기반으로 시뮬레이션 중 필요할 때만 자산 로딩/언로딩하여 메모리 효율 극대화
성능 조절	타임스텝 조정으로 실시간, 빠른 배속, 느린 배속 등 시뮬레이션 속도 제어 가능

플랫폼 및 통합성

기능	설명
크로스 플랫폼	Linux, macOS에서 안정적으로 사용 가능 (Windows는 제한적이나 향후 개선 예정)
클라우드 통합	`app.gazebosim.org`에서 모델/월드 관리, 다운로드, 공유 가능
ROS 통합	ROS ↔ Gazebo 브리지를 통해 메시지 자동 변환 (Protobuf ↔ ROS msg)

정밀 시뮬레이션

기능	설명
정확한 물리 엔진	DART 기본, Bullet/ODE 등 선택 가능 (게임 엔진보다 높은 정확도)
센서 모델링	카메라, 깊이카메라, LiDAR, IMU, 자이로, 고도계, 자기계 등 다양한 센서 + 노이즈 모델 적용
고급 렌더링	Ogre 2.1 기반: 그림자 맵, PBR 재질, 실시간 최적 렌더링 파이프라인 제공

유연한 확장성

기능	설명
플러그인 시스템	물리/렌더링/GUI 모두 플러그인 기반 구조로 커스텀 코드 연동 가능
시뮬레이션 시스템 플러그인	사용자 정의 시뮬 시스템을 로딩해 실시간으로 시뮬레이션 상태 관찰/제어 가능
비동기 통신 (IPC)	ZeroMQ + Protobuf 기반 메시지 시스템 (빠르고 효율적, Named topic 구조 지원)

툴과 인터페이스

기능	설명
CLI (gz)	토픽/메시지 탐색, 실행, 로깅 등 다양한 명령어 제공
GUI (QtQuick)	시뮬레이션 시각화, 토픽 시청, 환경 제어 등 플러그인 기반 시각화
Web 인터페이스	클라우드에서 자산 검색/관리/팀 협업/시뮬 대회 참가 등 가능

RoboDk와 Gazebo 이외에도, 로봇 개발을 하다보면 다음과 같은 시뮬레이터들을 접하게 됩니다:

RoboDK
– 산업용 팔 로봇 중심, 가공 경로 시뮬레이션
Gazebo
– ROS 통합 최강, 범용 로봇 시뮬레이션
Unity Robotics
– 고급 시각화 + 커스터마이징
MuJoCo
– 강화학습 + 휴머노이드 특화
Webots
– 입문자 친화적인 교육용 시뮬

각자 강점이 다르고, 목적에 따라 선택이 달라집니다.

제가 개발 중인 프로젝트는 Unitree Go2를 활용해 다음을 구현하는 것입니다:

SLAM 기반 자율 패트롤 시뮬레이션
센서 기반 로봇 제어 및 학습 환경 테스트
향후 강화학습 적용 및 실로봇 연동 가능성 고려

✅ 4족보행
✅ LiDAR, IMU 등 센서 시뮬레이션
✅ 동역학 기반 시뮬레이션
✅ ROS2 연동
✅ 추후 AI 연계 확장성

조건	필요	Isaac Sim 만족 여부
4족보행 로봇 제어	✅ 필요	✅ 지원
센서 시뮬레이션 (LiDAR, IMU, RGBD)	✅ 필요	✅ 고정밀 지원
동역학 기반 시뮬레이션	✅ 필수	✅ PhysX 기반 정밀 계산
ROS2 연동	✅ 필요	✅ 공식 Bridge 제공
고급 렌더링	시각화 분석 용이	✅ RTX + PBR 지원
강화학습 연계	향후 확장용	✅ Isaac Lab / Orbit 등 연계

Isaac Sim은 단순 시뮬레이터가 아니다

NVIDIA Isaac Sim은 단순한 로봇 시뮬레이터가 아니라,
AI 기반 로봇의 개발부터 시뮬레이션, 데이터 생성, 학습, 디지털 트윈 운영까지 전 주기를 지원하는 Omniverse 기반 로보틱스 플랫폼입니다.

Isaac Sim의 3단계 철학

1. Design – 설계와 통합

Onshape, URDF, MJCF 등 다양한 로봇 설계 포맷 지원
모든 환경은 Pixar의 USD(Universal Scene Description) 기반으로 통합
GUI와 Python API를 통해 로봇, 월드, 센서, 태스크 구성

2. Tune & Train – 정밀 시뮬레이션 및 학습

PhysX 기반 고정밀 동역학 시뮬레이션
RTX 센서 시뮬레이션 (카메라, LiDAR, IMU, 접촉센서 등)
Replicator: 합성 데이터 생성 툴킷
OmniGraph: 노드 기반 환경 제어 시스템
Isaac Lab: 강화학습 환경 구축 및 Cloner API
실제 로봇 없이 전체 파이프라인 사전 시뮬 가능

3. Deploy – 실로봇 연결 및 운영

ROS2 Bridge 및 Isaac ROS 패키지 지원
디지털 트윈 시나리오 적용 가능 (물류창고, 지능형 맵핑 등)
Omniverse 기반 GUI/파일 관리 API, Python/C++ 확장성

항목	Isaac Sim	Gazebo	Unity	MuJoCo	RoboDK
시뮬 범위	설계학습배포 전 주기	주로 ROS 기반 센서/이동	시각화/인터랙션 중심	강화학습/휴머노이드	산업용 로봇 경로계획
물리 엔진	✅ PhysX (GPU 기반 고정밀)	ODE/DART/Bullet	Unity PhysX (보통 정밀)	고정밀 독자 엔진	❌ 없음
센서 시뮬레이션	✅ RTX 기반 다중 센서	✅ 다양	⚠️ 직접 구현	❌ 없음	❌ 없음
ROS2 연동	✅ 공식 Bridge + Isaac ROS	✅ 우수	⚠️ 외부 커넥터 필요	⚠️ 제한적	⚠️ 거의 없음
강화학습 지원	✅ Isaac Lab + Cloner	⚠️ 간접 가능	⚠️ 직접 구성 필요	✅ MuJoCo + RL 전용	❌ 없음
사용자 확장성	Python/C++ + USD 기반	C++/ROS plugin	C#/C++/Unity SDK	Python/C++	Python API 위주
디지털 트윈 구성	✅ 물류창고, 로봇팔, 맵핑 등	⚠️ 가능하나 수동 구성	⚠️ 복잡	⚠️ 비적합	❌ 비적합

Isaac Sim은 다음과 같은 사람에게 최고의 선택입니다:

센서 기반 정밀 시뮬레이션이 필요한 경우
SLAM, 패트롤, 자율주행 테스트를 가상 환경에서 하고 싶은 경우
강화학습 또는 합성 데이터 기반 학습이 필요한 경우
ROS2를 실로봇에 연동해 Sim-to-Real 실험까지 하고 싶은 경우
디지털 트윈 기반 로봇 시스템을 기획 중인 경우

✍️ 정리

수많은 시뮬레이터가 있지만, 동역학 정확도, 센서 정밀도, 시각화, ROS2 연동, 향후 AI 확장성까지 모두 만족하는 도구는 결국 Isaac Sim이었습니다.

이제부터 Isaac Sim의 설치 및 활용에 대해 알아볼 것입니다.

포인트 클라우드, 로봇 혁신을 이끄는 활용 사례 TOP 5

smlee- — Mon, 6 Jan 2025 15:08:50 +0900

로봇 공학이 환경을 이해하고, 스스로 움직이며, 정밀한 작업을 수행하는 비결은 어디에 있을까요?

그 중심에는 바로 포인트 클라우드 기술이 있습니다. 3D 데이터를 통해 로봇은 물리적 세계를 디지털화하고, 이를 활용해 새로운 가능성을 열어갑니다.

오늘은 포인트 클라우드가 로봇을 어떻게 변화시키고 있는지, 가장 흥미로운 활용 사례 5가지를 통해 살펴보겠습니다. 이 기술이 로봇 공학의 미래를 어떻게 이끌어 가고 있는지 지금 바로 확인해보세요!

로봇 공학에서 포인트 클라우드가 중요한 이유

포인트 클라우드는 로봇이 물리적 세계를 이해하고 상호작용할 수 있는 핵심 기술입니다. 복잡한 환경에서 로봇은 3D 데이터를 통해 주위 물체를 인식하고 작업 경로를 계획하며 정밀한 조작을 수행합니다.

포인트 클라우드 데이터: 3D 스캔을 통해 생성된 포인트 클라우드 데이터 이미지 (나무, 건물, 차량 등).
LiDAR 장비를 장착한 로봇: LiDAR 센서를 사용해 주위 환경을 스캔하는 자율 로봇.

포인트 클라우드 데이터 예시

1. 자율 네비게이션 (Autonomous Navigation)

사용 시나리오

SLAM (Simultaneous Localization and Mapping):
- SLAM 기술은 로봇이 동시에 자신의 위치를 추적(Localization)하고 주변 환경의 3D 맵을 작성(Mapping)할 수 있도록 합니다.
- 포인트 클라우드는 LiDAR, RGB-D 카메라, 스테레오 카메라 등에서 생성된 데이터를 기반으로 실시간으로 지도를 작성합니다.
- 이 기술은 복잡한 환경(예: 창고, 공장, 도시 도로)에서 로봇이 자율적으로 탐색하도록 합니다.
경로 계획(Path Planning):
- 포인트 클라우드를 활용하여 로봇이 이동 가능한 공간(Navigable Space)을 탐지하고, 장애물을 피하며 최적의 경로를 계산합니다.
- 좁은 공간, 복잡한 지형에서도 안정적인 이동이 가능하게 합니다.
장애물 회피(Obstacle Avoidance):
- 로봇이 실시간으로 포인트 클라우드를 분석하여 고정된 물체(벽, 가구 등)와 움직이는 물체(사람, 차량 등)를 탐지하고 회피합니다.

예제

LiDAR 기반 SLAM과 Camera 기반 SLAM

OxTS INS 및 Velodyne LiDAR로 생성된 포인트 클라우드

자율주행 차량:
LiDAR를 통해 포인트 클라우드를 생성하여 도로의 차선, 표지판, 차량, 보행자 등을 탐지하고 경로를 계획합니다.
- Tesla, Waymo와 같은 자율주행 차량은 LiDAR와 카메라의 데이터를 결합하여 3D 환경을 실시간으로 분석합니다.
자율 이동 로봇(AMR):
물류 창고에서 포인트 클라우드를 사용하여 로봇이 물품을 옮길 최적의 경로를 계획하고, 장애물을 회피합니다.
- 예: Amazon의 Kiva 로봇.
드론 기반 네비게이션:
드론이 복잡한 건축 환경이나 자연 환경에서 포인트 클라우드를 활용하여 충돌을 방지하며 자율 비행합니다.
농업 로봇:
농장에서 자율적으로 이동하며 작물의 상태를 분석하고, 장애물을 회피하며 정해진 경로를 따라 작업을 수행합니다.

사용 기술

LiDAR 기반 SLAM:
- LiDAR 센서를 통해 포인트 클라우드를 생성하고, 고정밀 환경 맵을 작성합니다.
- 장점: 높은 정밀도, 긴 탐지 거리.
RGB-D 카메라 기반 SLAM:
- RGB와 깊이 정보를 동시에 사용하여 물체와 공간의 형상을 인식.
- 장점: 비용 효율적, 실내 환경에서 유용.
SLAM 알고리즘:
- GMapping: 2D 환경에서 실시간 맵 생성.
- Cartographer: Google에서 개발한 2D/3D SLAM 라이브러리.
- RTAB-Map: RGB-D 카메라와 LiDAR 데이터를 통합하여 대규모 환경에서도 정확한 3D 맵 생성.
경로 계획 알고리즘:
- Dijkstra's 알고리즘: 특정 환경에서 가장 효율적인 경로를 계산.
- RRT (Rapidly-Exploring Random Tree): 복잡한 지형에서 최적 경로 탐색.

2. 물체 탐지 및 피킹 (Object Detection and Picking)

사용 시나리오

포인트 클라우드를 통해 물체의 위치와 형상을 인식하여 로봇 팔이 물체를 잡을 수 있도록 도움.
불규칙한 형상의 물체를 정확히 파악하여 그리퍼의 적절한 위치와 방향을 계산.

예제

Bin Picking: 로봇 팔이 무작위로 쌓인 물체(예: 나사, 부품)를 포인트 클라우드를 분석하여 집어냅니다.
포인트 클라우드 기반 Grasp Planning: 물체 표면의 3D 데이터를 분석하여 안정적인 그리핑(잡기) 위치를 계산합니다.

로봇이 빈(Bin)에 담긴 물체를 탐지하여 피킹 수행

Zivid 社, 3D 카메라를 이용해 촬영한 고해상도 3D 데이터

사용 기술

PCL(Point Cloud Library)로 물체 분할 및 표면 분석.
Open3D 또는 MoveIt 같은 프레임워크로 그리핑 경로 계획.

3. 환경 인식 (Environment Perception)

사용 시나리오

로봇이 작업 환경에서 주요 객체나 특징을 식별하고 분석하여 작업에 필요한 정보를 얻습니다.
복잡한 작업 환경(예: 공장, 건설 현장)에서는 포인트 클라우드를 활용해 3D 맵을 생성하고 이를 시각화하여 환경을 직관적으로 분석할 수 있습니다.

예제

Boston Dynamics 社, 로봇 개 SPOT이 탐지한 주변 환경 시각화

장애물 탐지: 로봇이 포인트 클라우드를 사용하여 동적 또는 정적 장애물을 탐지하고 회피합니다.
작업 영역 분할: 작업 환경을 분석하여 특정 관심 영역(ROI)을 식별하고 작업에 집중.

사용 기술

Segmentation 알고리즘:
- RANSAC (Random Sample Consensus):
  포인트 클라우드 데이터에서 평면, 곡면 등 주요 기하학적 요소를 추출하여 환경을 나눕니다.
- Region Growing:
  비슷한 속성(위치, 색상, 노멀 벡터)을 가진 포인트를 그룹화하여 관심 영역을 분리합니다.
딥러닝 기반 물체 분류:
- PointNet: 포인트 클라우드를 입력받아 3D 객체를 분류하거나 세그먼트화합니다.
- PointCNN: CNN 기반으로 포인트 클라우드의 지역적 특징을 학습하여 물체를 정밀하게 분류합니다.
시각화 도구 및 기술:
- Open3D: 포인트 클라우드를 렌더링하고, 세그먼트화된 데이터를 3D로 시각화합니다.
- PCL (Point Cloud Library): 포인트 클라우드 데이터를 처리 및 시각화하며, ROI를 강조하거나 색상 코딩을 통해 분석 결과를 쉽게 이해할 수 있도록 도와줍니다.
- ROS Rviz: 로봇의 센서 데이터와 포인트 클라우드를 실시간으로 통합하여 3D 환경을 시각적으로 보여줍니다.

4. 정밀 조작 (Precise Manipulation)

사용 시나리오

로봇이 포인트 클라우드를 통해 물체의 위치, 자세, 형상을 분석하여 정밀한 작업(예: 삽입, 조립)을 수행합니다.
산업용 제조, 물류, 의료 등 다양한 분야에서 활용되며, 작업의 정확성과 효율성을 크게 향상시킵니다.

예제

Boston Dynamics 社, 로봇 개 SPOT이 문을 여는 장면

정밀한 동작을 수행하여 부품을 조립하는 로봇 팔

문 열기: 로봇의 카메라로 손잡이의 위치를 2D/3D로 분석하고, 이를 기반으로 팔의 움직임을 제어합니다. 손잡이의 위치와 거리 데이터를 계산하고, 사전 정의된 Trajectory(경로)를 기반으로 문 손잡이를 잡고 돌린 후, 문을 당기거나 밀어 여는 동작을 수행합니다.
조립 작업: 로봇이 포인트 클라우드를 통해 부품을 정확히 맞추고 조립합니다. 자동차 제조 공정에서 로봇 팔이 기어박스를 조립하거나, 가전제품 생산 라인에서 부품을 정밀하게 삽입. 부품의 위치와 방향을 인식하고, 적합한 힘과 각도로 조립을 완료합니다.

사용 기술

포인트 클라우드 정렬을 위한 ICP 알고리즘

포인트 클라우드 정렬 (Alignment):
포인트 클라우드 데이터를 기반으로 물체의 3D 좌표와 자세를 정렬하여 정밀한 위치 제어를 수행합니다.
- 자동차 부품의 정확한 조립 위치 계산.
- 표면 결함 위치를 파악해 자동 보정.
3D 객체 탐지 및 자세 추정:
- 딥러닝 모델(예: PointNet, PointCNN)을 사용하여 포인트 클라우드로 물체를 탐지하고 자세를 추정합니다.
- 컨베이어 벨트 위의 물체를 실시간으로 추적하고 처리.
정밀 궤적 생성:
로봇의 움직임을 미리 계획하고, 장애물을 피하며 목표물에 접근하여 작업을 수행.
- 부품 삽입 과정에서 힘과 각도를 정밀하게 조정.
- 물체의 무게나 재질에 따라 맞춤 동작 수행.
시각화 및 피드백:
- 작업 과정을 실시간으로 시각화하여 진행 상태를 모니터링.
- 오류나 이상이 발생할 경우 자동으로 조정하거나 재작업 수행.

5. 로봇 협업 (Collaborative Robotics)

사용 시나리오

협동 로봇(Cobot)이 포인트 클라우드를 활용하여 작업 환경과 인간의 위치를 감지하고 협력 작업을 수행.
사람과의 충돌을 방지하거나 사람의 움직임을 따라 작업.

예제

작업 공간 모니터링: 작업 공간을 포인트 클라우드로 실시간 분석하여 작업자의 위치를 파악하고 안전을 확보.
동적 작업 할당: 로봇이 포인트 클라우드를 기반으로 작업 환경을 분석하고 동적으로 작업을 할당받아 수행.

레인보우로보틱스 社, 협동 로봇 라인업

Tesla 社, 옵티머스 Gen-2 홍보사진

포인트 클라우드 기반 작업 관리

사용 기술

포인트 클라우드 기반 공간 분석: 실시간 포인트 클라우드 데이터를 처리해 인간의 위치와 물체의 상태를 인식합니다.
SI(System Integration): 로봇 협업 시스템을 구축하기 위해 센서, 로봇 컨트롤러, PLC, 그리고 사용자 인터페이스 등을 통합하여 원활한 동작을 구현합니다.
충돌 방지 알고리즘: 포인트 클라우드 데이터를 기반으로 작업 영역에서의 충돌을 예측하고, 로봇의 경로를 조정합니다.
AI 기반 작업 분석: 머신러닝 모델을 사용해 작업자의 행동 패턴을 학습하고 작업 지원을 최적화합니다.
ROS 및 산업용 SI 툴: ROS(Robot Operating System)를 기반으로 포인트 클라우드 데이터 처리와 로봇 움직임을 제어하고, 산업용 SI 툴을 활용해 다양한 기기와의 통합을 구현합니다.

마무리

포인트 클라우드 기술은 단순히 로봇에게 데이터를 제공하는 것을 넘어, 로봇이 환경과 정밀하게 상호작용할 수 있는 토대를 마련해줍니다. 자율 네비게이션에서부터 정밀 조작까지, 이 기술의 가능성은 끝이 없습니다. 앞으로 포인트 클라우드는 AI, IoT, 자동화 기술과의 융합을 통해 더욱 혁신적인 로봇 솔루션을 만들어낼 것입니다.

로봇이 만들어갈 미래가 궁금하신가요? 포인트 클라우드가 그 답을 알려줄지도 모릅니다.

프로덕트 헌트(Product Hunt)란?

smlee- — Mon, 6 Jan 2025 12:51:46 +0900

Product Hunt: 스타트업의 빌보드 차트

오늘날 우리는 매일 새로운 기술과 제품, 서비스들이 쏟아져 나오는 시대에 살고 있습니다. 하지만 이렇게 빠르게 변화하는 세상 속에서 정말로 가치 있는 혁신을 찾고 싶다면 어디로 가야 할까요? 바로 Product Hunt입니다.

이 글에서는 Product Hunt가 무엇인지, 어떻게 활용할 수 있는지, 그리고 왜 주목해야 하는지를 자세히 살펴보겠습니다.

Product Hunt란 무엇인가요?

Product Hunt는 전 세계의 창업자, 개발자, 디자이너, 그리고 기술 애호가들이 자신들의 제품과 아이디어를 공유하는 온라인 플랫폼입니다. 2013년, Ryan Hoover에 의해 설립된 Product Hunt는 단순한 제품 소개 사이트를 넘어, 혁신과 창의성의 허브로 자리 잡았습니다. 현재는 세계 최대 규모의 소프트웨어 출시·평가 플랫폼이며

주요 기능

신제품 소개
- 사용자는 자신이 개발한 앱, 웹 서비스, 하드웨어, 콘텐츠 등을 플랫폼에 올릴 수 있습니다. Product Hunt는 초기 사용자들에게 제품을 소개하고 실시간 피드백을 받을 수 있는 기회를 제공합니다.
업보트 시스템
- 모든 제품은 커뮤니티의 투표(업보트)를 통해 평가받습니다. 투표 수가 많을수록 해당 제품은 더 많은 사람들에게 노출됩니다.
  업보트 273개를 받아 데일리 리더보드 2위를 차지한 "That's Rank!" 상품의 소개 화면
커뮤니티 참여
- Product Hunt는 단순히 제품을 소개하는 데 그치지 않습니다. 제품의 제작자와 사용자가 댓글을 통해 직접 소통하며, 발전 방향에 대해 논의할 수 있는 커뮤니티 공간을 제공합니다.
데일리 리더보드
- 매일 가장 인기 있는 제품이 리더보드에 올라갑니다. 이 기능을 통해 현재 트렌드와 흥미로운 제품을 쉽게 확인할 수 있습니다.

2025년 1월 5일의 데일리 리더보드

Product Hunt를 어떻게 활용할 수 있을까요?

Product Hunt는 다양한 사용자들에게 각기 다른 가치를 제공합니다. 여기 몇 가지 활용 사례를 소개합니다.

1. 창업자와 개발자

초기 사용자 확보: 새로 만든 제품을 Product Hunt에 소개하면, 기술에 관심 있는 초기 사용자들이 제품을 사용해 보고 피드백을 줄 것입니다.
피드백을 통한 개선: 댓글을 통해 제품에 대한 개선 아이디어를 얻을 수 있습니다.
홍보와 트래픽 증가: 리더보드 상위에 오르면 제품이 더 많은 사람들에게 노출됩니다.

2. 기술 애호가

새로운 트렌드 탐색: 생산성 도구, AI, 게임, 교육 등 관심 분야의 최신 기술과 제품을 한눈에 볼 수 있습니다.
커뮤니티 참여: 제품에 대한 자신의 의견을 공유하거나 제작자와 대화를 나눌 수 있습니다.

3. 투자자와 전문가

유망 스타트업 발굴: Product Hunt는 초기 단계의 스타트업과 혁신적인 아이디어를 발견할 수 있는 최적의 장소입니다.
기술 트렌드 분석: 현재 어떤 기술이 주목받고 있는지 쉽게 파악할 수 있습니다.

※ 저는 앞으로 기술 애호가와 투자자의 입장으로 기술 트렌트와 최신의 아이디어 상품을 알아가기 위한 글을 작성하려 합니다.

주목할 만한 Product Hunt의 특징

1. 토픽별 탐색

관심 있는 카테고리(예: 생산성, AI, 디자인, 교육 등)를 따라가며 트렌드를 분석하고 새로운 제품을 발견할 수 있습니다.

2. 컬렉션 기능

특정 주제를 기준으로 묶인 제품 리스트를 탐색할 수 있습니다. 예를 들어, "리모트 워크를 위한 툴"이나 "스타트업에 유용한 도구" 같은 컬렉션이 제공됩니다.

3. 글로벌 커뮤니티

Product Hunt는 전 세계의 사용자들이 모이는 플랫폼입니다. 다양한 배경을 가진 사람들과 교류하며 넓은 시야를 가질 수 있습니다.

Product Hunt의 매력: 왜 사용해야 할까요?

Product Hunt는 단순한 제품 소개를 넘어, 창업자와 사용자 간의 상호작용을 촉진합니다.

또한, 기술에 관심 있는 사람이라면 누구나 최신 트렌드를 발견하고, 미래 기술에 대한 통찰을 얻을 수 있는 곳입니다.

마무리: 새로운 아이디어를 찾고 있다면?

기술과 창의력, 그리고 커뮤니티의 힘이 결합된 Product Hunt는 혁신과 아이디어를 발견하고, 성장시키고, 공유하는 데 최적화된 플랫폼입니다.

최신 트렌드를 확인하고자 하는 목표로 Product Hunt에 등록된 좋은 제품을 리뷰해볼 생각입니다.

지금 바로 Product Hunt에 방문하여 당신만의 영감을 발견해 보세요!

Product Hunt 바로가기

Product Hunt – The best new products in tech.

Product Hunt is a curation of the best new products, every day. Discover the latest mobile apps, websites, and technology products that everyone's talking about.

www.producthunt.com

포인트 클라우드(Point Cloud)란?

smlee- — Tue, 10 Nov 2020 15:16:22 +0900

Point Cloud

Lidar 센서, RGB-D센서 등으로 수집되는 데이터를 의미한다.

이러한 센서들은 아래 그림처럼 물체에 빛/신호를 보내서 돌아오는 시간을 기록하여 각 빛/신호 당 거리 정보를 계산하고, 하나의 포인트(점)을 생성한다.

Point Cloud의 정의

포인트 클라우드는 3차원 공간상에 퍼져 있는 여러 포인트(Point)의 집합(set cloud)를 의미한다.

Lidar 센서와 RGB-D 센서로 수집된 데이터는 각각 아래 그림과 같이 나타난다.

Lidar 센서로 수집된 Point Cloud

RGB-D 센서로 수집된 Point Cloud

점군(Point Cloud)은 2D 이미지와 다르게 깊이(z축) 정보를 가지고 있기 때문에, 기본적으로 N X 3 Numpy 배열로 표현된다.

여기서 각 N 줄은 하나의 점과 맵핑이 되며, 3(x, y, z) 정보를 가지고 있다.

이미지 데이터와 Point Cloud

이미지 데이터 Point Cloud 데이터

이미지 데이터에서 픽셀의 위치 정보는 항상 양수이다. 기준점은 왼쪽 위 부터이며 좌표값은 정수로 표현한다.

Point Cloud에서 점의 위치는 양수 또는 음수이다. 기준점은 센서의 위치이며, 좌표값은 실수로 표현한다.

기준점의 좌표에서 x, y, z 값은 다음과 같이 나타낸다.

x : 앞, 뒤

y : 왼쪽, 오른쪽

z : 위, 아래

이미지 데이터와 Point Cloud 데이터의 위치 정보 표현 방식

Point Cloud Technology의 이해를 돕는 다섯 가지 리스트

Points are Easy
There are many many Point Cloud Formats
There is a Point Cloud Library
Point Clouds Takes Time
Point Clouds are Evolving

Fact 1: Points are Easy

유용한 Point Cloud의 핵심은 Individual 하며 Unrelated 한 점을 사용하는 것이다.

Point Cloud는 상대적으로 쉽게 Edit, Display, Filtering 할 수 있는 무료 소프트웨어들이 있다. ( e. g. CloudCompare )

컴퓨터는 Point들의 Scale 혹은 Rotation을 고려하지 않아도 되고, 각 Point의 Position 이나 Color 정보만을 사용한다.

이러한 특징은 Detailed Data의 방대한 용량을 효율적으로 사용할 수 있게 한다.

또한, Point Cloud는 건물 또는 객체의 속성을 측정하는 데 방해를 받지 않는 방법이다.

예를 들면, 병원, 학교 및 스포츠 경기장과 같은 장소들을 측정하기 위해 해당 장소를 폐쇄할 필요가 없다.

대신에, 이러한 방법은 폐쇄 시간 이후에(가동 중지 시간, 혹은 업무 시간이 아닐 때) 수행할 수 있다.

이러한 측정 기술은 다른 방식보다 훨씬 더 정확하고 상세하다.

Point Cloud 이전에는 3D 측량이 거의 없었다.

Fact 2: There are many many Point Cloud Formats

3D 모델링을 위한 파일 형식은 수백개가 존재한다. 이것들의 호환성만 생각해도 머리가 지끈하다..

- Point Cloud의 파일 형식의 예
*. asc ,*. cl3 , *. clr , *. fls , *. fws ,*. las , *. ptg , *. pts , *. ptx , *. txt ,

*. pcd , *. xyz 등

단순히 x, y, z 정보만을 가진 *. xyz 포맷을 이용하여도 되고, 헤더 정보와 x, y, z를 가진 *.pcd 포맷을 이용하기도 한다.
일반적으로 사용되는 *.pcd 포맷은 Header와 Data 세션으로 나누어진다.

Header : 전체 포인트 수, 데이터 타입, 크기 등의 정보
Data : x, y, z 또는 x, y, z + 추가정보

데이터를 어디에 어떻게, 누가 사용할지에 따라서 Output Format을 잘 설정하여 저장해야 한다.

Fact 3: There is a Point Cloud Library(PCL)

Point Cloud를 다루는 어느 회사나 조직들도 100% 자신들의 기술력으로 Point Cloud를 사용하지 않는다.

Point Cloud를 처리하는 Open Source, 즉 Library를 활용하기 마련이다.

PCL(Point Cloud Library)은 오픈소스 소프트웨어이다.

연구의 목적으로 사용하는 데 있어 무료이며, 다양한 OS에서 컴파일할 수 있다.

pcl_filters : 3D 점군 데이터에서 이상값과 노이즈 제거 등의 필터링
pcl_features : 점군 데이터로부터 3D 특징 추정 (feature estimation) 을 위한 수많은 자료 구조와 방법들
pcl_keypoints : Keypoint (or interest point) 을 검출하는 알고리즘 구현 (BRISK, Harris Corner, NARF, SIFT, SUSAN 등)
pcl_registration : 여러 데이터셋을 합쳐 큰 모델로 만드는 registration 작업 (ICP 등)
pcl_kdtree : 빠른 최근거리 이웃을 탐색하는 FLANN 라이브러리를 사용한 kdtree 자료 구조
pcl_octree : 점군 데이터로부터 계층 트리 구조를 구성하는 방법
pcl_segmentation : 점군으로부터 클러스터들로 구분하는 알고리즘들
pcl_sample_consensus : 선, 평면, 실린더 등의 모델 계수 추정을 위한 RANSAC 등의 알고리즘들
pcl_surface : 3D 표면 복원 기법들 (meshing, convex hulls, Moving Least Squares 등)
pcl_range_image : range image (or depth map) 을 나타내고 처리하는 방법
pcl_io : OpenNI 호환 depth camera 로부터 점군 데이터를 읽고 쓰는 방법
pcl_visualization : 3D 점군 데이터를 처리하는 알고리즘의 결과를 시각화

Fact 4: Point Clouds Takes Time

Point Cloud 데이터를 수집하는 핵심은 스캔된 표면에 대한 Access / Visibility 이다.

대부분의 경우, Point Cloud는 실제 객체에 대한 가시적 접근(Visiable access)를 통해 얻는다.

이것은 단순히 모든 스캔 위치를 커버하는 데 시간이 걸린다는 의미이다.

위에서 모든 위치에 대해 스캔하여 가져온 "레이저 스캔"을 정렬하는 것도 문제가 될 수 있다.

Target이 설정되었거나, 움직이는 Target을 정렬하려고 할 수도 있고, 혹은 Target을 정하지 않고 스캔한 뒤 컴퓨터로 교차검증을 하며 수동적으로 오버랩핑하는 스캔방식을 사용할 수도 있다.

전통적으로, Target의 placement를 피함으로써 절약된 시간은 사무실에서 보내는 시간보다 더 시간 소모가 크다. (?)

예를 들어, 중간 규모 건물의 130개의 스캔 포인트 클라우드 데이터 세트를 처리하는 데 거의 25 시간이 걸릴 수 있다.

이러한 스캔을 수집하는 데 하루 밖에 걸리지 않았을 수 있지만, 수동방식으로 하는 처리방법은 해당 포인트 클라우드 데이터 세트의 등록을 수행하는 데 약 3 일이 소요될 수 있다.

그리고, 수동 수정이 필요한 경우 더 오래 걸릴 수 있습니다. 기존 방법을 사용하는 28-scan 데이터 세트는 일반적으로 완료하는 데 4 시간이 걸린다.

Missing link를 위한 Practical Targetless Registraion의 개발은 automated processing software로 한다.

Fact 5: Point Clouds are Evolving

포인트 클라우드는 Application 영역에서 점점 더 관련성이 높아지고 있다.

3D Point Cloud의 데이터 가용성, 정확성, 밀도 및 크기는 향후 몇 년 내에 크게 증가할 것으로 예상된다.

(availability, accuracy, density, and size)

기술의 발전으로 스캐너와 포인트 클라우드가 이러한 잠재력을 실현할 것이다.

머신러닝 알고리즘과 vector analysis를 통합한 Point Cloud 처리는 속도를 크게 높이고, 스캔 정렬에 수동으로 개입할 필요성을 줄여준다.

기존에 있던 대부분의 Registration Solution

각 스캔에서 인공 표적, 평면, 선과 같은 특징을 식별하여 작동한다.
이러한 개체는 겹치는 스캔을 정렬하기 위한 참조로 사용한다.

그러나, 머신러닝의 존재는 이제 스캔된 환경의 "Natural Features" 들을 "Virtual" 참조로 대신 사용할 수 있다.
일반적인 스캔에서 식별된 이러한 Natural Features가 수백만개에 달하여 정렬 속도를 높이고, 정확도를 높일 수 있다.

이러한 기법을 사용하여 포인트 클라우드 처리의 효율성이 이미 40~80% 까지 개선된 경우도 있다.

예를 들어, 이전 Fact 4에서 말했던 "28-scan 데이터 세트"는 이제 완료하는 데 4시간이 아닌 약 1시간이 걸린다.

새로운 기술로 인한 비용 절감은 포인트 클라우드 Application에 대한 기회를 더욱 열어준다.

이미 새로운 사람들이 포인트 클라우드 Producers and users 로서 시장에 진입하고 있으므로, 미래는 밝아보인다!

[Object Detection] 성능평가지표 용어 정리

smlee- — Mon, 10 Aug 2020 16:51:27 +0900

AP (Average Precision)

Object Detection 알고리즘의 성능은 precision-recall 곡선과 average precision(AP) 로 보통 평가한다.

두 용어를 제대로 이해하기 위해서는 우선 Precision과 Recall에 대한 지식이 필요하다.

Precision

Object-Detector가 검출한 정보들 중에서 Ground-Truth와 일치하는 비율을 의미한다.
한국어로 정밀도라고 불린다. 모든 검출 결과 중 옳게 검출한 비율을 의미한다.

Precision의 계산 방법

TP는 true positive의 약자로 "옳은 검출"을 의미하고 FP는 false positive의 약자로 "잘못된 검출"을 의미한다.

따라서, Precision은 알고리즘이 검출해낸 것들 중에서 제대로 검출해낸 것의 비율을 의미하는 것이다.

예를 들어, 알고리즘이 5개를 검출해냈는데(실제 몇개의 물체가 검출되어야 하는지와 상관없이) 그 중 4개가 옳게 검출해낸 것이라면, Precision은 4/5 = 0.8이다.

Recall

한국어로 재현율이라고 불린다.
마땅히 검출해내야하는 물체들 중에서 제대로 검출된 것의 비율을 의미한다

Recall의 계산 방법

FN은 False Negative의 약자로 "검출되었어야 하는 물체인데 검출되지 않은 것"을 의미한다.

예를 들어, 라벨이 붙어있는 물체(즉, 마땅히 검출되어야 할 물체)가 10개인데, 그 중 4개가 옳게 검출되었다면

Recall은 4/10 = 0.4가 된다.

TP, FP, FN, TN 이란?

Precision만으로 물체 검출 알고리즘의 성능을 평가하는 것은 적절하지 않다.

또한, Recall만으로 성능을 평가하는 것도 적절하지 않다.

위에서 예시로 든 것처럼, 실제 검출되어야 하는 물체가 10개인데, 알고리즘이 검출해낸 물체는 5개이고 그 중 4개가 맞다고 가정해보자. 그러면 이때 Precision = 4/5 = 0.8 이고, Recall = 4/10 = 0.4 이다.

Precision으로 보면 성능이 좋아보이지만, Recall로 보면 성능이 그닥 좋지 않아 보인다.

중요한 것은 Precision과 Recall은 항상 0과 1 사이의 값으로 나오게 되는데,

Precision이 높으면 Recall은 낮은 경향이 있고, Precision이 낮으면 Recall은 높은 경향이 있다는 것이다.

따라서, 어느 한 값 만으로 알고리즘의 성능을 평가하는 것은 거의 불가능하고, 두 값을 종합해서 알고리즘의 성능을 평가해야한다.

그래서 필요한 것이 precision-recall 곡선 및 AP 이다.

그 전에, 물체를 검출했을 때 "옳게 검출되었다" 와 "옳게 검출되지 않았다"를 구분해주는 기준, 즉 TP와 FP를 결정해주는 기준은 무엇일까? 그 기준은 바로 Intersection over Union(IoU)이다.

Intersection over Union (IoU)

아래와 같은 ground truth 바운더리 박스를 라벨로 가진 이미지가 있다고 가정해보자.

ground truth 바운더리 박스는 마땅히 검출되어야 할 물체를 감싸고 있다.

Ground Truth 바운더리 박스

이 이미지는 ground truth 바운더리 박스가 주어지지 않은 상황에서 어떤 알고리즘에 의해 예측된 바운더리 박스가 다음과 같다고 해보자.

예측된 바운더리 박스

이런 상황에서 예측된 검출이 맞는지 틀린지를 어떻게 결정하면 좋겠는가?

이런 고민 끝에 나온 것이 바로 IoU 이다.

IoU는 예측된 바운더리 박스와 Ground Truth 바운더리 박스간 중첩되는 부분의 면적을 측정해서 중첩된 면적을 합집합의 면적으로 나눠준다. 아래 공식을 보자.

IoU 계산 공식

IoU의 값이 0.5 이상이면 제대로 검출(TP)되었다고 판단한다.

반면, 0.5 미만이면 잘못 검출(FP)되었다고 판단한다.

(이 문턱값은 다른 값으로 설정될 수도 있다.)

Precision-Recall 곡선

PR 곡선은 confidence 레벨에 대한 threshold 값의 변화에 의한 물체 검출기의 성능을 평가하는 방법이다.

confidence 레벨은 검출한 것에 대해 알고리즘이 얼마나 확신이 있는지를 알려주는 값이다.

만약에 어떤 물체를 검출했는데, confidence 레벨이 0.999 라면 굉장히 큰 확신을 가지고 검출한 것이다. (99.9%)

참고로, confidence 레벨이 높다고 해서 무조건 검출이 정확한 것은 아니다.

알고리즘 스스로 그런 느낌 또는 확신을 갖고 있는 것이다.

confidence 레벨이 낮으면 그만큼 검출 결과에 대해서 자신이 없는 것이다.

따라서 알고리즘의 사용자는 보통 confidence 레벨에 대해 threshold 값을 부여해서 특정값 이상이 되어야 검출된 것으로 인정한다. threshold 값이 0.4 라면, confidence 레벨로 0.1 또는 0.2를 갖고 있는 검출은 무시하는 것이다.

따라서 이 confidence 레벨에 대한 threshold 값의 변화에 따라 precision과 recall 값들도 달라질 것이다.

이것을 그래프로 나타낸 것이 PR 곡선이다.

예를 통해 이해해보자,

15개의 얼굴이 존재하는 어떤 데이터셋에서 한 얼굴 검출(Face Detection) 알고리즘에 의해서 총 10개의 얼굴이 검출되었다고 가정해보자.(confidence 레벨 0부터 100%까지 모두 고려했을때)

이때, 각 검출의 confidence 레벨과 TP, FP에 대한 여부는 아래 표에 나타냈다.

10개 중 7개가 제대로 검출되었고, 3개는 잘못 검출되었다.

이 때, Precision = 옳게 검출된 얼굴 개수 / 검출된 얼굴 개수 = 7/10 = 0.7

Recall = 옳게 검출된 얼굴 개수 / 실제 얼굴 개수 = 7/15 = 0.47이 된다.

이것은 confidence 레벨이 13%와 같이(Detections-F) 아주 낮더라도 검출해낸 것은 모두 인정했을 때의 결과이다.

이번에는 검출된 결과를 confidence 레벨에 따라 재정렬해보자.

confidence 레벨에 대한 threshold 값을 아주 엄격하게 적용해서 95%로 했다면, 하나만 검출한 것으로 판단할 것이고, 이때, Precision = 1/1 = 1

Recall = 1/15 = 0.067이 된다.

threshold 값을 91%로 했다면, 두 개가 검출된 것으로 판단할 것이고,

Precision = 2/2 = 1

Recall = 2/15 = 0.13이 된다.

threshold 값을 검출들의 confidence 레벨에 맞춰 낮춰가면 다음과 같이 precision과 recall이 계산될 것이다.

이 Precision 값들과 Recall 값을 아래와 같이 그래프로 나타내면 그것이 바로 PR 곡선이다.

PR 곡선

PR 곡선에서 x축은 recall 값이고, y축은 precision 값이다.

즉, PR 곡선에서는 recall 값의 변화에 따른 precision 값을 확인할 수 있다.

Average Precision (AP)

PR 곡선은 성능을 평가하는 데 매우 좋은 방법이긴 하지만, 단 하나의 숫자로 성능을 평가하긴 어렵다.

AP는 precision-recall 그래프에서 그래프 선 아래쪽의 면적으로 계산된다.

이렇게 바꾼 다음에 그래프 선 아래의 넓이를 계산함으로써 AP를 구한다.

이 경우 AP = 왼쪽 큰 사각형의 넓이 + 오른쪽 작은 사각형의 넓이 = 1 * 0.33 + 0.88 * (0.47-0.33) = 0.4532 가 된다.

Computer Vision 분야에서 물체 검출 및 이미지 분류 알고리즘의 성능은 대부분 이 AP로 평가한다.

물체 클래스가 여러 개인 경우, 각 클래스당 AP를 구한 다음, 그것의 평균을 구하는 것이 mAP이다.

AP (Average Precision) : Recall Value [0.0, 0.1, ... , 1.0] 값들에 대응하는 Precision 값들의 Average 이다.
mAP (mean Average Precision) : 1개의 Object 당 1개의 AP 값을 구하고, 여러 Object_Detector 에 대해서 mean 값을 구한 것.

출처: https://bskyvision.com/465

이동	W	방향 화살표를 드래그하여 이동
회전	E	회전 축을 기준으로 회전
스케일	R	크기 조절
취소	ESC	선택 취소