Robotics & Physical AI로보틱스 & 피지컬 AI

Toward Physical Super Intelligence피지컬 슈퍼 인텔리전스를 향하여

Robotics research toward Physical Super Intelligence: vision-language-action (VLA) models, world models, agentic robotics, embodied intelligence and humanoid robot intelligence, including 3D VLM-based embodied AI for mobile bimanual manipulation and LiDAR sensing for physical AI.피지컬 슈퍼 인텔리전스를 향한 로보틱스 연구: 비전-언어-행동(VLA) 모델, 월드 모델, 에이전틱 로보틱스, 체화 지능, 휴머노이드 로봇 지능. 모바일 양팔 매니퓰레이션을 위한 3D VLM 기반 embodied AI와 피지컬 AI용 라이다 센싱을 포함.

VLA ModelsVLA 모델 Models that turn camera observations and natural-language instructions into robot actions. Our work adds 3D geometry and depth-aware spatial reasoning to VLA policies.카메라 관측과 자연어 지시를 로봇 행동으로 변환하는 모델. 3D 기하와 깊이 인식 공간 추론을 VLA 정책에 결합하는 연구. 8 papers편 World Models월드 모델 Learned models that predict how a scene will change under the robot's actions, so a robot can imagine outcomes and plan before it moves.로봇의 행동에 따라 장면이 어떻게 변할지 예측하는 학습 모델로, 움직이기 전에 결과를 예측하고 계획할 수 있게 함. 1 papers편 Agentic Robotics에이전틱 로보틱스 Robots driven by AI agents that break long tasks into steps, choose skills and tools, check their own progress and recover from failures.긴 작업을 단계로 나누고, 기술과 도구를 선택하며, 스스로 진행을 점검하고 실패에서 복구하는 AI 에이전트 기반 로봇. 2 papers편 Embodied Intelligence체화 지능 Perception, reasoning and action learned through interaction with the physical world, from 6D object pose estimation to grasping and mobile manipulation.6D 물체 자세 추정부터 파지, 모바일 매니퓰레이션까지 물리 세계와의 상호작용을 통해 학습하는 인지, 추론, 행동. 26 papers편 Humanoid Robot Intelligence휴머노이드 로봇 지능 Perception and decision-making for humanoid robots that share spaces with people, building on human pose understanding and bimanual manipulation.사람과 공간을 공유하는 휴머노이드 로봇을 위한 인지와 의사결정 연구로, 인간 자세 이해와 양팔 매니퓰레이션을 기반으로 함. 4 papers편
7-DOF Franka Panda in MuJoCo after placing a red cube in a tray LIVE

Live demo라이브 데모

VLA-style rollout on a 7-DOF Franka Panda7자유도 Franka Panda의 VLA 방식 실행

A Franka Panda arm carries out LIBERO-style language instructions in MuJoCo 3.14.0, running entirely in your browser. The task is executed in action chunks through inverse kinematics and impedance control, so you can see how the chunk horizon and perception noise change the motion.Franka Panda 로봇팔이 LIBERO 방식의 언어 지시를 MuJoCo 3.14.0에서 수행하며, 모든 계산은 브라우저 안에서 이루어집니다. 작업은 역기구학과 임피던스 제어를 거쳐 액션 청크 단위로 실행되므로 청크 길이와 인지 노이즈가 움직임을 어떻게 바꾸는지 볼 수 있습니다.

  • Choose a LIBERO suite and an instructionLIBERO 과제와 지시문을 고릅니다
  • Press Run VLA Rollout and watch the armRun VLA Rollout을 눌러 로봇팔을 봅니다
  • Drag to orbit, Ctrl + drag to push an object드래그로 시점 회전, Ctrl + 드래그로 물체 밀기

Purpose연구 목표

Scene interpretation with multimodal physical sensing멀티모달 물리 센싱 기반 장면 해석

We advance human-level visual and physical intelligence through computer vision, deep learning, and multimodal sensor fusion across EO, IR, HSI, SAR, Polarization, Radar, LiDAR, Raman, and RGB-D, developing physics-grounded scene interpretation, remote perception, vision-language-action (VLA) models, world models, and agentic robotics for defense, healthcare, and autonomous physical agents.컴퓨터 비전, 딥러닝, 그리고 다중모달 물리 센싱 융합(EO, IR, HSI, SAR, 편광, 레이더, 라이다, 라만, RGB-D)을 통해 인간 수준의 시각 및 피지컬 지능을 구현하며, 물리 기반 장면 해석과 원격 객체 인지부터 비전-언어-행동(VLA) 모델, 월드 모델, 에이전틱 로보틱스에 이르기까지 국방, 헬스케어, 자율 물리 에이전트를 위한 지능형 시스템을 연구합니다.

The Advanced Visual Intelligence Lab (AVIL) at Yeungnam University bridges physics-driven multimodal perception with neural world models and agentic robotics. We advance Physical Super Intelligence, translating multispectral sensing into autonomous perception and action for defense, healthcare, and robotic systems.영남대학교 지능형시각정보처리연구실(AVIL)은 다중물리 센싱 기반의 시각 인지와 신경망 월드 모델, 에이전틱 로보틱스를 융합 연구합니다. 다중 스펙트럼 센싱을 자율 인지와 제어로 연결하여 국방, 헬스케어, 로봇 시스템을 위한 피지컬 슈퍼 인텔리전스를 구현합니다.

Research areas연구 분야

  • Computer Vision & Deep Learning컴퓨터 비전 및 딥러닝
  • Sensor Fusion: EO, IR, SAR, Radar, HSI, Raman, RGB-D센서 융합: EO, IR, SAR, 레이더, HSI, 라만, RGB-D
  • Robotics: VLA Models, World Models, Agentic Robotics, Embodied Intelligence, Humanoid Robot Intelligence로보틱스: VLA 모델, 월드 모델, 에이전틱 로보틱스, 체화 지능, 휴머노이드 로봇 지능

Applications응용 분야

  • Intelligent Surveillance지능형 감시
  • AR/VR
  • Automatic Target Detection & Recognition자동표적탐지/인식
  • Physical AI: Autonomous Robots, Drones, Humanoids, Mobile Robots피지컬 AI: 자율 로봇, 드론, 휴머노이드, 이동 로봇
  • Healthcare헬스케어
Research figures: radiative transfer to a camera, LiDAR point cloud with a detected person, thermal images of pedestrians, and blackbody radiation curves
Figures from the lab's work on radiometry, thermal imaging and LiDAR perception.복사 측정, 열영상, 라이다 인식 연구의 그림.

Themes연구 주제

What the team works on now현재 연구 주제

Grouped from the research areas members list, with the papers that match each theme.구성원의 연구 분야를 주제별로 묶고, 관련 논문을 함께 보여줍니다.

Physical AI & Embodied Intelligence피지컬 AI 및 체화 지능

27 papers논문4 members구성원
  • Selim Sarowar
  • Ilhan Sin
  • Muhammad Ihsan
  • Tongjie Huo

Recent papers최근 논문

  • 2026 GaussVLA: Geometry-Aware Spatial Reasoning for Vision-Language-Action Model
  • 2026 Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models
  • 2026 A Review of EO-Based Object Perception and Radar-Assisted Range Compensation for Robust Robotic Grasping in...
All papers on this theme관련 논문 전체

Hyperspectral & Spectral Imaging초분광 및 분광 영상

68 papers논문3 members구성원
  • Tanvir Ahmmed
  • Jungeun Park
  • Eunyeob Kim

Recent papers최근 논문

  • 2026 Srestha, S.D.; Kim, S. A hybrid CNN-spectral architecture for non-contact respiratory rate estimation using...
  • 2026 Rapid Hyperspectral Classification of Camouflaged Objects in Complex Environments
  • 2026 Spectral-Faithful HSI Dehazing via Physics-Aware Wavelength-Adaptive Loss
All papers on this theme관련 논문 전체

Contactless Physiological Sensing비접촉 생체신호 측정

27 papers논문4 members구성원
  • Uday Debnath
  • Sreya Deb Srestha
  • Tanvir Ahmmed
  • Nur Nahar Queen

Recent papers최근 논문

  • 2026 Feasibility of Heart Rate Monitoring in Hemodialysis Patients Using Visible Imaging: A Pilot Study
  • 2026 Long-wave Infrared Imaging for Respiratory Rate Measurement in a Patient with Amyotrophic Lateral Sclerosis...
  • 2026 Srestha, S.D.; Kim, S. A hybrid CNN-spectral architecture for non-contact respiratory rate estimation using...
All papers on this theme관련 논문 전체

Radar & Multimodal Sensor Fusion레이더 및 멀티모달 센서 융합

58 papers논문7 members구성원
  • Anusha Ganesan
  • Uday Debnath
  • Sreya Deb Srestha
  • Tanvir Ahmmed
  • Nur Nahar Queen
  • Haekang Song
  • Wonjong Lee

Recent papers최근 논문

  • 2026 Fusion VLM-Gait: RGB-D fusion in vision-language models for explainable multi-task Parkinsonian gait analysis
  • 2026 Experimental Analysis of Breathing-Pattern-Dependent Phase Responses Using 77 GHz FMCW Radar
  • 2026 Robust FMCW Radar-Based Non-Contact Respiration Monitoring Using Adaptive Phase-Sensitive Target Selection
All papers on this theme관련 논문 전체

Detection, Recognition & Restoration탐지, 인식 및 영상 복원

146 papers논문8 members구성원
  • Anusha Ganesan
  • Alnaasan Manar
  • Haekang Song
  • Jungeun Park
  • Eunyeob Kim
  • Joseph Park
  • Ilhan Sin
  • Wonjong Lee

Recent papers최근 논문

  • 2026 Maritime-Aware Image Deblurring: Benchmark, Information Limit, and a Lightweight Directional Context Module
  • 2026 Fusion VLM-Gait: RGB-D fusion in vision-language models for explainable multi-task Parkinsonian gait analysis
  • 2026 Rapid Hyperspectral Classification of Camouflaged Objects in Complex Environments
All papers on this theme관련 논문 전체

Human Pose & Action Understanding인간 자세 및 행동 이해

53 papers논문4 members구성원
  • Huanheng Zhang
  • Ilhan Sin
  • Muhammad Ihsan
  • Tongjie Huo

Recent papers최근 논문

  • 2026 Mitigating Token Role Drift under Occlusion with No Inference Overhead for Compositional-Token Pose Estimation
  • 2026 C3G-VM6D: Data-Efficient C3G Vision Model Aided 6D Pose Estimation Based on RGB-D Data
  • 2026 GaussVLA: Geometry-Aware Spatial Reasoning for Vision-Language-Action Model
All papers on this theme관련 논문 전체

Sensing modalities센싱 모달리티

Explore by sensor센서별 탐색

Lab equipment보유 장비
64papers논문
4projects과제
8instruments장비

Latest papers최근 논문

  • 2026 Fusion VLM-Gait: RGB-D fusion in vision-language models for explainable multi-task Parkinsonian gait analysis
  • 2026 Feasibility of Heart Rate Monitoring in Hemodialysis Patients Using Visible Imaging: A Pilot Study
  • 2026 C3G-VM6D: Data-Efficient C3G Vision Model Aided 6D Pose Estimation Based on RGB-D Data
See all matching papers관련 논문 모두 보기

Projects과제

  • current Spectral-polarimetric multimodal explainable AI for highly reliable long-range object detection고신뢰 원거리 객체 탐지를 위한 분광-편광 멀티모달 설명가능 인공지능 연구
  • past Background modeling and object detection for smart surveillance systems스마트 감시시스템을 위한 배경 모델링 및 물체 탐지 기법 연구
  • past Object detection for RGB-D dataRGB-D 데이터용 물체 검출기술 연구

Equipment보유 장비

  • IR-CCD imaging drone
  • Stereo camera
  • DSLR camera
  • RGB-D camera
  • RC helicopter
  • Camcorder
  • DSLR lenses
  • DJI M200 drone + XT2