Source-linked AI summary
A Wearable Pneumatic Device for Continuous, Closed-Loop, Bidirectional Tactile Interaction
Cosima du Pasquier, Aliyah Smith, Serin Huber, Joshua Phelps, Ilana A. Cohen, Ava Chen, Monroe Kennedy, Allison M. Okamura
TL;DR
착용형 촉각 센싱과 햅틱 디스플레이는 일반적으로 별도로 설계되어 teleoperation에서 양방향 촉각 상호작용을 제한한다. 이 논문은 두 기능을 closed-loop 공압 디바이스에 통합해 인가 압력을 최대 23.1%, 작업 시간을 최대 27.4%, 주관적 정신적 작업량을 18.8% 줄인다.
문제
착용형 촉각 센싱과 햅틱 디스플레이는 일반적으로 별도로 설계되어 teleoperation을 위한 상응하는 양방향 촉각 상호작용을 제한한다.
방법
이 시스템은 분산형 착용 공압 채널을 사용하며, 국소 closed-loop 제어를 통해 동일한 textile pouch 메커니즘으로 압력을 감지하고 표시한다.
결과
teleoperation 조작 중 인가 압력은 최대 23.1%, 작업 시간은 최대 27.4%, 주관적 정신적 작업량은 18.8% 감소했다.
시사점 및 한계
이 디바이스는 양방향 촉각 통신과 향후 촉각 상호작용 및 teleoperation 연구를 위한 실용적 기반을 제공한다.
시사점 및 한계
다중 하위 시스템 실험 설정에서 발생한 기술적 중단과 참가자 제외는 더욱 긴밀한 시스템 통합이 필요함을 보여준다.
Abstract
from arXiv · showhide
We present a system of two wearable pneumatic haptic devices that supports continuous, closed-loop, bidirectional tactile interaction at perceptually relevant force and temporal scales. A single device can contain up to twelve pressure sensing channels connected to textile-based pneumatic pouches. Each channel in a device can be used as a sensor, an actuator, or both. As an actuator with integrated sensing, the channel generates stable skin indentation through local closed-loop control. As a sensor, a channel can be mounted (or worn) on any surface, including on a robot gripper or on the human body, and used to measure touch interactions with the environment or a human user. A distributed architecture supports sustained pressure output, rapid dynamic response, and wireless pairing of identical devices in a system to transmit and reproduce tactile pressure signals in real time. Device-level characterization demonstrates force bandwidth exceeding 30 Hz, rapid and well-damped step responses, and extended pressure retention compared to prior compact pneumatic platforms. Human studies show that pressure-based fingertip feedback enables discrimination of force and stiffness, improves teleoperated manipulation by reducing applied pressures by up to 23.1% and task duration by up to 27.4%, and lowers subjective mental workload by 18.8%, particularly under visually constrained conditions. By unifying tactile sensing and haptic feedback within a single pneumatic modality, the device provides a practical foundation for bidirectional touch interaction in teleoperation.
요약 · 핵심어
이 논문은 연속적·폐루프·양방향 촉각 상호작용을 위한 wearable pneumatic haptic device를 제시하며, 다채널 sensing과 actuation을 결합한다. Device characterization과 human study를 통해 반응성 있는 작동과 힘 지각 및 원격조작 조작 성능의 이점을 입증하며, 특히 시각이 제한된 조건에서 효과가 크다.
- 요약: 이 시스템은 지각적으로 중요한 힘 및 시간 규모에서 연속적·폐루프·양방향 촉각 상호작용을 지원하는 두 개의 wearable pneumatic haptic device를 사용한다.
- 요약: 각 device는 textile-based pneumatic pouch에 연결된 최대 12개의 pressure-sensing channel을 포함할 수 있다.
- 요약: 각 channel은 sensor, actuator 또는 둘 모두로 기능할 수 있으며, integrated sensing을 통해 local closed-loop control로 안정적인 피부 함입을 구현한다.
- 요약: Force bandwidth는 30 Hz를 초과하며, step response는 빠르고 감쇠가 양호하고 pressure retention은 기존 compact pneumatic platform보다 길다.
- 요약: Pressure-based fingertip feedback은 힘과 강성의 판별을 가능하게 하며, 시각이 제한된 조건에서 원격조작 조작 성능을 향상시킨다.
- 요약: 인가 압력은 최대 23.1%, task duration은 최대 27.4%, 주관적 mental workload는 18.8% 감소한다.
- 핵심어: 이 논문의 핵심어는 Soft Robotics, Haptics, Teleoperation이다.
서론
Teleoperation에는 연속적이고 해석 가능한 양방향 촉각 피드백이 필요하지만, haptic display와 robot tactile sensing은 대개 별도로 설계된다. Pneumatic textile pouch는 내부 압력이 normal force를 작동시키고 감지하기 때문에 공통 modality를 제공하며, 이를 통해 소형 closed-loop 무선 상호작용이 가능하다.
- Haptic feedback은 task completion time1,2을 줄이고, manipulation accuracy3를 향상시키며, peak 및 average interaction forces4를 낮출 수 있다.
- Teleoperation이 imitation learning을 위한 제어와 demonstration collection을 지원함에 따라, 연속적이고 해석 가능한 양방향 촉각 피드백은 점점 더 필수적이다.
- 기존 teleoperation은 인간의 haptic display와 robot tactile sensor를 분리하는 반면, bilateral force-control loop는 hard contact, stiff setting, communication latency5,6 상황에서 불안정해질 수 있다.
- Pneumatic textile pouch는 내부 압력이 작동 변수이면서 동시에 감지 신호이므로 normal force를 표시하고 측정할 수 있다.팽창된 접촉부는 compliant object에 가해지는 force에 따라 fingerpad의 자연스러운 contact area 증가도 재현한다.
- 제안하는 compact closed-loop controller는 각 pouch를 국소적으로 조절하고, compressor와 valve의 부담을 제거하며, 즉각적인 촉각 지각의 threshold보다 낮은 latency로 감지된 pressure를 무선 전송한다.
결과
웨어러블 pneumatic system은 빠르고 지속적인 양방향 tactile interaction을 구현했으며, force와 stiffness perception은 direct touch에 근접했지만 더 어려운 비교에서는 weight discrimination이 저하됐다. Haptic feedback은 applied pressure를 줄이고 일부 manipulation 성능을 높였으며, 특히 visual occlusion 상황에서 workload를 낮췄다.
- 시스템 아키텍처: 동일한 textile pouch가 integrated valves, sensors, microcontrollers를 갖춘 local closed-loop pressure regulation을 통해 sensor 또는 actuator로 작동했다.Untethered architecture는 distributed sensing과 actuation, 그리고 real-time tactile transmission을 위한 동일 장치 간 wireless pairing을 지원한다.
- 장치 성능: Device는 30 min 동안 pressure를 유지했고, 39 ms에 안정화됐으며, 34.2 Hz -3 dB force bandwidth를 제공하고 paired devices 간 pressure를 64 ms에 동기화했다.16 min 후에도 1700 mbar를 초과하는 pressure를 유지한 반면, 비교 가능한 compact pneumatic systems는 수 초 내에 pressure를 잃었다.
- 지각 평가: Participants는 two elements에서 92.2% accuracy로 force를 구별했고 three elements에서는 92.1%를 기록했으며, stiffness feedback은 two elements에서 direct touch와 일치하고 three elements에서는 six points 이내에 머물렀다.Device-mediated stiffness accuracy는 two elements에서 91.4%로, hand 사용의 90.1%와 비교됐고, three elements에서는 90.8% 대 96.7%였다.
- 지각 평가: Teleoperation에서 weight discrimination은 two-element comparisons의 95.7%에서 87.5%로, three-element comparisons의 100%에서 53.8%로 감소했다.결과는 mediated feedback이 더 단순한 weight ordering은 보존했지만, 세 번째 weight가 cognitive 및 motor complexity를 높이면서 성능이 크게 저하됐음을 보여준다.
논의
논의에서는 closed-loop 촉각 센싱과 햅틱 디스플레이를 통합한 웨어러블 공압 플랫폼을 제시하며, 안정적인 촉각 단서, 양방향 통신, 향상된 원격조작을 가능하게 한다. 결과는 인지 부담을 줄이면서 힘과 강성을 신뢰성 있게 판별할 수 있음을 뒷받침하는 한편, 무게 판별의 어려움과 시스템 통합의 한계를 부각한다.
- 공유된 물리적 메커니즘은 신체 착용형 closed-loop 공압 설계에서 촉각 센싱과 햅틱 디스플레이를 통합한다.이는 외부 하드웨어에 제약되는 지속 압력 시스템과 일시적 펄스만 생성할 수 있는 무구속 open-loop 시스템 사이의 절충 문제를 해결한다.
- Closed-loop 압력 조절과 빠르고 잘 감쇠된 응답은 지각적으로 유의미한 힘 및 시간 규모에서 안정적이고 연속적인 손끝 압입을 가능하게 한다.이러한 특성은 장시간 접촉과 정밀한 힘 조절을 지원하며, 특히 힘 단서가 시간에 따라 안정적으로 유지되어야 하는 원격조작에서 중요하다.
- 강성 판별은 직접 손으로 수행한 성능에 근접했으며, 햅틱 피드백을 사용한 힘 및 강성 과제 전반에서 높은 정확도가 나타났다.압입 기반 단서는 힘의 크기와 재료 특성을 포함한 연속적인 접촉 정보를 전달할 수 있다.
- 더 어려운 원격조작 3-element 비교에서 무게 판별 성능이 저하된 것은 참가자들이 손끝 압력 단서를 로봇의 동시 제어와 통합해야 했기 때문이다.이 결과는 과제 수준의 인지 요구가 지각 수행을 형성하는 방식을 보여준다.
- 동일한 두 장치를 페어링하면 중간 추상화 없이 실시간 양방향 촉각 통신과 압력 신호 재현이 가능하다.이 쌍 장치 아키텍처는 햅틱 및 비햅틱 조건에서 동일한 센싱 방식으로 촉각 상호작용 데이터를 기록하는 것도 지원한다.
- 원격조작 기반 조작에서는 특히 시각적으로 제약된 조건에서 가한 힘이 감소하고, 효율이 향상되며, 정신적 부담과 좌절감이 낮아졌다.이 결과는 촉각 단서가 접촉 상태를 추론하고 상호작용 힘을 조절하는 데 필요한 인지적 노력을 줄인다는 것을 보여준다.
- 기술적 중단, 참가자 제외, 로봇 지연과 햅틱 지연의 혼동은 향후 연구에서 하위 시스템을 더욱 긴밀하게 통합해야 할 필요성을 보여준다.실험 구성은 robot-control, visual-feedback, haptic-feedback subsystem을 별도로 결합해 실용적 한계를 초래했다.
방법
이 시스템은 무선 협조 기능을 갖춘 분산형 로컬 폐루프 pneumatic channel을 사용해 hand-tracked teleoperation 중 양방향 손끝 피드백을 제공한다. 평가는 force, stiffness, weight discrimination을 포함하는 perception 및 teleoperation task를 통해 haptic operation과 non-haptic operation을 비교한다.
- 시스템 아키텍처: 각 channel은 proportional piezoelectric valve, pressure sensor, 전용 microcontroller를 결합해 textile pneumatic actuator를 독립적으로 폐루프 조절한다.system-level microcontroller가 channel과 wireless communication을 조정하며, 단일 CO2 cartridge 또는 wall-air source가 시스템을 구동한다.
- 폐루프 제어: 로컬 proportional-integral control은 pressure를 연속적으로 샘플링하고 valve opening을 조절해, 확장 가능한 channel 전반에서 overshoot를 최소화하면서 low-latency setpoint tracking을 가능하게 한다.이 아키텍처는 또한 pneumatic dead volume과 leakage를 최소화해 장시간 interaction 중 지속적인 pressure output을 지원한다.
- Teleoperation 피드백: teleoperation 중 gripper normal force는 경험적으로 결정된 scaling factor of four를 사용해 지속적으로 갱신되는 손끝 pressure setpoint에 선형 매핑되었다.thumb 및 index actuator가 normal indentation을 생성했으며, wireless로 paired된 device가 force measurement와 command를 양방향으로 전송했다.
- 실험 프로토콜: 참가자들은 unencumbered HoloLens 2 hand tracking을 통해 Kinova Gen3 7 DoF arm을 제어했으며, wrist motion은 Cartesian velocity에, thumb-index distance는 gripper opening에 매핑되었다.연구에는 건강한 성인 참가자 25명이 포함되었고, Perception과 Teleoperation의 두 단계로 구성되었다.
- 실험 프로토콜: perception 단계는 제한된 시각 및 전신 운동 단서 아래에서 손끝 force, stiffness, weight를 직접적으로 또는 robot-mediated 방식으로 판별하는 five tasks로 구성되었다.참가자들은 정식 평가에 앞서 빈 aluminum soda can을 사용해 five-minute training session을 완료했다.
이해관계 선언
저자들은 Haptica, Inc.와 관련된 재정적·상업적·자문·계약상·특허상 이해관계를 공개했으며, 나머지 저자들은 경쟁 이해관계가 없다고 보고했다. 또한 문장의 명확성과 가독성을 높이기 위해 ChatGPT와 Claude를 사용했으며, 이후 저자들이 원고를 검토하고 출판물에 대한 책임을 졌다고 공개했다.
- 이해관계 선언: 여러 저자가 회사 경영, 지분 보유, 과학 자문, 주식 소유, 이후 유급 엔지니어링 용역 제공을 포함해 Haptica, Inc.와의 연계를 보고했다.C.d.P.는 공동 창립자이자 임원이며 주주다. A.M.O.는 지분을 보유한 과학 자문이다. J.P.는 이후 유급 계약 엔지니어링 용역을 제공했다.
- 이해관계 선언: C.d.P.와 S.H.는 본 연구와 관련된 기술에 대한 provisional patent를 보유하고 있으며, 나머지 저자들은 경쟁 이해관계가 없다고 선언했다.해당 특허는 출원번호 #S25-344-PROV로 식별된다.
- 이해관계 선언: 저자들은 원고의 명확성과 가독성을 높이기 위해 ChatGPT와 Claude를 사용한 뒤, 내용을 검토하고 편집했으며 출판물에 대한 전적인 책임을 유지했다.공개 내용에는 글쓰기 지원 도구로 OpenAI의 ChatGPT와 Anthropic의 Claude가 명시되어 있다.
보충 정보 색인
보충 정보에는 추가 방법, Figures S1–S9, Tables S1–S7이 포함된다.
- 보충 방법, Figures S1–S9, Tables S1–S7은 Document S1에 수록되어 있다.
보충 정보 A 연속적 폐루프·양방향 촉각 상호작용을 위한 웨어러블 공압 장치
제공된 본문에는 “Bidirectional Tactile Interaction” 절의 기여자들이 나열되어 있다.
- Bidirectional Tactile Interaction: 나열된 기여자는 C. du Pasquier, A. Smith, S. Huber, J. Phelps, I. Cohen, A. Chen이다.
- Bidirectional Tactile Interaction: 추가로 나열된 기여자는 M. Kennedy III과 A. M. Okamura이다.
1 제어기 설계 및 아키텍처
이 장치는 로컬 압력 센싱과 분산형 closed-loop 제어를 갖춘 최대 12개의 독립 제어 pneumatic channel을 사용해 확장 가능한 양방향 촉각 상호작용을 구현한다. 특성 평가에서 높은 force bandwidth, 빠른 settling, 그리고 비교 가능한 open-loop 플랫폼보다 상당히 긴 압력 유지 시간이 확인됐다.
- 시스템 아키텍처: 각 장치는 동일한 channel을 최대 12개 포함하며, 각 channel은 proportional valve, pressure sensor, channel microcontroller를 결합해 로컬 closed-loop 제어를 수행한다.동일한 두 장치는 무선으로 pair할 수 있어 한 장치가 pressure signal을 감지하고 전송하는 동안 다른 장치가 이를 재현한다.
- 제어기 아키텍처: 분산형 per-channel 제어는 중앙 집중식 병목을 피하고 다중 channel로의 확장을 지원한다.동일 위치에 배치된 pressure sensor가 각 channel의 로컬 controller에 feedback을 제공한다.
- Actuator 특성 평가: 34.2 Hz의 평균 force bandwidth와 76.2 N의 maximum force는 동적 및 고강도 actuator 성능을 입증하며, Airport-controlled actuator의 14.5 Hz bandwidth를 능가한다.2650 mbar에서 maximum force는 76.2 ± 2.8 N이었고, force bandwidth는 34.2 ± 1.2 Hz로 Airport의 14.5 Hz보다 높았다.
- Pneumatic 성능: 압력 유지는 FlowIO open-loop 비교 시스템을 크게 능가하며, 5분 후에도 압력이 2300 mbar로 유지되고 완전한 감압은 30분 후에야 발생한다.비교 대상인 FlowIO 시스템은 동일한 절차에서 10초 이내에 압력을 잃었다.
- 제어기 성능: 29 ms의 평균 rise time과 39 ms의 total settling time은 wearable haptic feedback에 적합한 빠르고 안정적인 압력 제어를 제공한다.상승 시간은 5에서 34 ms 범위였으며, 50 ms 미만의 응답 시간은 명확하고 시의적절한 촉각 피드백에 충분한 것으로 설명된다.
2 웨어러블 및 소프트 로보틱스를 위한 공압 컨트롤러 검토
공압 구동은 웨어러블 로봇, 소프트 매니퓰레이터, 햅틱 인터페이스에서 널리 사용되지만, 시스템 성능은 컨트롤러 설계에 크게 좌우된다. 기존 플랫폼은 점차 closed-loop pressure control을 사용하고 있으나, 일반적으로 무선 웨어러블 폼팩터에서 지속적이고 양방향적인 촉각 신호 교환을 지원하지 못한다.
- 컨트롤러 설계: 공압 구동은 높은 순응성과 high power density로 인해 웨어러블 로봇, 소프트 매니퓰레이터, 햅틱 인터페이스에서 주로 사용된다.컨트롤러 크기, 제어 전략, 센싱 역량, 동적 응답이 시스템 성능을 근본적으로 좌우한다.
- 기존 플랫폼: 검토한 대부분의 플랫폼은 외부 공압 공급원이나 소형 마이크로펌프를 사용하며, 안정성과 반복성을 위해 closed-loop pressure control을 점차 도입하고 있다.이러한 시스템은 일반적으로 양방향 촉각 통신보다 단방향 구동을 중시한다.
- 기존 플랫폼: 기존 시스템은 일반적으로 원격 위치 간의 지속적이고 양방향적인 촉각 신호 교환을 지원하지 못하며, 특히 무선 및 웨어러블 폼팩터에서 그러하다.이러한 한계는 이 절에서 검토한 기존 공압 플랫폼과 본 연구가 대상으로 삼는 장치를 구분한다.
3 원격조작 제어 구현
원격조작 시스템은 HoloLens 2의 손 추적을 사용해 손목 움직임 속도 매핑과 보정된 손가락 기반 그리퍼 명령으로 Kinova Gen3 로봇을 제어했다. 하향식 그리퍼 방향과 업데이트 조건을 제한해 일관된 접촉과 안정적인 제어를 확보했다.
- 추적: HoloLens 2는 외부 카메라나 추가 보정 없이 내장 depth, infrared, inertial sensing을 사용해 6자유도 손목 및 손끝 추적을 제공했다.see-through 디스플레이는 물리적 환경을 직접 볼 수 있게 했으며, head-mounted form factor는 일관된 추적을 유지하면서 자유로운 움직임을 지원했다.
- 로봇 제어: 손목 위치와 quaternion 방향 변화는 HoloLens world frame에서 선형 및 각속도로 변환되어 로봇 end-effector를 제어했다.명령은 Kinova의 ROS driver를 통해 Cartesian velocity로 전송했으며, joint velocity는 Kinova의 inverse kinematics solver가 계산했다.
- 제약 조건: 그리퍼 방향은 top-down grasp로 제한했으며, task complexity를 줄이고 접촉 geometry를 표준화하기 위해 gripper의 Z axis에 대한 angular velocity만 허용했다.좌표계는 pose-delta control이 정밀한 collocation을 요구하지 않았기 때문에 대략적으로만 정렬되었다.
- 그리퍼 제어: 그리퍼 개방 정도는 각 세션에서 참가자의 편안한 최대 벌림에 맞춰 보정한 후 정규화된 엄지–검지 거리를 사용해 제어했다.정규화된 명령은 gcmd = 0을 완전 개방에, gcmd = 1을 완전 폐쇄에 매핑했다.
- 명령 필터링: 그리퍼 명령은 0.05를 초과하는 변화, 최소 0.01 s의 간격, 그리고 0.05 m/s 미만의 end-effector 속도에서만 업데이트되어 잡음과 움직임으로 인한 오작동을 필터링했다.속도 조건은 팔이 거의 정지한 구간으로 손가락 명령을 제한했다.
4 상세 사용자 연구 절차 및 추가 결과
보충 연구에서는 25명의 참가자를 대상으로 다양한 시각 조건에서 haptic feedback을 평가하기 위해 무작위화된 perception 및 teleoperation 절차를 사용했다. 참가자별 분석에서 haptic feedback은 더 일관된 힘 조절과 더 빠른 운반을 보였으며, 사용성 향상은 긍정적이었지만 유의하지 않았다.
- 결과 측정: Perception 정확도는 confusion matrices로 계산했으며, teleoperation 결과에는 완료 시간, 경로 길이, 가한 압력, 사용성, 그리고 6개의 NASA-TLX workload 하위 척도가 포함됐다.완료 시간은 최초 물체 접촉부터 놓기까지로 정의했으며, 5분을 초과한 trial은 실패로 분류했다.
- 참가자별 Teleoperation 결과: Haptic feedback은 condition-order effect와 무관하게 teleoperation 과제 전반에서 더 낮거나 비슷한 가한 압력을 일관되게 유지했다.참가자별 결과에서는 condition order가 PnP1과 PnP2에서 과제 지속 시간과 경로 길이에 영향을 미친 것으로도 나타났다.
- Pick 대 Place 시간 배분: Haptic feedback은 참가자들이 물체를 더 빠르게 운반하게 했기 때문에 시간 배분을 grasping 쪽으로 이동시켰으며, Place phase에 사용한 시간의 비율은 더 낮았다.이러한 시간 배분 양상은 본문에서 보고한 과제 효율 향상을 보충적으로 설명한다.
- SUS 결과: 참가자들은 haptic-feedback system의 전반적 사용성을 더 높게 평가했지만, 사용성 차이는 통계적 유의성에 도달하지 않았다.통계적 비교에는 Shapiro–Wilk 평가 후 paired t-test를 사용했으며, logging-error가 발생한 trial은 대칭적으로 제외했다.