abstract

Что это

Ручка, оснащённая несколькими IMU по своей длине и контроллером/NPU, анализирующими их показания и передающими данные на внешнее устройство с целью определения положения в пространстве конца ручки. При включении ручку необходимо откалибровать на плоскость (либо на неожиданную поверхность, либо в будущем — вообще без калибровки), на которой она будет использоваться. После этого ей можно писать как обычной шариковой ручкой, в то время как написанное будет автоматически оцифровываться.
Из фич:

1. Можно дополнительно оснастить датчиком давления на кончик.
2. Можно использовать как air mouse или air stylus.
3. Можно сделать сменяемые стержни или даже насадки для маркеров, мела и т.п.

Кому и зачем это нужно

Прикольно автоматически получать конспекты, записывая заметки буквально где угодно и на чём угодно.
Основной конкурент — графический планшет, но на бумаге многим рисовать/писать приятнее. Да и графический планшет с экраном стоит дороже нескольких IMU, в то время как графический планшет без экрана даёт худшую обратную связь. Плюс, мы не ограничены площадью планшета.
В любом случае, я уверен, что это имеет больше смысла, чем умные кольца, которые все сейчас кинулись делать.

Как это сделать

В целом, довольно просто. Самое сложное — правильно анализировать данные IMU.
По моим тестам, некоторые алгоритмы слияния данных (использующие регрессию показаний гироскопа из показаний акселерометра и наоборот, а также магнитометр для коррекции дрейфа в долгосрочной перспективе), построенные на базе фильтров Калмана, уже дают неплохие результаты. Однако знание о взаимном расположении датчиков может дать очень много модальностей (регрессия данных одних датчиков из других исходя из модели их совместного движения), что многократно повысит точность алгоритмов.
Кроме того, можно отказаться от модели марковского процесса и фильтра Калмана или хотя бы сильно его доработать, расширив состояния предыдущими показаниями или другими данными. Плюс, не стоит забывать о тесной связи с проектом по автоматизации сбора данных IMU для обучения моделей.

К кому можно сходить

Честно, пока не знаю. Либо к производителям премиальных пишущих принадлежностей, либо к производителям разного рода носимой электроники.