Inteligentny robot oparty na IoT do poruszania się po biurze i podlewania roślin

Dział robotyki Innowise opracował własnego inteligentnego robota do poruszania się po pomieszczeniach biurowych i instalacjach wodnych bez interwencji człowieka.

Prawdziwe trasy biurowe wokół ludzi i mebli

Nawadnianie biurek, półek i regałów na różnych wysokościach

Smart robotics system combining mobility and precision watering for automated facility care

Branża IT, Tworzenie oprogramowania na zamówienie

Pracownicy 3,500+

Region UE

Usługi Rozwój oprogramowania, Rozwój back-endu, Rozwój front-endu, Discovery

Opis klienta

Podsumuj artykuł za pomocą AI

Innowise jest globalnym dostawcą oprogramowania o pełnym cyklu rozwoju z ponad 3500 specjalistami IT na pokładzie. Firma zrealizowała ponad 1600 projektów dla klientów z 70 krajów, obejmujących inżynierię oprogramowania, rozwój produktów i doradztwo technologiczne w wielu branżach. W tym przypadku Innowise działał zarówno jako klient, jak i zespół programistów, ponieważ projekt został stworzony jako wewnętrzna inicjatywa badawczo-rozwojowa.

Wyzwanie

Firma Innowise wykorzystywała do zarządzania danymi połączenie HubSpot CRM, Jira, arkuszy kalkulacyjnych i dokumentów. Ponieważ firma szybko się rozwijała, podejście to prowadziło do chaotycznych procesów, a informacje były rozproszone w różnych systemach i często powielane. Potrzebowaliśmy ujednoliconego rozwiązania do centralizacji danych, standaryzacji procesów i zapewnienia bezpiecznego dostępu między zespołami.

Rutynowa pielęgnacja roślin. Rośliny biurowe wymagały regularnego podlewania, ale ręczna pielęgnacja zależała od ludzi pamiętających o zadaniu i sięgających do roślin umieszczonych na biurkach, półkach, regałach i innych obszarach biurowych.
Walidacja prac badawczo-rozwojowych. Jako projekt wewnętrzny, IRIS musiał rozwiązać rzeczywisty problem biurowy, jednocześnie dając zespołowi robotyków praktyczny sposób na przetestowanie autonomicznej nawigacji, wykrywania roślin i sterowania opartego na IoT w środowisku wewnętrznym.
Wartość demonstracyjna. Projekt musiał również służyć jako demonstracja specjalistycznej wiedzy Innowise w zakresie robotyki. Zamiast mówić o robotyce, zespół miał na celu zbudowanie działającego robota, który mógłby pokazać, w jaki sposób IoT, systemy wbudowane, wizja komputerowa i inżynieria sprzętowa mogą poradzić sobie z rutynowym zadaniem biurowym bez udziału człowieka.

Nawigacja wewnętrzna. Robot musiał poruszać się po pomieszczeniach biurowych, budować mapę przestrzeni, unikać mebli i reagować na poruszające się przeszkody, takie jak pracownicy.
Wykrywanie roślin. System musiał wykrywać rośliny, szacować ich położenie i decydować, czy wymagają podlewania, wykorzystując wizję komputerową, LiDAR, kamery i rejestry roślin oparte na kodach QR.
Podlewanie na różnych wysokościach. Rośliny zostały umieszczone na biurkach, półkach, regałach i wysokich regałach na książki, więc robot potrzebował mechanizmu podnoszenia i nawadniania, który mógłby dotrzeć do różnych poziomów bez powodowania, że całe urządzenie byłoby zbyt wysokie lub niestabilne.
Integracja sprzętu i oprogramowania. Zespół musiał połączyć ruchomą platformę, zbiornik, baterię, windę, czujniki, wbudowane komponenty, backend, frontend i usługi w chmurze w jeden działający system robotyczny.

Dostarczone przez nas rozwiązanie

Odkrywanie i planowanie

Zespół rozpoczął od zdefiniowania, co robot ma robić w środowisku biurowym. IRIS (Innowise Robotics Irrigation System) musiał poruszać się po pokojach, wykrywać rośliny, rozumieć, czy wymagają podlewania, docierać do nich na różnych wysokościach i wykonywać zadanie bez ciągłego udziału człowieka.

Na etapie planowania zespół opracował główne bloki techniczne: nawigację wewnętrzną, wykrywanie roślin, rejestry roślin oparte na kodach QR, ruchomą platformę, zbiornik na wodę, mechanizm windy oraz komponenty oprogramowania potrzebne do przetwarzania tras, danych z czujników i historii nawadniania.

Zaprojektowanie rozwiązania

Nasi sprawdzeni programiści robotyki zaprojektowali IRIS jako autonomicznego robota IoT łączącego sprzęt, wbudowane komponenty, wizję komputerową i oprogramowanie. Część sprzętowa obejmowała ruchomą platformę, baterię, zbiornik na wodę, mechanizm windy, czujniki, kamery i pręt do podlewania.

Do nawigacji robot wykorzystuje SLAM, ROS, LiDAR i wizję komputerową do mapowania przestrzeni biurowych i budowania tras wokół mebli, pracowników i innych przeszkód. Do wykrywania roślin system łączy dane wejściowe z kamery, modele wykrywania obiektów, kody QR i zapisy historii podlewania, dzięki czemu robot może zidentyfikować każdą roślinę i sprawdzić, czy konieczne jest podlewanie.

Dostarczane kluczowe funkcje

Mapowanie i nawigacja w biurze

Nasi eksperci od robotyki rozpoczęli od mapowania przestrzeni biurowych, aby stworzyć szczegółowy system monitorowania instalacji IoT, identyfikując lokalizacje instalacji, przeszkody, meble i inne obiekty, które mogą wpływać na ruch robota. Wykorzystaliśmy technologię SLAM, aby zapewnić przewidywalne trasy w pomieszczeniach biurowych. SLAM określa lokalizację robota podczas tworzenia mapy środowiska przy użyciu algorytmów wizji komputerowej, skanerów laserowych LiDAR i innych narzędzi czujnikowych.

Do wykrywania przeszkód i identyfikacji roślin wykorzystaliśmy LiDAR podłączony do mikrokomputera Raspberry Pi zamontowanego bezpośrednio na robocie. ROS, Robotic Operating System, i główny komputer wykorzystują te informacje wizualne do przetwarzania danych nawigacyjnych, obliczania tras i mapowania otoczenia biura.

Na tym etapie nasz zespół musiał poradzić sobie z ograniczoną widocznością podczas wykrywania zwykłych obiektów, takich jak stoły, półki, krzesła i inne elementy wnętrza, które mogły blokować widok robota lub zostać błędnie zidentyfikowane. Robot musiał również radzić sobie z dynamicznymi przeszkodami w środowisku biurowym, gdzie pracownicy i poruszające się obiekty mogą nagle zmienić pozycję i kierunek. Aby zmniejszyć ryzyko kolizji, nasz zespół wykorzystał algorytmy wizji komputerowej i uczenia maszynowego, w tym segmentację obrazu, wykrywanie obiektów, filtrowanie szumów i inne metody. Wyposażyliśmy również robota w algorytmy planowania ruchu, takie jak Rapidly-exploring Random Trees (RRT) i A* (A-star), które uwzględniają położenie i kształt przeszkód podczas identyfikowania najlepszej ścieżki w czasie rzeczywistym.

Wykrywanie roślin i logika nawadniania

Początkowo planowaliśmy wykorzystać kamery stereoskopowe do określania lokalizacji roślin, obliczania ich położenia i tworzenia trasy. Po burzy mózgów opracowaliśmy alternatywny schemat, w którym robot robił zdjęcie i rejestrował jego współrzędne w przestrzeni. Inżynierowie robotyki wykorzystali sieć neuronową do znalezienia rośliny w kadrze, obliczenia jej obwiedni i określenia kierunku kwiatu.

W projektach przetwarzania obrazu ramki ograniczające służą jako punkty odniesienia do wykrywania obiektów i tworzą ramki kolizyjne dla wykrytych obiektów. Na podstawie współrzędnych robota, orientacji kamery i lokalizacji kwiatu narysowaliśmy promień łączący pozycję robota z rośliną. Po wielokrotnym powtórzeniu tego procesu uzyskaliśmy wiele promieni przecinających się w jednym punkcie, co pozwoliło robotowi wykryć roślinę wymagającą podlania.

Nasi inżynierowie polegali na modelach wyszkolonych na zbiorach danych COCO i ImageNet w celu identyfikacji kwiatów w doniczkach. Na podstawie tego modelu odfiltrowaliśmy niepotrzebne klasy i opracowaliśmy niestandardowy detektor, który synchronizuje kierunek obwiedni ze współrzędnymi robota. Aby określić dokładne współrzędne przestrzenne pręta do podlewania, użyliśmy zestawu kamer i LiDAR.

Gdy robot wykryje roślinę, identyfikuje jej dokładną pozycję w przestrzeni i określa, czy należy ją podlać. W tym celu oznaczyliśmy wszystkie doniczki biurowe kodami QR połączonymi z bazami danych, w których przechowywana jest historia podlewania wszystkich roślin.

Ruchoma platforma

Jeśli chodzi o sprzęt, zespół robotyków wybrał system modułowy, który obejmował ruchomą platformę z elektroniką, zbiornik na wodę, baterię i dwupoziomowy system windy. Do montażu ramy robota użyliśmy aluminiowego profilu V-Slot, ponieważ jest on trwały i lekki, co zapewnia lepszą manewrowość i niższe zużycie energii.

Zamiast standardowych napędów różnicowych, umieściliśmy koła wielokierunkowe w rogach robota, aby zapewnić płynną nawigację. Koła omni-wheels lub koła wielokierunkowe mają małe rolki na obwodzie, które mogą obracać się wokół własnej osi lub prostopadle. W ten sposób robot porusza się w dowolnym kierunku bez obracania głównej konstrukcji, wykorzystując jedynie różnicę prędkości między poszczególnymi kołami.

Winda i system nawadniania

Kwiaty są umieszczane na biurkach pracowników, półkach, regałach, wysokich regałach i innych trudno dostępnych miejscach. Aby uniknąć budowania robota o wysokości regału, nasi eksperci zmontowali mechanizm podnoszący oparty na rolkach ślizgowych. Za pomocą części profilowych OpenBuilds V-Slot sztywno przymocowaliśmy do siebie stopnie podnośnika za pomocą wózków i rolek, które przesuwają się wzdłuż mechanizmu podnoszącego. Wózki są przesuwane za pomocą paska rozciągniętego między silnikiem a jednostką napinającą zamontowaną po drugiej stronie.

Na szczycie ostatniego stopnia windy zainstalowaliśmy serwomotor, który rozwija pręt z włókna węglowego do podlewania kwiatów. Pręt jest podłączony do pompy perystaltycznej zainstalowanej w zbiorniku na wodę. Standardowe pompy obrotowe są wrażliwe na objętość cieczy, dlatego zastosowaliśmy pompy perystaltyczne, które przeciskają elastyczną rurkę przez rolki na obwodzie i wypychają ciecz. W porównaniu do standardowych pomp, mechanizmy te mają znacznie mniejszą prędkość pompowania, ale mogą podnosić ciecz na znacznie większą wysokość.

Podejście do dostawy

Traktowaliśmy IRIS jako projekt badawczo-rozwojowy i od samego początku testowaliśmy robota w rzeczywistych warunkach biurowych. Inżynierowie robotyki, programiści oprogramowania układowego, specjaliści backend i frontend, eksperci ML i inżynierowie DevOps ściśle współpracowali, często dzielili się postępami i kształtowali kolejne kroki w oparciu o wyniki testów. Regularne spotkania, sesje burzy mózgów i retrospektywy pozwoliły zorganizować pracę. Zespół omówił czynniki blokujące, dostosował priorytety i naprawił problemy projektowe przed przygotowaniem robota do demonstracji.

Moim głównym wnioskiem z IRIS jest to, że robotyka biurowa zależy od drobnych decyzji inżynieryjnych. Robot może mieć dobrą trasę na mapie, ale prawdziwy test zaczyna się, gdy porusza się w pobliżu biurek, półek, ludzi i roślin umieszczonych na różnych wysokościach. Ten projekt zmusił nas do myślenia o zachowaniu, mechanice, czujnikach i oprogramowaniu jako o jednym systemie, ponieważ jedno słabe ogniwo zmienia cały wynik.

Eugene Govor Kierownik działu Embedded i C++

Technologie

Backend

Python, Django REST Framework, FastAPI, AWS IoT Core, pandas, Loki, Prometheus, Grafana, API Gateway, AWS;

Frontend

JavaScript, TypeScript, React, Redux, Leaflet, Webpack, Axios, Material UI, Cube.js, AWS CloudFront;

Systemy wbudowane

AVR, Raspberry Pi, SPI, UART, USB, I2C, HTTP, SolidWorks, ROS, SLAM, LiDAR, Altium Designer;

ML/DS

OpenCV, TensorFlow, TFLite, ONNX, NumPy;

DevOps

Terraform, Weave, Docker Compose, Kubernetes, Bitbucket Pipelines;

Baza danych

PostgreSQL, AWS Timestream.

Zespół

Kierownik projektu

Analityk biznesowy

Architekt oprogramowania

Kierownik zespołu

Inżynierowie sprzętu

Programiści oprogramowania układowego

Programistów back-end

Programistów front-end

Inżynier DevOps

Inżynier ML/DS

3D Modeller

Inżynier projektu

Wyniki

Czas trwania projektu

Luty 2023 - lipiec 2023

Innowise zbudował IRIS, autonomicznego robota IoT, który może poruszać się po przestrzeniach biurowych, wykrywać rośliny, docierać do nich na różnych wysokościach i podlewać je bez pracy ręcznej. Zespół połączył sprzęt, komponenty wbudowane, wizję komputerową, logikę nawigacji i oprogramowanie w działający prototyp testowany w rzeczywistych warunkach biurowych.

Robot sprawił, że pielęgnacja roślin biurowych stała się bardziej regularna i zmniejszyła potrzebę ręcznego podlewania. Dla Innowise projekt stał się również praktyczną demonstracją wiedzy z zakresu robotyki, pokazując, jak fizyczny robot może poradzić sobie z rutynowym zadaniem biurowym przy użyciu nawigacji, wykrywania roślin i zintegrowanego mechanizmu nawadniania.

Spis treści

Automatyzacja rutynowych zadań

Powiązane projekty

Skontaktuj się z nami

Umów się na rozmowę lub wypełnij poniższy formularz, a my odezwiemy się do Ciebie po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość

Wyślij nam wiadomość głosową

Załącz dokumenty

Prześlij plik

Można załączyć 1 plik o rozmiarze do 2 MB. Prawidłowe formaty plików: pdf, jpg, jpeg, png.

Klikając "Wyślij", wyrażasz zgodę na przetwarzanie Twoich danych osobowych przez Innowise zgodnie z naszą Politykę Prywatności w celu przekazania Ci odpowiednich informacji. Podając numer telefonu, zgadzasz się na kontakt za pośrednictwem połączeń głosowych, SMS-ów lub komunikatorów. Mogą obowiązywać opłaty za połączenia, wiadomości i transmisję danych.

Możesz także wysłać swoje zapytanie
na contact@innowise.com

Co dalej?

Po otrzymaniu i przetworzeniu zgłoszenia skontaktujemy się z Tobą, aby szczegółowo opisać projekt i podpisać umowę NDA w celu zapewnienia poufności.

Po zapoznaniu się z Twoimi potrzebami i oczekiwaniami, nasz zespół opracuje projekt wraz z zakresem prac, wielkością zespołu, wymaganym czasem i szacunkowymi kosztami.

Zorganizujemy spotkanie w celu omówienia oferty i ustalenia szczegółów.

Na koniec podpiszemy umowę, błyskawicznie rozpoczynając pracę nad projektem.