SteadyView: Wywiad z Mariusem Simonsenem

Technologia stabilizacji obrazu oparta na oprogramowaniu działa poprzez wykrywanie nieruchomych obiektów w tle nagrań i dostosowywanie obrazu, aby utrzymać te punkty odniesienia stabilne przez cały film. Poprzez jednoczesne śledzenie cech i równoległe przetwarzanie obliczeń, SteadyView dostarcza wyraźne, stabilne nagrania, które poprawiają wrażenia wizualne i ułatwiają analizę.

SteadyView jest teraz włączony dla wszystkich nowych nagrań we wszystkich istniejących kamerach Veo – bez konieczności aktualizacji sprzętu. Oznacza to, że każdy użytkownik Veo automatycznie korzysta z tej technologii, która stale się doskonali poprzez aktualizacje oprogramowania.

Aby dowiedzieć się więcej o nowej funkcji, spotkaliśmy się z Mariusem Simonsenem, Deweloperem Algorytmów w Veo, i zapytaliśmy o proces rozwoju i wpływ tej funkcji.

Co zainspirowało rozwój funkcji stabilizacji obrazu w warunkach wietrznych i jakie wyzwania chcieliście rozwiązać?Nieustannie szukamy sposobów na poprawę doświadczeń związanych z oglądaniem. Zaobserwowaliśmy, że czynniki środowiskowe, takie jak wiatr lub drgania na niektórych powierzchniach, mogą wpływać na nagrania, zwracając uwagę na ruch kamery zamiast na sam sport.

Naszym celem zawsze było umożliwienie ludziom skupienia się całkowicie na akcji. W nagrywaniu sportów trenerzy i analitycy muszą uchwycić każdy szczegół gry, a my chcieliśmy zapewnić, że nic nie odwraca uwagi od tego doświadczenia.

Ta poprawa przynosi korzyści nagraniom w różnych warunkach, takich jak mecze na zewnątrz w wietrzne dni i mecze w pomieszczeniach na elastycznych podłożach, takich jak boiska do koszykówki. Dzięki opracowaniu SteadyView zapewniamy, że widzowie mogą w pełni zanurzyć się w grze bez jakichkolwiek wizualnych zakłóceń.

Krótko mówiąc, dostrzegliśmy okazję do dodania kolejnej warstwy jakości do naszych nagrań i wzmocnienia podstawowych wrażeń podczas oglądania.

Jak działa technologia stabilizacji obrazu i co wyróżnia ją od innych rozwiązań na rynku?Algorytm działa poprzez wykrywanie nieruchomych obiektów w tle wideo – rzeczy, które nie poruszają się podczas nagrywania. Może to być dom, drzewo, znak uliczny lub zaparkowany samochód. Następnie znajduje te same obiekty we wszystkich klatkach w całym wideo i dostosowuje każdą klatkę nieco tak, aby te obiekty pozostały w tej samej pozycji przez cały film.

Używamy oprogramowania do wykrywania, aby znaleźć kilka cech w każdej klatce. Dla każdej cechy tworzymy deskryptor, aby były rozpoznawalne, a następnie używamy algorytmów dopasowywania, aby znaleźć te same cechy między klatkami. Na podstawie tych dopasowanych par możemy zastosować transformacje geometryczne, aby zapewnić, że tło pozostaje stabilne.

Największą zaletą stabilizacji obrazu za pomocą oprogramowania jest to, że wszyscy nasi istniejący klienci mogą korzystać z SteadyView. Nie muszą kupować nowej kamery – każde ulepszenie, które wprowadzamy, automatycznie dotyczy wszystkich. A za każdym razem, gdy udoskonalamy algorytm, wszyscy klienci otrzymują wyższą jakość.

Jaki wpływ miała ta funkcja do tej pory i jak według Ciebie poprawia ogólne wrażenia z oglądania dla użytkowników Veo?To zabawne. Celem jest, aby widz w ogóle nie zauważał SteadyView. Wideo powinno być całkowicie stabilne, a klient powinien zapomnieć, że zostało nagranie fizyczną kamerą. Im lepiej to działa, tym mniej osób to zauważy.

Zazwyczaj, gdy trenerzy i analitycy oglądają wideo, wiele rzeczy dzieje się jednocześnie. Chcą mieć dobry przegląd i widzieć wszystko, co się dzieje. Jeśli kamera porusza się w górę i w dół, wideo porusza się w górę i w dół, co może łatwo rozpraszać, i może być kilka szczegółów, których nie zauważysz.

Jeśli masz nagranie siebie, które jest teraz stabilizowane zamiast drżeć, każdy, kto je ogląda, skupi się bardziej na tym, co robisz na boisku, niż na tym, co robi kamera. SteadyView jest stosowany do wszystkich filmów i wpływa na podstawową jakość. Więc niezależnie od tego, czy jesteś trenerem, rodzicem czy zawodnikiem, każdy, kto korzysta z naszego wideo w jakikolwiek sposób, skorzysta z tego.

Dlaczego ważne jest dla Veo ciągłe ulepszanie funkcji "pod maską", takich jak ta, i co przyniesie przyszłość na boisku?Opracowanie algorytmu takiego jak SteadyView jest trochę jak rozwiązywanie kostki Rubika. Kiedy obracasz jedną stronę, aby naprawić problem, może to zepsuć inną stronę, która wcześniej była idealna. Musisz ciągle dostosowywać i równoważyć wszystko, aż wszystko się złoży.

Naszym celem jest uczynienie nagrywania sportów tak łatwym, jak to tylko możliwe, bez kompromisów w jakości wideo. SteadyView poprawia podstawową jakość naszych filmów. Więc niezależnie od tego, czy używasz go do analizy, przesyłasz go do mediów społecznościowych, czy udostępniasz rodzinie, do czego go nie używasz, jakość będzie lepsza.

Planujemy uczynić go jeszcze lepszym, niż jest – aby działał dla jeszcze bardziej zaawansowanych przypadków z jeszcze bardziej drżącymi nagraniami. W tej chwili istnieje limit; jeśli kamera trzęsie się naprawdę gwałtownie, nie jest stabilizowana przez SteadyView. Mamy nadzieję, że w przyszłości będziemy mogli stabilizować jeszcze więcej przypadków.

Stabilny obraz jest podstawą dla wszystkich przyszłych prac analitycznych, które wykonujemy. W Veo obecnie rozwijamy wiele nowych narzędzi analitycznych, które zależą od wiedzy o tym, gdzie wszystko znajduje się na boisku, wiedzenia, gdzie kamera znajduje się w stosunku do boiska, i wiedzenia, gdzie zawodnicy znajdują się na boisku. Podstawą tego jest wiedza, w którym kierunku patrzy kamera.

SteadyView oznacza, że wszystkie nagrania, nawet w warunkach wietrznych lub w innych niestabilnych okolicznościach, będą miały zwiększoną jakość – niezależnie od tego, czy jesteś trenerem, zawodnikiem, czy po prostu kimś, kto cieszy się grą, otrzymasz lepsze doświadczenie.