Limitacions, propostes, oportunitats i eines per a un assaig coral on-line

Exemples d’ús amb zoom i amb Jamulus

Fòrum de directors virtual / Plataformes digitals en el cant coral21 i 27 de maig, 4 de juny de 2020

Enric Giné

ESMUC - Departament de Sonologia - egine@esmuc.cat

Tasso Laboratori de so - enric@tasso.cat / www.tasso.cat

Limitacions, propostes, oportunitats i eines per a un assaig coral on-line

PART I – Cada cosa al seu temps (i un temps per cada cosa)

no podem canviar les lleis de la física (que se sàpiga)

consells per minimitzar la latència

PART II – Com podem fer un assaig on-line profitós

limitacions, propostes i oportunitats

PART III – zoom

zoom en “mode musical”

VoiceMeeter, Audiomovers (i altres)

PART IV –Jamulus

Jamulus vs. zoom

conclusions/reflexions

no podem canviar les lleis de la física

en qualsevol comunicació, transport de dades o d’objectes físics, no podem obviar les lleis de la física… ni en el món real (entorn físic), ni en l’entorn digital

latència: el temps que tarda la imatge i el so en arribar de l’emissor al receptor [milisegons, ms], sovint variable en l’entorndigital (jitter)

distància (cablejat) entre emissor i receptor [kilòmetres, km]

en l’entorn físic, velocitat de propagació del so [m/s]en el digital, flux de transmissió de dades o bitrate[megabits per segon, Mbps], sovint variable

l’entorn físic: velocitat constant, retard constant

en el món real el retard és tan present com en el digital, i pot ser igual de molest

una conversa entre dues persones a 2m arriba amb uns 6ms de retard

un director situat a 20m del cor rebrà el so amb uns 60ms de retard

dos cors situats a cada punta de la nau d’uns 80m (Santa Maria del Mar) rebran el so directe l’un de l’altre amb uns 240ms de retard (i amb múltiples rèpliques provinents de del’absis absidioles, volta del sostre, etc.!)

la llum del sol (que viatja a 300.000km/s!) tarda uns 8 minuts en arribar a la Terra, situada a uns 150 milions de km de distància…

l’entorn físic és bàsicament homogeni, uniforme: la velocitat de transmissió del so hi és pràcticament constant, uns 345 metres/segon

si coneixem la distància a la què ens trobem, sabrem quan tarda el so en arribar

l’entorn físic: el retard

quan un retard resulta molest?

per a la música, on ens cal “tocar o cantar plegats”, “anar a temps”,

començarem a tenir problemes a partir dels 10-12 milisegons (uns 4 metres de distància física), i encara més si estem en un entorn amb parets “vives” (rebots)

de fet, la mateixa velocitat de la llum acumula 5ms de retard cada 1500km… i la fibra òptica, idealment, només arriba a uns 2/3 d’aquesta velocitat. Per tant, hi ha un límitfísic insalvable que implicarà, sempre, retard (o latència)

en qualsevol comunicació bidireccional, un retard és molest quan ens fa perdre la sensació de sincronia, d’immediatesa, de simultaneïtat entre els dos participants

l’entorn digital: velocitat variable, latència variable

quines velocitats teòriques de transmissió de dades són les habituals?

20-30Mbps (connexió tipus ADSL, o via WiFi)

100 / 300 /600Mbps (fibra òptica, ordinador connectat amb cable Ethernet)

quines latències cal esperar?

exemple: el 18/05/2020, en una comunicació bidireccional entre el c/Floridablanca (BCN 08011) i Pl.Tetuan (BCN 08009), d’uns 3km de distància, zoom indicava una latència de 38ms (TX) / 42ms (RX), emprant ambdós connexió cablejada (RJ45) amb fibra òptica, i en canvi 60ms (TX) / 45ms (RX) amb un dels dos en mode WiFi (tanmateix, a aquest retard caldria afegir-hi encara el del processat de la tarja de so)

l’entorn digital no és homogeni ni uniforme: no podem garantir una velocitatconstant per al processat, routeig, protocol TCP, cablejat, etc.

a priori, com més allunyats físicament els participants [km] en una connexió on-line, major serà la latència, i major la variabilitat

consells per minimitzar la latència

cal recordar que la velocitat de connexió pot representar només un 30% del total de la latència experimentada

tanmateix, disposar d’una bona connexió a Internet ajuda a minimitzar-la

convé emprar un ordenador fixe o portàtil (no un mòbil) i connectar-lo directament al modem amb un cable RJ45 (no pas via WiFi)

exemple de connexió teòrica vs. real

minimitzar programes que, en paral·lel, estiguin rebent o transmetent dades

velocitat teòric (fibra) real WiFi real RJ45

RX (baixada) 100Mbps 22,74Mbps 94,24Mbps

TX (pujada) 100Mbps 20,92Mbps 92,12Mbps

l’assaig on-line: limitacions

un assaig de cor no és un assaig de “banda de pop/rock”, amb relativament pocsmembres i per tant molt més “organitzable” tecnològicament que no pas un grup de 50 persones, que a més a més, apart de sonor, voldran tenir un contacte visual

en un sistema d’on-line streaming audiovisual com els que emprem actualment(zoom, meet, jitsi, etc.), la referència de sincronia, que és el gest del director (o arxiude so de referència), no arribarà a tothom en el mateix moment

quan el so emès retorni al director i/o a cadascun dels cantaires, no ho farà en el mateix moment

per tant, les latències i les corresponents des-sincronies musicals es van acumulant…

aquí trobareu uns quants exemples tan còmics com reals: Why Virtual Choirs Don't Work / EXPECTATIONS VS REALITY. Virtual choir rehearsal on zoom

quedi dit d’entrada: si més no amb zoom, ni el director o directora, ni els cantairesdes de casa, no podran escoltar-se mínimament a tempo cantant alhora

(intenteu, sinó, “fer palmes” junts en una trobada de zoom)

l’assaig on-line: limitacions

l’assaig haurà de ser molt més unidireccional que en el món real: només el/la directora/a, solista, cap de corda, etc. (la persona individual que assumeixi el rol d’emissor) podrà enviar so per a tothom, i no tindrà un retorn de so de tothom

en el cas d’acompanyament amb piano/orgue, etc., director i pianista hauran d’estaren el mateix espai físic i virtual (és a dir, emetent a través de la mateixa connexió)

tothom rebrà i podrà emular/repetir l’exemple sonor rebut, però només podremescoltar on-line un cantaire alhora

en zoom (si més no) quan el cantaire reb la música i canta a sobre amb el micro actiu, la tallarà (efecte de “porta de soroll”), de manera que li serà impossible cantar bésobre el playback musical

per això (entre altres motius) cal tenir tots els micros mutejats per defecte: aquestaha de ser una eina sota control del director

l’assaig on-line: propostes

en el cas de reproducció de fitxer de so de fons (playback), zoom permet la sevaemissió en millor qualitat del que podria semblar al principi, i amb estereofonia

el director podrà cantar sobre l’àudio que ell mateix emet i arribarà sincrònicamentper a tot el cor: la veu serà monofònica però la música de fons pot ser en estereo(amb zoom + Voice Meeter)

convé que tothom dugui uns bons auriculars tancats, per evitar feedback o acoblament. I si pot ser, un micròfon USB extern, que no sigui el del portàtil

tampoc podem demanar molta destresa tecnològica a tots els cantaires: ésaconsellable que el cor designi uns “especialistes informàtics” per resoldre els dubtesque els cantaires puguin tenir (i no atabalar el director)

trobareu molts exemples de tutorials i experiències de directors emprant zoom

aquest és molt complet: Online Zoom Choirs - Part 3 - the complete process

o altres: Choral Leader Zoom Tutorial, Choirplayer, Zoom and the Limitations of Online Rehearsals, etc.

l’assaig on-line: oportunitats

durant l’assaig, la comunicació no verbal – i el contacte visual, que prendrà moltamés rellevància- és possible també via les eines de xat i la compartició de pantalla

compartir pantalla ens permetrà mostrar partitures digitalitzades, videos de Youtubeo una pissarra digital per a escriure text – per exemple, comentant un àudio que anem escoltant simultàneament, sense interrompre’l

enregistrar l’assaig (àdhuc, si l’aplicació ho incorpora, per pistes de so separades) permet revisar la feina (per exemple, en assajos per cordes) i facilita la post-producció en cas de voler muntar un audiovisual sincrònic

a nivell de seguretat, zoom (entre d’altres) permet “tancar la porta” un cop tots elscantaires previstos a l’assaig han arribat. Evidentment (com a la vida real), qui arribitard es quedarà fora

l’assaig on-line: oportunitats

és recomanable, durant una bona estona abans i després de l’assaig, deixar la microfonia oberta per anar (auto-)resolent problemes de comunicació, permetre la comunicació distesa entre els membres del cor, etc.

durant la pausa, com a host de l’assaig, podeu crear breakout rooms (sales de xat per cordes)

el procés d’assaig on-line esdevé més individual, a priori més introspectiu (cadascús’escolta a sí mateix) però també pot resultar més extrovertit per la facilitat amb quèun cantaire pot convertir-se en solista davant de tothom

tot esdevé més visual perquè el cor no s’escolta, però es “mira” alhora

zoom: configuració i controls de sessió

per controlar l’aplicació zoom caldrà accedir a tres nivells diferents

les preferències globals del nostre perfil d’usuari com a host (portal web zoom.us)

les preferències o settings de sessió com a client

la barra de control de sessió

menús contextuals (pestanyes de la barra de control de sessió)

2

1

3

2

1

4

4

3

accés al portal web de zoom

zoom en “mode musical”: configuració

la web de zoom indica el següent: “[we] employ advanced audio processing technologies to suppress all types of noise, cancel echoes, and remove room reverberation.”

això està molt bé per a la veu parlada (VoIP), però no ens serveix per la veu cantada

principals paràmetres que cal ajustar

“Turn on original Sound” → SÍ

“Automatically adjust volume” → NO

“Enable Stereo sound” → SÍ (cal configurar-lo abans a )

“Show in-meeting option to “Enable Original Sound” from microphone → SÍ

“Suppress Persistent Background Noise” → Disable

“Suppress Intermittent Background Noise” → Disable

“Echo cancellation” → Auto (valor per defecte)

ens caldrà ajustar els paràmetres de zoom per a què ens serveixi per la música

31

zoom en “mode musical”: configuració

aquest controlactiva el so estereo que s’emet(no canvia el so rebut)

2

zoom en “mode musical”: configuració

2

zoom en “mode musical”: ajustament de nivells

ens caldrà primer comprovar que tant el micro com altaveus (o auriculars), així com la càmera, funcionen correctament. Podrem escollir els dispositius adequats en elsdesplegables (les pestanyes) corresponents al costat dels botons de Mute i Stop Videorespectivament

seguidament, al submenú d’àudio dels settings de sessió podrem ajustar el guanyd’entrada del micròfon i nivell de sortida cap als nostres interlocutors, així com el nivell d’entrada de l’àudio que rebem dels nostres interlocutors

nivell de entrada del so rebut per part dels interlocutorsi de sortida capa als nostres auriculars (afecta tot el que sona dins el PC, encara que no sigui zoom)

nivell d’entrada del nostre micro i també de sortida cap a la resta d’interlocutors de zoom

2

4

eines que prometen on-line streaming (sense video)

trobarem moltes eines que ofereixen interacció musical que pretén ser on-line

JamKazam - https://www.jamkazam.com/

JamKazam Youtube Tutorials - https://www.youtube.com/playlist?list=PLXfOwdtgAuV-q4eCMDyaTI2whPY-hBedm

Jamulus - http://llcon.sourceforge.net/

Sagora - https://www.sagora.org/

Jammr - https://jammr.net/

JamLink – https://store.musicianlink.com/

Ninjam (Reaper) - https://www.cockos.com/ninjam/

LoLa - Low Latency Audio Visual Streaming System - https://lola.conts.it/

Jamulus vs. zoom

Jamulus zoom

plataforma on-line específica per a músics eina genèrica de videoconferència

pensat per transmetre música alhora/síncronament pensat per transmetre veu parlada/diàleg, asíncronament

bidireccionalitat sincrònica possible (“temps real”) bidireccionalitat sincrònica impossible

latències estàndard d’entre 30-70ms latència normalment superior (no controlable)

opcions de configuració per minimitzar la latència vs.qualitat de so

no hi ha opcions directes per minimitzar la latència

cap porta de soroll porta de soroll per defecte

cap reducció d’ecos, “sorolls” o reverberació reducció de sorolls, ecos, etc. per defecte

controls de panorama, estereofonia i reverberació només estereofonia, no activada per defecte

opcions de col·laborar i improvisar amb diferents músics (servidors públics) o servidor privat

-

només àudio audio i video sincrònics (latència global), pantalla compartida

molt convenient disposar de servidor privat no cal configurar un servidor privat

eina poc extesa, configuració més complexa eina molt extesa, configuració simple (per grans grups)

Jamulus: vista general de l’interfície de control d’usuari

Jamulus: diagrama de blocs del seu funcionament

el següent diagrama de blocs en mostra el recorregut d’anada i tornada del so entre clients i servidor a través de Jamulus (extrapolable a altres softwares similars). Calen algoritmes de sincronització per compensar els diferents camins i retards provinents dels diferents clients

eines com Jamulus podran estalviar-nos limitacions pròpies de zoom (que hem hagut de “trampejar”): control i minimització de latència fins a apropar-nos a una interpretació on-line quasi a temps real,

qualitat de so estereofònica, inexistència de portes de soroll o reducció d’eco per defecte, facilitat de vinculació amb una DAW (per a enregistrament i reproducció multipista), disposició de servidors locals…

això sí, sense video ni compartició de pantalla (possibles amb una sessió de zoom asincrònica en paral·lel)

Jaumulus: descripció interfície de control (versió 3.5.5)

mutejem l’enviament del nostre so cap al servidor: ningú

ens podrà escoltar

controlem el retorn del so des del servidor cap a nosaltres de tots i cadascun delsmúsics/cantaires: nivell, muteig, paneig

per connectar-nos a un servidor públic o privat

semàfor verd/groc/vermellindicador del nivell de latència vs.

capacitat de fer música on-line

semàfor verd/vermell indicador de so continuu o talls en el so

indicador del nivell d’entrada de la nostra tarja de so cap a Jamulus

opcions per panoramitzar i afegir reverb des de Jamulus cap al servidor

el nostre perfil públicconfigurable a View/My Profile

1

3

2

Jaumulus: settings (versió 3.5.5)

drivers de la nostra tarja de so

tamany del buffer(relacionat amb la

latència de processat) de la nostra tarja de so

mono/stereo: increment de latència

low/normal/high: increment de latència

temps d’accés al servidor (només serà 0-1ms quan el client i servidor estan al mateix PC)

latència total d’anada i tornada del so : habitualment entre 30-70ms

compensador automàtic de les variacions de latència

2

Jamulus: connexió a un servidor (versió 3.5.5)

per connectar-nos directament a un

servidor privat, introduint IP o bé DNS

llistat de servidors disponibles dins el

gènere escollit

selecció de gènere musical

servidors ordenats per temps de resposta (ping time)

3

Jamulus: consells de funcionament

cal acostumar-se a tocar a través de l’escolta del retorn del servidor: a menys que servidor i client (músic) coincideixin en una mateixa màquina, el monitoratge directe no és possible

les latències habituals i tolerables per a “tocar alhora” oscil·len entre els 30 i els 70ms

cal emprar una connexió cablejada a Internet (via Ethernet, cable RJ45). Via WiFiincrementarem el retard, no només per una menor velocitat de connexió, sinó sobretot per una major latència en l’empaquetament de l’àudio

és molt recomanable una tarja de so externa, o en tot cas, un processat A/D/A que garanteixi la menor latència possible (buffers de 64-128 mostres). També cal emprar un bon cable USB de connexió ràpida (SS 3.0) i minimitzar els processos en paral·lel

és molt recomanable l´ús de microfonia externa i entrades directes de línia en cas d’instruments elèctrics

per a grups tancats (bandes, cors, etc.) és molt recomanable emprar un servidor privat (local a priori), per minimitzar latència i garantir el control d’accés. Per això caldrà algú del grup amb capacitat per muntar un servidor i configurar l’accés al firewall i router

evidentment, els servidors públics permeten la col·laboració amb nous músics

Jamulus & Reaper (via ASIO ReaRoute)

si vinculem Jamulus amb Reaper podrer controlar el fluxe d’entrada/sortida de so des de Reaper i així poder enviar diferents pistes i enregistrar la sessió en estereo

Proves d’assaig coral via Jamulus(29-05-2020)

conclusions/reflexions

les aplicacions estàndard de videconferència (zoom, meet, skype, jitsi, etc.) estanpensades (i funcionen bé) per a la conversa, un diàleg asíncron: el cant coral, comtota pràctica musical, és bàsicament sincrònic, i per tant, amb una tolerància moltmolt menor a la latència

per la situació actual (maig 2020) on tothom i per força empra aquestes eines, sembla lògic aprofitar-les al màxim: són “multiús”, senzilles de configurar i d’emprar

tanmateix, un assaig via zoom o similar no permet que els cantaires s’escoltin entre sí mateixos, ni que el director escolti el so de tot el cor

com podem, aleshores, fer un treball d’afinació, de precisió rítmica, d’auto-correcció en relació al grup, d’empastar timbres, de treballar el so de cada corda, etc.?

mentre això no sigui possible, l’assaig podrà ser útil i innovador en altres aspectes, peròno permetrà una bona part de la feina de base

conclusions/reflexions

existeixen alternatives que funcionen millor (Jamulus, JamKazam, etc.): aplicacionsque sacrifiquen el video i la robustesa (protocol UDP vs. UTP) a favor de la velocitat, amb servidors propers, locals, públics o millor privats, per minimitzar la latència

la seva configuració i ús és força més complexa. SÍ resulta viable per a petits grups ontots els membres tenen certa expertesa tecnològica (capacitat de configurar routers, firewalls, obrir ports, escollir el millor servidor, etc.) però complexe d’implementarper a grups grans amb perfils molt diversos, amb el risc de “deixar gent enrera”

seguirem depenent però de la nostra connexió a Internet, distància física entre elsparticipants, el trànsit de dades a la xarxa, habilitats tecnològiques, etc.

la tecnologia a l’abast sembla suficientment madura, però la configuració i usabilitat, pensant en un cor, és encara força complexa

globalment, l’opció equilibrada entre (molt) baixa latència, opció de video (importantper a la dimensió social del grup), simplicitat, distinció entre complexitat assumible pel

host (director) i els clients (cantaires), etc. no sembla encara disponible o majoritària

tanmateix és possible combinar alhora, asincrònicament, Jamulus (àudio quasi “on-line”) amb zoom (video i compartició de pantalla de referència) o eines similars

referències generals i específiques per Zoom

Zoom Help Center/Audio - https://support.zoom.us/hc/en-us/sections/200319096-Audio

Online Zoom Choirs - Part 3 - the complete process - https://www.youtube.com/watch?v=anjulFtdUj0

Why can’t musicians jam with each other online without latency or other issues? -https://medium.com/@calebdolister/why-cant-musicians-jam-with-each-other-online-without-latency-or-other-issues-44260789a721

Music Collaboration Will Never Happen Online in Real Time - https://medium.com/thsppl/music-collaboration-will-never-happen-online-in-real-time-e1c6448fc3d4

VIRTUAL LEARNING: TAKING YOUR CHOIR REHEARSALS ONLINE - https://blog.chorusconnection.com/virtual-learning-taking-your-choir-rehearsals-online

Preliminary Report: Comparing the Audio Quality of Classical Music Lessons Over Zoom, Microsoft Teams, VoiceLessonsApp, and Apple FaceTime - https://www.ianhowellcountertenor.com/preliminary-report-testing-video-conferencing-platforms

Remote Collaboration (SoS) - https://www.soundonsound.com/techniques/remote-collaboration

Living with latency (SoS) - https://www.soundonsound.com/techniques/living-latency

11 Tools for collaborating on music remotely - https://reverb.com/news/ways-to-collaborate-on-music-remotely

Zoom In Music Mode For Online Fitness Classes and Music Lessons -https://www.youtube.com/watch?v=WoXM5wcpVNU

referències específiques per Jamulus

Tutorial per configurar Jamulus des de zero (en castellà) -https://www.youtube.com/watch?v=n3lsE1CCz1U&feature=youtu.be

Tutorials de Dani Pérez Díez (Coro Nur, Madrid) - https://www.youtube.com/watch?v=wObnilD-MbU&list=PL7IbWgL19QvABbzsWj0Hp_jm7M3HGjYDj

How to create a private server for band rehearsals - https://www.facebook.com/notes/jamulus-online-musicianssingers-jamming/how-to-create-a-private-server-for-band-rehearsals/508642543044030/

"Jamulus" online jam - https://forum.fractalaudio.com/threads/axe-fx-ii-jamulus-online-jam.159608/

Case Study: Performing Band Rehearsals on the Internet With Jamulus -http://llcon.sourceforge.net/PerformingBandRehearsalsontheInternetWithJamulus.pdf

Idiots Guide to Jamulus App -https://www.facebook.com/notes/jamulus-online-musicianssingers-jamming/idiots-guide-to-jamulus-app/510044532903831/

Jamulus Help (Software Manual) -https://github.com/corrados/jamulus/blob/master/src/res/homepage/manual.md

Jamulus Forum - https://sourceforge.net/p/llcon/discussion/

Tutorial on using Jamulus with Reaper, ReaRoute, Zoom -https://www.facebook.com/philip.mountifield/videos/10158088511694666/

Multiple Sound Cards for REAPER with the help of Voicemeeter -https://www.youtube.com/watch?v=6k6BqBgMK0c

Real-time online jamming with Jamulus & Reaper - https://maxton.xyz/blog/online-jamming-jamulus-reaper

Desde casa y en directo: Coro Nur (20200607) - https://www.youtube.com/watch?v=cIMqUgHglsM

un cor on-line (16 cantaires) amb Jamulus: Jamulus Chamber(s) Choir snapshot

Moltes gràcies!

Enric Giné

ESMUC - Departament de Sonologia - egine@esmuc.catTasso Laboratori de so - enric@tasso.cat / www.tasso.cat