Anleitung

VRCFT ist so etwas wie ein Übersetzer für VRChat. Es nimmt die Face- und Eye-Tracking-Daten von Baballonia und wandelt sie in Parameter um, die VRChat versteht. So folgen Mimik und Bewegungen deines Avatars deinen eigenen.

Um Face-Tracking (und Eye-Tracking) in VRChat zu nutzen, brauchst du VRCFT, egal ob du meine Hardware oder eine andere Face-Tracking-Lösung verwendest.

1. Lade VRCFT auf Steam herunter
2. Starte VRCFT und gehe zu „Module Registry“. Suche nach dem Modul „VRCFT-Babble“ und installiere es.
3. Starte VRCFT neu.
4. Das Babble-Modul sollte jetzt auf der Startseite von VRCFT erscheinen, wie im letzten Bild. Mehr musst du in VRCFT nicht tun.

Baballonia wertet die Kamerastreams deiner Augen und deines Gesichts aus. Daraus erkennt es, wohin du schaust, wie weit deine Augen offen sind und welche Mimik du machst. Diese Daten schickt es dann an VRCFT.

1. Lade Baballonia auf Steam herunter
2. Öffne Baballonia und überspringe den Setup-Assistenten.
3. Öffne die Kommunikationseinstellungen und stelle den VRCFT-Modulmodus auf „Both“, damit Augen- und Gesichtsdaten gesendet werden. Das native VRC-Eye-Tracking empfehle ich nicht.
4. Öffne die „Face Camera Settings“ und schalte die vertikale und die horizontale Spiegelung ein. Je nach Version werden die Spiegeloptionen als Icons angezeigt. Ändere keine Kameraeinstellungen für die Augen!
5. Stelle sicher, dass deine Index und die Hardware eingeschaltet sind. Wähle dann die passende Kamera im Dropdown-Menü aus.
6. Wenn du alle Kameras ausgewählt hast, klicke bei jeder auf „Start Camera“.

Nur die Face-Kamera braucht einen Zuschnitt. Stelle ihn so ein, dass dein Gesicht in jeder Extremposition sichtbar bleibt, mit möglichst wenig Hintergrund. Ich empfehle dieses Vorgehen:

1. Stelle den Modus der Face-Kamera von „Tracking“ auf „Cropping“ um.
2. Blase deine Wangen so weit auf, wie du kannst. Das legt die seitlichen Ränder des Zuschnitts fest.
3. Öffne den Mund so weit, wie du kannst. Das legt den unteren Rand fest.
4. Setze den oberen Rand so, dass deine Nase sichtbar bleibt, aber möglichst wenig vom Index-Headset im Bild ist.
5. Halte den Zuschnitt möglichst quadratisch.
6. Das war's. Face-Tracking braucht keine manuelle Kalibrierung. Nutze es einfach ein paar Minuten, dann passt es sich von selbst an.

Ich empfehle dir dringend, das Video anzuschauen, bevor du mit der Kalibrierung anfängst.

1. Stell dich in die Mitte deines Playspace und schau nach vorne. Wenn du nicht sicher bist, wo vorne ist, zentriere deinen Playspace neu.
2. Klicke auf „Eye Calibration“. Ein SteamVR-Overlay erscheint und zeigt ein kurzes Video der Kopfbewegungen, die du machen sollst.
3. Wenn der 60-Sekunden-Timer abgelaufen ist, wiederhole diese Kopfbewegungen etwa 3 Minuten lang. Die genaue Reihenfolge ist egal. Wichtig ist, dass deine Augen immer auf den Ball schauen und dass du den Kopf so bewegst, dass deine Augen ihre Extrempositionen erreichen.
4. Wenn dieser Teil fertig ist, bekommst du eine Rückmeldung. Dann erscheint die Meldung: „When the countdown finishes, close your eyes.“
5. Wenn der Timer bei 2 Sekunden ist, schließe die Augen. Halte sie ganz geschlossen, bis eine weitere Bestätigung kommt.
6. Während deine Augen geschlossen sind, kneife jedes Auge zweimal fest zu und hebe zweimal die Augenbrauen, als wärst du überrascht. Halte die Augen dabei die ganze Zeit geschlossen. Es kann auch helfen, das Headset in dieser Phase leicht zu bewegen.

Wenn dein Avatar nicht richtig blinzelt oder du Lächeln und andere Ausdrücke stärker oder schwächer haben willst, kannst du sie in Baballonia mit den Schwellenwerten feinjustieren.

1. Öffne in Baballonia das Kalibrierungsfenster (Stift-Icon). Öffne dann die Parametergruppe mit den Parametern, die du anpassen willst (zum Beispiel „smile“).
2. Kopiere meine Einstellungen nicht einfach blind, denn sie sind bei jedem anders. Die besten Ergebnisse bekommst du, wenn du verstehst, was jeder Regler macht.

Wenn das Blinzeln oder Zwinkern deines Avatars nicht wie erwartet funktioniert oder er gar nicht blinzelt, erhöhe das Minimum der Augenlider. Dadurch löst das Blinzeln früher aus und wirkt schneller.

1. Blinzle ein paar Mal und beobachte, wie weit der rote Punkt nach links wandert.
2. Schiebe den linken Regler (Minimum) auf diese Stelle oder etwas rechts davon.

Manchmal willst du, dass ein Ausdruck früher auslöst, immer leicht aktiv bleibt oder übertrieben wirkt.

Manchmal löst ein Ausdruck zu früh aus. Zum Beispiel öffnest du den Mund, und dein Avatar streckt die Zunge heraus, obwohl du das gar nicht machst.