DE69702338T2 - Verfahren und system zur manipulation von objekten in einem fernsehbild - Google Patents

Verfahren und system zur manipulation von objekten in einem fernsehbild

Info

Publication number
DE69702338T2
DE69702338T2 DE69702338T DE69702338T DE69702338T2 DE 69702338 T2 DE69702338 T2 DE 69702338T2 DE 69702338 T DE69702338 T DE 69702338T DE 69702338 T DE69702338 T DE 69702338T DE 69702338 T2 DE69702338 T2 DE 69702338T2
Authority
DE
Germany
Prior art keywords
camera
television
time
vector
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69702338T
Other languages
English (en)
Other versions
DE69702338D1 (de
Inventor
Harald K Moengen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SPOTZOOM AS OSLO
Original Assignee
SPOTZOOM AS OSLO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from NO961591A external-priority patent/NO303310B1/no
Application filed by SPOTZOOM AS OSLO filed Critical SPOTZOOM AS OSLO
Publication of DE69702338D1 publication Critical patent/DE69702338D1/de
Application granted granted Critical
Publication of DE69702338T2 publication Critical patent/DE69702338T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/105—Appliances, e.g. washing machines or dishwashers
    • G10K2210/1051—Camcorder
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/113—Elevators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Details Of Television Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Manipulieren von wenigstens einem beweglichen natürlichen Objekt in einem natürlichen Fernsehbild, wobei das Fernsehbild von einer oder mehreren Fernsehkameras erzeugt wird. Die Erfindung betrifft ferner ein Verfahren zum Erzeugen von wenigstens einer synthetischen Spur in einem Fernsehbild, wobei die synthetische Spur den Weg eines beweglichen natürlichen Objekts in einem natürlichen Fernsehbild während einer gegebenen Periode θ repräsentiert, und wobei ein Verfahren zur Manipulation des beweglichen natürlichen Objekts in dem Fernsehbild angewandt wird. Schließlich betrifft die Erfindung ein System zur Durchführung des Verfahrens zum Manipulieren von wenigstens einem beweglichen natürlichen Objekt in einem natürlichen Fernsehbild, wobei das Fernsehbild von einer oder mehreren Fernsehkameras erzeugt wird, gemeinsam mit der Durchführung des Verfahrens zum Erzeugen einer synthetischen Spur in einem Fernsehbild, wobei die synthetische Spur den Weg eines beweglichen natürlichen Objekts in dem Fernsehbild während einer gegebenen Periode θ darstellt und wobei ein Verfahren zum Manipulieren des beweglichen natürlichen Objekts in dem Fernsehbild angewandt wird.
  • In Fernsehsendungen, in denen ein bewegliches natürliches Objekt eine zentrale Rolle in der Sendung spielt, kann es häufig schwierig sein, dem Objekt oder dessen Bewegung in dem Fernsehbild zu folgen. Das ist beispielsweise in Sportsendungen über verschiedene Ballspiele wie etwa Fußball, Handball, Tennis, Golf und Eishockey der Fall, bei denen das verwendete Bildformat, der Bildhintergrund, die Farbe, Lichtbedingungen usw. es schwer machen können, dem Objekt oder seiner Bewegung zu folgen. Das Objekt kann auch für kurze oder längere Zeit unsichtbar sein, weil es von anderen Objekten in dem Bild verdeckt wird. Diese Probleme können ein Faktor sein, der die Popularität der Fernsehsendungen beeinflußt, was wiederum Folgen für die Programmwahl von Sponsoren oder den Kauf von Werbespots in solchen Programmen haben kann, da die Zuschauerzahlen nicht so hoch sind, wie es erwünscht wäre.
  • Um ein Spiel wie Eishockey für das Medium Fernsehen attraktiver zu machen, und zwar auf der Basis der üblichen Klagen über die Berichterstattung von Eishockeyspielen, daß es schwierig sei, dem Puck zu folgen, ist Vorgeschlagen worden, den Eishockey-Puck in dem Fernsehbild dadurch deutlicher sichtbar zu machen, daß ein spezieller Puck verwendet wird, der eine Reihe von Infrarotemittern aufweist, die von einer in dem Puck vorgesehenen Batterie angesteuert werden. Auf dem Spielfeld wird der Puck von Sensoren verfolgt, die entlang dem Spielfeldrand angeordnet sind, wobei die Sensoren Informationen an eine Kamera übertragen, die mit einem Rechner verbunden ist. Die Informationen werden in ein Datenverarbeitungszentrum eingespeist, wo ein Signal erzeugt wird, das graphisch verarbeitet und in das Fernsehbild eingeführt wird. Dadurch kann bewirkt werden, daß der Puck seine Gestalt oder Farbe ändert. Dieses System ist von der Firma Fox Sports in den USA eingeführt worden und wird angewandt, um den Puck beispielsweise so darzustellen, daß er von einem leuchtenden Schein in der einen oder anderen Farbe umgeben und mit einem farbigen "Kometenschweif" versehen ist, wenn er z. B. mit einer bestimmten Geschwindigkeit in Bewegung ist. Die Farben können jedoch entsprechend den Wünschen des Produzenten geändert werden. Bei einer praktischen Ausführungsform dieses Systems, das als "FoxTrax" bezeichnet wird, werden 16 Sensoren um das Spielfeld herum verwendet, und zwei Infrarotkameras verfolgen den Puck ebenfalls. Die verarbeitete Wiedergabe des Pucks wird in die Fernsehbilder eingespeist, die von den normalen Fernsehkameras aufgezeichnet werden, und die speziellen Farbeffekte wie etwa der Schein und der "Kometenschweif" werden dem Fernsehsignal mit einer Verzögerung überlagert, die nicht größer als zwischen 1/6 und 1/3 einer Sekunde ist. "FoxTrax" ist in der US-PS 5 564 698 beschrieben.
  • Das System ist jedoch kompliziert und bietet nur begrenzte Möglichkeiten für die Manipulation des Objekts, d. h. des Bildes des Pucks. Ein weiterer Nachteil ist, daß die IR- Emitter in dem Puck von einer Batterie angetrieben werden, die begrenzte Lebensdauer hat, wobei eine Lebensdauer von nur 10 Minuten angegeben worden ist. Das genügt jedoch, um es zu ermöglichen, daß der Puck während eines Seitenwechsels in einem Spielzeit-Drittel eines Eishockeymatchs ausgewechselt wird; ein ähnliches System eignet sich jedoch weniger bei Spielen, bei denen das Objekt, also dem Puck oder Ball, über längere Zeit im Spiel ist. Die US-PS 4 675 816 (Brendon & Vinger) beschreibt ein Verfahren zur elektronischen Lokalisierung des Balls im amerikanischen Fußball. Das Ziel des Verfahrens besteht darin zu bestimmen, ob sich der Ball um ca. 3 m vorwärtsbewegt hat, und liefert gleichzeitig präzise Lokalisierungsinformation über den Ball und die Möglichkeit der Positionierung des Fußballs auf dem Spielfeld. Dieses Verfahren wird als Hilfe für Zuschauer, Offizielle und das Fernsehen angesehen. Es umfaßt Schritte, um in dem Fußball einen Funksender vorzusehen und Funksignale von dem Fußball zu einer Reihe von rotierenden Empfängerantennen zu übertragen, wobei die Antennen derart auf den Funksender gerichtet sind, daß die Funkwellen exakte Winkelrichtungssignale liefern, die genutzt werden können, um die Position des Funksenders und des Fußballs auf dem Spielfeld zu errechnen. Diese Winkelrichtungssignale werden einem Mikroprozessor zugeführt, der die Position des Senders und des Fußballs unter Anwendung eines Triangulationsverfahrens errechnet, das eine Berechnungsstufe enthält, die auch anzeigt, wie weit sich der Ball vorwärtsbewegt hat, und die Ergebnisse dieser Berechnungsstufe können auf Displayeinheiten angezeigt werden, die für Zuschauer und Fernsehzuschäuer sichtbar sind, und können außerdem zu einer Steuerungseinheit übertragen werden, die von den Offiziellen verwendet wird, um den Verlauf des Spiels zu überwachen.
  • Aus der US-PS 5 138 322 (Nuttel) ist ferner ein System zur kontinuierlichen und genauen Messung der Positionen eines allgemein symmetrischen Objekts wie etwa eines Tennisballs bekannt, der in einem vorbestimmten dreidimensionälen Bereich wie etwa auf einem Tennisplatz in Bewegung ist. In diesem Fall wird eine Reihe von Antennen verwendet, die Radarsignale zu dem dreidimensionalen Bereich senden, wobei von dem Ball reflektierte Rücksignale detektiert und mit den gesendeten Signalen verglichen werden, um die Phase der Rücksignale zu bestimmen, was eindeutige Entfernungen zu dem zu bestimmenden Objekt oder Ball ermöglicht. Dazu wird ein statistisches Verfahren angewandt, um eine genaue Bestimmung der Distanz zu erzielen. Die Bahn des Objekts oder des Balls kann gleichzeitig errechnet werden, und das System wird kalibriert, indem Signalreflektoren in verschiedenen Festpositionen auf dem Tennisplatz angeordnet sind. Es wird ein Doppler-Radarverfahren angewandt.
  • Ferner wird in der US-PS 5 346 210 (Utke et al.) ein Objektlokalisierungssystem beschrieben, und zwar speziell zur Lokalisierung des Balls in einer bestimmten Spielsituation im amerikanischen Fußball. Das System verwendet drei Sensoren, die auf einer Seite des Spielfelds angebracht sind, sowie eine Kalibrierquelle, die auf der anderen Seite angebracht ist. Die Kalibrierquelle sendet ein Ultraschallsignal aus, das von den Sensoren empfangen wird, und eine Ballmarkierungseinheit, die anstelle des Balls auf dem Spielfeld angeordnet sein kann, sendet ebenfalls ein Ultraschallsignal aus, das von den Sensoren empfangen wird, und zwar gemeinsam mit einem Funkfrequenzsignal, das von der Kalibrierquelle empfangen wird, um sie auszuschalten. Die Sensoren geben Signale ab, die von einer Verarbeitungseinheit genutzt werden, um zeitliche Verzögerungen zu errechnen und somit die Position des Balls zu bestimmen. Alternativ kann die Ballmarkierungseinheit nur ein Funkfrequenzsignal senden, das von den Sensoren empfangen wird, die ihrerseits Signale abgeben, die verarbeitet werden, um Verzögerungen zwischen dem Empfang der Signale in den Sensoren zu bestimmen. Außerdem wird eine automatische Ballmarkierungseinheit, die auf einer Bahn bewegt wird, von der Verarbeitungseinheit gesteuert, um automatisch eine sichtbare Wiedergabe der Position des Balls zu erzeugen.
  • Keines der oben angegebenen bekannten Systeme eignet sich jedoch besonders gut dazu, vollständige Freiheit bei der Manipulation des Bilds eines natürlichen Objekts (wie nachstehend definiert) in einem Fernsehbild zu erzielen, da sie alle die Verwendung von relativ teuren und komplizierten Systemen erfordern. Auch sind sie nicht für alle Spiel- oder Sportarten geeignet, und ferner ist ihre Anwendung bei Sportveranstaltungen offenbar erheblich eingeschränkt, es sind jedoch andere Formen von Fernsehsendungen denkbar, bei denen es ebenso interessant sein kann, ein bewegliches Objekt in einem Fernsehbild mit geeigneten Detektier- und Verarbeitungsverfahren besser sichtbar zu machen.
  • Es ist daher eine erste Aufgabe der vorliegenden Erfindung, ein System zum Manipulieren des Bilds von wenigstens einem beweglichen natürlichen Objekt in einem natürlichen Fernsehbild auf solche Weise bereitzustellen, daß die Position und Bewegung des Objekts in dem Fernsehbild deutlich sichtbar sind.
  • Eine zweite Aufgabe der vorliegenden Erfindung ist die Bereitstellung einer synthetischen Darstellung des natürlichen Objekts, wodurch die synthetische Darstellung als ein synthetisches Objekt in dem Fernsehbild erscheinen und die Bewegung und Position des natürlichen Objektsdarstellen kann.
  • Eine dritte Aufgabe der vorliegenden Erfindung ist die Manipulation des synthetischen Objekts in dem Fernsehbild hinsichtlich Gestalt und Farbe auf solche Weise, daß der Zuschauer dem Objekt ohne weiteres folgen kann.
  • Eine vierte Aufgabe der vorliegenden Erfindung ist die Bestimmung des Wegs eines beweglichen natürlichen Objekts und die Sichtbarmachung dieses Wegs in Form einer synthetischen Spur für das Objekt in dem Fernsehbild.
  • Schließlich ist es eine Aufgabe der vorliegenden Erfindung, ein System anzugeben, das es ermöglicht, die Bewegung eines solchen natürlichen Objekts zu detektieren und die detektierten Daten zu verarbeiten, um eine Darstellung des beweglichen Objekts in einem Fernsehbild zu erzeugen und zu manipulieren, sowie eine synthetische Spur zu erzeugen, die die Bewegung des natürlichen Objekts in dem Fernsehbild darstellt.
  • Die vorgenannten Aufgaben und weitere Vorteile werden mit einem Verfahren erreicht, das gemäß der Erfindung gekennzeichnet ist durch Detektieren der Distanz zwischen dem Objekt und wenigstens zwei festgelegten Grundpositionen in einem vorher ausgewählten x,y,z-Koordinatensystem zu einem Zeitpunkt t, wobei jede Grundposition einer bekannten Position eines Detektors entspricht, Bestimmen einer x,y,z- Koordinate für das Objekt in dem vorher ausgewählten x,y,z- Koordinatensystem zu dem Zeitpunkt t auf der Basis der Distanz und der zwei Grundpositionen, Bestimmen der Distanz und Richtung zwischen der Mitte der Kameralinse und dem Objekt zu dem Zeitpunkt t als einen Objektvektor in dem vorher ausgewählten Koordinatensystem, Bestimmen der optischen Achse der Fernsehkamera in dem vorher ausgewählten Koordinatensystem zu dem Zeitpunkt t als einen Kameravektor in dem vorher ausgewählten Koordinatensystem, Bestimmen einer Linie von der Mitte der Fernsehkameralinse zu dem Schnittpunkt zwischen dem Rand des erzeugten Fernsehbilds und der zwischen dem Objektvektor und dem Kameravektor gebildeten Ebene zum Zeitpunkt t als einen Zoomvektor, wobei der Objektvektor zwischen dem Kameravektor und dem Zoomvektor liegt, wenn das Objekt zum Zeitpunkt t in dem Fernsehbild sichtbar ist, und der Zoomvektor zwischen dem Kameravektor und dem Objektvektor liegt, wenn das Objekt zum Zeitpunkt t in dem Fernsehbild nicht sichtbar ist, und Bestimmen einer X,Y-Position des Objekts, bezogen auf die Bildebene der Fernsehkamera und den Kameravektor, auf der Basis des Objektvektors und des Kameravektors zum Zeitpunkt t und, wenn der Objektvektor zwischen dem Kameravektor und dem Zoomvektor liegt, Einfügen eines synthetischen Objekts (wie vorhergehend definiert) in der X,Y-Position in dem Fernsehbild zum Zeitpunkt t, wobei das synthetische Objekt eine Darstellung des von der Kamera zum Zeitpunkt t aufgezeichneten natürlichen Objekts bildet, oder, wenn der Zoomvektor zum Zeitpunkt t zwischen dem Kameravektor und dem Objektvektor liegt, Einfügen eines Symbols in das Fernsehbild, wobei das Symbol den Ort der X,Y-Position des natürlichen Objekts außerhalb des Bildrands, bezogen auf die Bildebene der Fernsehkamera und den Kameravektor, bezeichnet.
  • Im vorliegenden Zusammenhang bedeutet der Ausdruck "natürliches Objekt" jedes Objekt, jedes Individuum oder Tier selber im Gegensatz zu einem Bild oder einer anderen Darstellung davon. Gleichermaßen bedeutet der Ausdruck "synthetisches Objekt" ein verstärktes oder modifiziertes Bild eines natürlichen Objekts, das nur erzeugt wird, um in einem Fernsehbild zu erscheinen.
  • Im vorliegenden Zusammenhang bedeutet der Ausdruck "natürliches Fernsehbild" oder "aufgezeichnetes Fernsehbild" das Bild, das mittels einer Video- oder Fernsehkamera oder dergleichen gefilmt und/oder aufgezeichnet wird, ohne irgendeine Modifikation oder Verstärkung desselben durch andere Mittel als Filter oder Linsenanordnungen.
  • Im Gegensatz dazu bedeutet der Ausdruck "synthetisches Fernsehbild" oder "erzeugtes Fernsehbild" im vorliegenden Zusammenhang das Bild, das gefilmt und/oder aufgezeichnet worden ist und ein natürliches Objekt gemäß der Definition enthalten kann (z. B. einen Ball, einen Puck oder einen Menschen), das jedoch durch die Substitution oder die Hinzufügung eines synthetischen oder künstlichen Bilds des natürlichen Objekts modifiziert oder verstärkt worden ist.
  • Die oben angegebenen Ziele und Vorteile werden weiterhin erreicht mit einem Verfahren, das gemäß der Erfindung gekennzeichnet ist durch Berechnen des Wegs des natürlichen Objekts auf der Basis von detektierten Positionen x,y,z des natürlichen Objekts in einem vorher ausgewählten x,y,z- Koordinatensystem zum Zeitpunkt t, wobei t θ, Umwandeln der detektierten Positionen zum Zeitpunkt t in eine X,Y-Position in der Bildebene der Fernsehkamera zum Zeitpunkt t, und Erzeugen der synthetischen Spur in dem Fernsehbild als die Verbindungslinie zwischen sämtlichen X,Y-Positionen des natürlichen Objekts in den Bildebenen der natürlichen Fernsehbilder, die während der Periode θ sequentiell erzeugt worden sind. Die oben angegebenen Ziele und Vorteile werden ferner erreicht durch Implementieren der angegebenen Verfahren nach der Erfindung mit einem System, das gemäß der Erfindung dadurch gekennzeichnet ist, daß es folgendes aufweist: einen Transponder, der in dem natürlichen Objekt (N) vorgesehen und so angeordnet ist, daß er auf ein optisches, akustisches oder elektromagnetisches Signal, das von dem Transponder empfangen wird, mit dem Aussenden eines Antwortsignals reagiert, wenigstens ein Positionsmodul (M) mit wenigstens zwei Positionsdetektoren (D), 'die optische, akustische oder elektromagnetische Signale aussenden und Antwortsignale von dem Transponder (T) empfangen und in jeweiligen Grundpositionen in einem vorher ausgewählten x,y,z-Koordinatensystem vorgesehen sind gemeinsam mit einem Signalprozessor, der ausgebildet ist, um die Distanz zwischen einem Positionsdetektor und dem Objekt (N) zu dem Zeitpunkt t zu bestimmen, ein mit dem Signalprozessor verbundenes Rechenmodul, das ausgebildet ist, um die x,y,z- Koordinaten für das Objekt (N) in dem vorher ausgewählten Koordinatensystem zu dem Zeitpunkt t auf der Basis der Distanz und der wenigstens zwei Grundpositionen zu berechnen und um auf der Basis der berechneten x,y,z-Koordinaten für eine Anzahl von Zeitpunkten t einen Weg für das Objekt (N) zu errechnen, zusammen mit einem Objektvektor (VN), der durch die Distanz und Richtung zwischen dem Mittelpunkt der Linsen der Kamera (K) und dem Objekt (N) zum Zeitpunkt t gegeben ist, einen Kameravektor (VK), der durch die optische Achse der Kamera (K) zum Zeitpunkt t gegeben ist, und einen Zoomvektor (VZ) zwischen dem Mittelpunkt der Kameralinsen und dem Schnittpunkt (Z) zwischen dem Bildrand und der Ebene, die zwischen dem Objektvektor (VN) und dem Kameravektor (VK) zum Zeitpunkt t gebildet ist, wobei der Objektvektor (VN) entweder zwischen dem Kameravektor (VK) und dem Zoomvektor (VZ) oder der Zoomvektor (VZ) zwischen dem Kameravektor (VK) und dem Objektvektor (VN) liegt, ein Kamerasteuerungssystem, das mit dem Rechenmodul verbunden und ausgebildet ist, um Werte für die Kameraeinstellungen zu detektieren oder zu erzeugen, und ein Manipulatormodul, das mit dem Kamerasteuerungssystem und dem Rechenmodul verbunden und 'ausgebildet ist, um selektiv
  • a) ein synthetisches Objekt (S) in der X,Y-Pösition für das natürliche Objekt (N) in dem aufgezeichneten Fernsehbild zum Zeitpunkt t zu erzeugen, wobei das synthetische Objekt (S) eine Darstellung des von der Kamera zum Zeitpunkt t aufgezeichneten natürlichen Objekts (N) darstellt, oder
  • b) ein Symbol in dem Fernsehbild zu erzeugen, wobei das Symbol die X,Y-Position für das natürliche Objekt außerhalb des Bildrands zu dem Zeitpunkt t bezeichnet, oder
  • c) zum Zeitpunkt t eine synthetische Spur in einem aufgezeichneten oder erzeugten Fernsehbild zu erzeugen, wobei die synthetische Spur den Weg für das natürliche Objekt (N) während einer Periode θ vor oder bis zu dem Zeitpunkt t darstellt, wobei das Manipulatormodul weiterhin ausgebildet ist, um dann, wenn ein synthetisches Objekt (S) erzeugt wird, Attribute für das synthetische Objekt (S) zu erzeugen und auszuwählen. Die Option c) ist eine Alternative zu der Option a) oder der Option b), obwohl es möglich sein sollte, ein synthetisches Objekt und eine synthetische Spur gleichzeitig zu erzeugen. Das Hauptziel dabei ist sicherzustellen, daß die geeigneten Optionen verfügbar sind, um je nach dem Umständen gewählt zu werden.
  • Weitere Merkmale und Vorteile sind in den beigefügten Unteransprüchen angegeben.
  • Die Erfindung wird nachstehend im einzelnen im Zusammenhang mit Ausführungsbeispielen und unter Bezugnahme auf die beigefügten Zeichnungen erläutert; die Zeichnungen zeigen in:
  • Fig. 1 die Konstruktion des Systems gemäß der vorliegenden Erfindung beispielsweise im Zusammenhang mit einem Spielfeld für ein Ballspiel;
  • Fig. 2 ein Blockbild von Komponenten in einer Einrichtung zum Verarbeiten der detektierten Signale in dem System gemäß der vorliegenden Erfindung;
  • Fig. 3a, eine Darstellung des Objekts in der Bildebene b, c, d einer Fernsehkamera;
  • Fig. 4a, eine Darstellung des Objekts in der Bildebene b, c, d einer zweiten Fernsehkamera, wobei das Objekt teilweise in Positionen außerhalb der Bildebene liegt;
  • Fig. 5 ein Blockbild eines Transponders, der in dem System gemäß der vorliegenden Erfindung verwendet wird und auf der Mikrowellentechnik basiert;
  • Fig. 6 einen aktiven Transponder zur Verwendung mit der Erfindung, der auf einem akustischen Oberflächenwellenbauelement basiert;
  • Fig. 7a ein Abfragesignal, das in Form von Impulsen von einem Positionsdetektor abgegeben wird;
  • Fig. 7b ein Antwortsignal, das in Form einer Impulsfolge von dem akustischen Oberflächenwellenbauelement abgegeben wird;
  • Fig. 8 ein System gemäß der vorliegenden Erfindung, das zur Detektierung von mehreren Objekten implementiert ist, die in separaten oder miteinander verbundenen Bereichen in Bewegung sind;
  • Fig. 9a, die Erzeugung einer synthetischen Spur mittels b, c der Konstruktion gemäß Fig. 1;
  • Fig. 10a,b die Erzeugung einer synthetischen Spur mittels der Konstruktion gemäß Fig. 8; und
  • Fig. 11a,b die Erzeugung von synthetischen Spuren für zwei Objekte mittels der Konstruktion gemäß Fig. 8.
  • Fig. 1 zeigt die vorliegende Erfindung in einem Sportzentrum wie etwa einem Spielfeld für Ballspiele oder einem Spielfeld für Eishockey A realisiert, wobei der Bereich A die Projektion in einer x,y-Ebene des Bereichs ist, der von Positionsdetektoren D&sub1;, ...D&sub4; abzudecken ist. Die Detektoren sind über eine Signalleitung L mit einer Datenverarbeitungseinheit Q verbunden. Die Datenverarbeitungseinheit Q ist ferner über einen lokalen Datenbus BL mit einem Reglermodul R&sub1;, R&sub2;, R&sub3; verbunden, das jeweiligen Fernsehkameras K&sub1;,K&sub2;,K&sub3; zugeordnet ist und nicht gezeigte Körper, bevorzugt in Form von Servoeinheiten, zum Einstellen der Kameras gemeinsam mit nicht gezeigten Sensoren zur Detektierung der Kameraeinstellungen einschließlich Kamerawinkel und Zoomwinkel aufweist. Die Positionsdetektoren D&sub1;, ...D&sub4; weisen, wie gezeigt, Antennen H auf, und diese sind Richtantennen, deren Hauptkeulen mH im wesentlichen den Bereich A und eine bestimmte Höhe = über der Ebene des Bereichs A abdecken. In Fig. 1 ist die Hauptkeule für den Positionsdetektor D&sub1; durch Strichlinien MD1 bezeichnet. Sowohl die Positionsdetektoren D&sub1;, ...D&sub4; als auch die Fernsehkameras K&sub1;,K&sub2;,K&sub3; sind in einem vorgewählten x,y,z- Koordinatensystem positioniert, da die Ebene des Spielfelds A, wie erwähnt, in der x,y-Ebene des Koordinatensystems liegen kann, wobei die z-Achse dann senkrecht zu der x,y- Ebene ist (orthogonales Koordinatensystem). Die Positionen sowohl der Positionsdetektoren D&sub1;, ...D&sub4; als auch der Kameras K&sub1;, K&sub2;, K&sub3; sind in dem x, y, z-Koordinatensystem genau definiert.
  • In dem Bereich A, d. h. auf dem Spielfeld oder über ihm auf einer bestimmten Höhe, befindet sich ein bewegliches Objekt 14, das in Fig. 1 in zwei Positionen x,y,z und x',y',z' zu den Zeitpunkten t bzw. t' gezeigt ist. Anders gesagt heißt das, daß sich in einem Zeitintervall θ = t'-t das bewegliche Objekt von der Position x,y,z zu der Position x',y',z' bewegt hat. Die Kameras K&sub1;,K&sub2;,K&sub3; sind auf den Bereich A gerichtet und so eingestellt, daß sie ein Bildfeld einer bestimmten Größe abdecken, das in Fig. 1 für jede Kamera durch Strichlinien angezeigt ist. Die Bildachse oder die optische Achse in einer Kamera K ist durch einen Vektor dargestellt, der als Kameravektor VK bezeichnet ist, beispielsweise Kameravektor VKZ für Kamera K&sub2;. Der Kameravektor VK verläuft durch die Mitte der Kameralinse und die geometrische Mittelachse des Bildfelds. Die Kameras K&sub1;,K&sub2;,K&sub3;, die verwendet werden, haben natürlich Zoomlinsen, und die Bildfelder können dadurch in ihrer Größe verändert werden in Abhängigkeit davon, wie die Kameras K&sub1;, K&sub2;, K&sub3; gezoomt sind. Entlang dem Rand des Spielfelds sind Transponder TK in Festpositionen vorgesehen, um die Positionsdetektoren D&sub1;, ...D&sub4; zu kalibrieren. Entsprechende Transponder können ferner auch sowohl in den Positionsdetektoren D&sub1;, ... D&sub4; als auch den Kameras K&sub1;, K&sub2;, K&sub3; vorgesehen sein.
  • Die Verbindungslinie zwischen dem Linsenmittelpunkt in einer Kamera K und dem Objekt N, das ein Ball oder Puck oder irgendein anderes bewegliches Objekt sein kann, wird Objektvektor genannt und mit VN, VNK2 bezeichnet, wobei es sich beispielsweise um den Objektvektor für die Kamera K&sub2; zum Zeitpunkt t und V'NK2 für die Kamera K&sub2; zum Zeitpunkt t' handelt. Gleiches gilt für die übrigen Kameras. Die Distanz von einem Positionsdetektor D zu dem Objekt N zum Zeitpunkt t wird als a und zum Zeitpunkt t' als a' bezeichnet, beispielsweise für den Positionsdetektor D&sub1; mit a&sub1; bzw. a'&sub1;.
  • Wenn von einem Positionsdetektor D ein Abfragesignal abgegeben wird, wird nach einem bestimmten Zeitraum t ein Antwortsignal von dem natürlichen Objekt N empfangen. Das Antwortsignal kann eine Reflexion des Abfrageimpulses sein, oder es kann ein Antwortimpuls von dem Objekt N sein, wobei der Antwortimpuls durch das Abfragesignal von dem Positionsdetektor D ausgelöst wird. Die Zeit zwischen der Übertragung des Abfragesignals und dem Empfang des Antwortsignals, d. h. τ, wird nun ein Maß für die Distanz a zwischen einem Positionsdetektor D und dem Objekt N. Beispielsweise findet der Positionsdetektor D&sub1;, daß die Distanz zu N zum Zeitpunkt t a&sub1; ist und zum Zeitpunkt t' a'&sub1; ist. Gleiches gilt für die übrigen Positionsdetektoren. Wenn das Objekt N nun die ganze Zeit auf der x,y-Ebene in dem Bereich A liegt, wird seine Position eindeutig durch die Verwendung von zwei Positionsdetektoren, z. B. D&sub1; und D&sub2;, und das Finden entsprechender Distanzen a&sub1;, a'&sub1;; a&sub2;, a'&sub2; bestimmt. Wenn der Bereich A dreidimensional ist, d. h. wenn die Position zu dem Objekt N durch die Koordinaten x,y,z zum Zeitpunkt t bestimmt wird, ist es notwendig, wenigstens drei Positionsdetektoren, z. B. D&sub1;,D&sub2;,D&sub3; zu haben. Wie Fig. 1 zeigt, sind vier Positionsdetektoren D&sub1;, ...D&sub4; bevorzugt im Gebrauch, um die eindeutige Detektierung der Position des natürlichen Objekts N zu erreichen. Die Position des Objekts N wird somit ausschließlich durch Distanzmessungen, d. h. durch Trilateration, bestimmt, wobei dies ein Verfahren ist, das dem Fachmann wohlbekannt ist und somit nicht näher erläutert wird. Im Gegensatz zur Distanzbestimmung durch Triangulation ist es also nicht erforderlich, Richtungswinkel zu dem Objekt N zu bestimmen. Außerdem kann bei der tatsächlichen Positionsbestimmung eine statistische Optimierung vorteilhaft angewandt werden, um etwaige Positionierungsfehler zu verringern, beispielsweise Schätzung mittels der Methode der kleinsten Quadrate.
  • Wie Fig. 2 zeigt, umfaßt das System gemäß der Erfindung einen Transponder T, der in dem natürlichen Objekt N vorgesehen ist. Der Transponder T kann ein passiver Transponder wie etwa ein Reflektor für Mikrowellensignale oder Radarsignale sein, die von der Antenne H in dem Positionsdetektor D ausgesandt werden, oder er kann ein aktiver Transponder sein, der durch das von dem Positionsdetektor D ausgesandte Abfragesignal getriggert wird und ein Antwortsignal abgibt, das von dem Positionsdetektor D detektiert wird. Der Positionsdetektor D mit der Antenne H bildet einen Teil eines Positionsmoduls M, das einen Signalprozessor 1 aufweist, wobei der Signalprozessor 1 bevorzugt in einer Datenverarbeitungseinheit Q vorgesehen ist. Der Signalprozessor 1 ist über die Signalleitung L beispielsweise mit zwei oder mehr Positionsdetektoren D&sub1;, ... verbunden, um die Detektierungsdistanz a auf der Basis der gemessenen Laufzeiten τ zu finden. Zu diesem Zweck sind in dem Signalprozessor 1 Komponenten vorgesehen, die dem Fachmann wohlbekannt sind, etwa ein Taktgeber mit einer sehr hohen Taktrate, wobei die Taktrate wenigstens an die Frequenz für die von den Positionsdetektoren D abgegebenen Abfragesignale angepaßt ist. Die detektierten Distanzen a werden in ein Rechenmodul 2 eingeführt, das mittels Trilateration die Positionen x,y,z zu verschiedenen Zeiten t errechnet und damit auch den Weg des Objekts N auf der Basis von Positionen, die zu den verschiedenen Zeiten t detektiert werden, errechnet. Die errechneten Positionen werden einem Kamerasteuerungssystem 3 in der Datenverarbeitungseinheit Q zugeführt. In dem Kamerasteuerungssystem 3 werden Werte für die Einstellungen der Kamera K mittels eines Reglermoduls, das der Kamera K zugeordnet ist, errechnet, und die Kameraeinstellungen können automatisch mittels einer in dem Kamerasteuerungssystem 3 vorgesehenen Regelschleife gesteuert werden, und zwar auf der Basis der bestehenden Kameraeinstellungen und der detektierten Positionen für das Objekt N. Das optische System (Objektive und andere Linsen) in der Kamera K ist schematisch gezeigt und mit Ω bezeichnet.
  • Das Reglermodul R umfaßt nicht gezeigte Servoelemente zum Erzeugen der Kameraeinstellungen und nicht gezeigte Sensoren zum Detektieren und Aufzeichnen der Kameraeinstellungen. Einer der Sensoren ist ein Winkelsensor, um den Kamerawinkel zu bestimmen, und bevorzugt wird ein dreiachsiger Winkelsensor verwendet, der die Richtung der optischen Achse der Kamera oder den Kameravektor VK anzeigt. Der Winkelsensor kann durch Messen des Richtungswinkels an einem Festpunkt kalibriert werden. Solche Winkelsensoren sind dem Fachmann wohlbekannt und brauchen nicht weiter erwähnt zu werden. Die Kamera K kann selbstverständlich auch manuell manövriert werden, um Zoomwinkel und Kamerawinkel einzustellen.
  • Die Datenverarbeitungseinheit Q umfaßt ferner ein Manipulatormodul 4 zum Erzeugen eines synthetischen Objekts S. das dem natürlichen Objekt N entspricht, wobei die Festposition des natürlichen Objekts zu einer entsprechenden (projizierten) Position X,Y in der Bildebene der Kamera K umgewandelt und normiert wird, und zwar unter Berücksichtigung der aufgezeichneten Werte für die Kameraeinstellungen. In der Position X,Y in der Bildebene der Kamera kann beispielsweise über einen Bilderzeuger (nicht gezeigt), der in dem Manipulatormodul 4 vorgesehen ist, ein synthetisches Objekt S erzeugt werden, das das natürliche Objekt N in seiner Position X,Y in der Bildebene in der Kamera K darstellt, und das synthetische Objekt S kann mit verschiedenen Attributen hinsichtlich Größe, Gestalt und Farbe dargestellt werden. Das Hauptziel dabei ist, daß das synthetische Objekt S. das das natürliche Objekt N darstellt, jederzeit die Position und/oder die Bewegung des natürlichen Objekts N anzeigt, wie dies in dem Fernsehbild zu jedem Zeitpunkt t dargestellt werden würde.
  • Der Signalprozessor 1, das Rechnermodul 2, das Kamerasteuerungssystem 3 und das Manipulatormodul sind sämtlich über den lokalen Datenbus BL miteinander verbunden, der auch Signale zu und von dem Reglermodul R der Kamera leitet. Wenn der Datenverarbeitungseinheit Q eine Vielzahl von Fernsehkameras K zugeordnet ist, sind diese selbstverständlich ebenfalls mit dem lokalen Datenbus BL verbunden. Von der Datenverarbeitungseinheit Q führt ein globaler Datenbus BG zu einer Produktionseinheit P, die die eigentliche Produktion der Fernsehsendung übernimmt und die Bilder an die Fernsehstation oder den Fernsehsender übertragen kann.
  • In der Produktionseinheit P werden die zu jedem Zeitpunkt aufgezeichneten natürlichen Fernsehbilder oder eventuell synthetisch erzeugte Fernsehbilder mit einem synthetischen Objekt S und die aufgezeichneten Fernsehbilder mit dem in der richtigen Position darübergelegten synthetischen Objekt angezeigt, was es dem Produzenten ermöglicht, die Kamera und das Bild auszuwählen, das zu jedem Zeitpunkt während einer Fernsehsendung gewünscht wird, und die Bilder auf einer Standard-Fernsehleitung zu dem Fernsehsender zu übertragen. Wenn nur eine Datenverarbeitungseinheit Q verwendet wird, können die Produktionseinheit P und die Datenverarbeitungseinheit Q bevorzugt in einer Einheit integriert sein, wenn aber eine Vielzahl von Datenverarbeitungseinheiten vorgesehen ist, kann das System vollständig dezentralisiert sein, wobei sämtliche Datenverarbeitungseinheiten dann über den globalen Datenbus BG mit der Produktionseinheit verbunden sind.
  • Die Darstellung des synthetischen Objekts S in einem Fernsehbild wird unter Bezugnahme auf die Fig. 3 und 4 nachstehend im einzelnen beschrieben. Wie die Fig. 3a und 3b zeigen, zeichnet beispielsweise die Kamera K&sub2; in einer bekannten Position und mit einem bekannten Kamerawinkel und Zoomwinkel zu einem Zeitpunkt t ein Fernsehbild in der Bildebene IK2 auf. Der Kameravektor VK2 liegt normalerweise auf der Bildebene IK2 in deren Mitte. Das natürliche Objekt N, das zum Zeitpunkt t in der x,y,z-Position liegt, hat den Objektvektor VNK2, der einen Winkel mit dem Kameravektor VK2 bildet und durch den Linsenmittelpunkt ω geht. Wie in Fig. 3b zu sehen ist, bilden die beiden Vektoren VKZ und VNxz eine Ebene, die den Rand der Bildebene IK2 am Punkt Z&sub2; schneidet. Die Verbindungslinie zwischen dem Linsenmittelpunkt ω und dem Punkt Z&sub2; wird Zoomvektor VZ2 genannt, wie in Fig. 3b zu sehen ist, und ist somit durch die Kameraeinstellungen bestimmt. Die Darstellungen der übrigen Vektoren in dem optischen System Ω sind mit einem Stern markiert, beispielsweise V*K2 für den Kameravektor und V*NK2 für den Objektvektor. Der Zoomvektor VZ2 bildet außerdem einen Winkel mit dem Kameravektor V*K2, wie Fig. 3b zeigt. Wenn der Winkel zwischen dem Zoomvektor V22 und dem Kameravektor V*K2 größer als der Winkel zwischen dem Objektvektor V*NK2 und dem Kameravektor V*K2 ist, wird das natürliche Objekt in der Bildebene Ix2 reproduziert und in Fig. 3a durch ein sternartiges Objekt dargestellt, das das synthetische Objekt S bildet. In Fig. 3c hat sich das natürliche Objekt N zu der Position x',y',z' zum Zeitpunkt t' bewegt, und die Vektorparameter für die dynamischen Vektoren, d. h. den Objektvektor VN und den Zoomvektor VZ, haben sich geändert, so daß sie in Fig. 3c als V'NK2 bzw. V'Z2 gezeigt sind. Gleiches gilt für Fig. 3d, die die Darstellung der Vektoren in dem optischen System zeigt und auf die gleiche Weise wie in Fig. 3b bezeichnet ist. Das natürliche Objekt N befindet sich immer noch in dem Bildfeld und kann durch das synthetische Objekt S dargestellt werden. In Fig. 4 ist die Bildebene V*K3 zu zwei verschiedenen Zeitpunkten t und t' für die Kamera K&sub3; gezeigt. Zum Zeitpunkt t fällt die Position x,y,z des natürlichen Objekts aus dem Bildfeld der Kamera heraus. Wie Fig. 3b zeigt, ist der Winkel zwischen dem Kameravektor V*K3 und dem Objektvektor V*NK3 größer als der Winkel zwischen dem Zoomvektor VK3 und dem Kameravektor V*K3- Mit anderen Worten befindet sich das Objekt außerhalb des Bildrands. Das kann in dem Fernsehbild vorteilhaft dadurch angezeigt werden, daß das synthetische Objekt S oder ein Indikator dafür an dem Bildrand plaziert wird, d. h. an dem Punkt Z&sub3;, wobei die Linie zwischen der Bildmitte und dem synthetischen Objekt die Richtung des synthetischen Objekts anzeigt. Selbstverständlich kann auch ein synthetischer Richtungszeiger verwendet werden, um auf die Position des Objekts außerhalb des Bildrands zu zeigen. Irr Fig. 4b, die die Bildebene I*K3 zum Zeitpunkt t' zeigt, hat sich das bewegliche oder natürliche Objekt N in das Bildfeld bewegt und kann wie gezeigt durch das synthetische Objekt S dargestellt werden, wobei der Winkel zwischen dem Objektvektor V'*NK3 und dem Kameravektor V'*K3 nunmehr kleiner als der Winkel zwischen dem Zoomvektor VZ3 und dem Kameravektor V'*K3 ist, wie in Fig. 4d zu sehen ist.
  • Wie bereits erwähnt, können die Attribute des synthetischen Objekts S frei gewählt werden, und selbstverständlich braucht das Objekt keine echte Darstellung des natürlichen Objekts im Hinblick auf Größe, Gestalt oder Farbe zu sein. Ein Eishockey-Puck kann beispielsweise als stark leuchtendes, pulsierendes oder blinkendes Objekt in einer kontrastierenden Farbe erzeugt werden. Außerdem können die Größe oder Farbe des Objekts veränderlich gemacht werden, um dem Zuschauer die scheinbare Distanz zwischen ihm und dem natürlichen Objekt anzuzeigen, wie es erscheint, wenn ein Fernsehbild betrachtet wird. Weiterhin kann das synthetische Objekt mit Markierungen oder Indikatoren beispielsweise alphanumerischer Art oder in Form von leuchtenden oder blinkenden Pfeilen oder anderen sichtbaren Indikatoren versehen sein, um die Distanz des Objekts beispielsweise von der Kamera oder auch die Geschwindigkeit, Richtung und Position des Objekts anzuzeigen. All dies kann in das gezeigte Fernsehbild im Zusammenhang mit dem synthetischen Objekt S eingeführt werden und über dem natürlichen Hintergrund im Fernsehbild liegen. Die tatsächliche Erzeugung des synthetischen Objekts und anderer Indikatoren erfolgt in dem in Fig. 2 gezeigten Manipulatormodul und kann beispielsweise mittels eines nicht gezeigten Videogenerators eines Typs erfolgen, der dem Fachmann wohlbekannt ist.
  • Nachstehend werden das Detektieren des natürlichen Objekts und die Distanzbestimmung im einzelnen beschrieben.
  • Auf dem Gebiet der Technik gibt es eine Reihe von bereits beschriebenen verschiedenen Systemen zum Messen der Distanz zu einem Objekt, beispielsweise durch Aussenden von optischen, akustischen oder elektromagnetischen Signalen von einer Antenne, die von dem Objekt, dessen Distanz bestimmt werden soll, zurück zu der Antenne reflektiert werden. Die gemessene zeitliche Differenz zwischen dem Senden und dem Empfangen der Signale ist ein direktes Maß für die Distanz zu dem Objekt, da die Fortpflanzungsgeschwindigkeit der Signale in dem umgebenden Medium mit ausreichender Genauigkeit als bekannt angenommen wird, und es wird ein Zeitmeßsystem verwendet, das die gewünschte Genauigkeit bei der Bestimmung der Distanz liefert. Beispielsweise zeigt die US-PS 3 503 680 (Schenkerman) ein Distanzmeßsysterh, das auf einem Impulsradar basiert. Die dort gezeigte Technik berücksichtigt die Tatsache, daß sich das Objekt, dessen Distanz zu messen ist, mit relativ hoher Geschwindigkeit bewegen kann, so daß anstelle des Aussendens eines Impulses mit anschließendem Messen der Laufzeit des Impulses zwischen dem Objekt und der Antenne eine Impulsfolge verwendet wird, wobei der Empfang des Echo- oder Rückimpulses eines ausgesendeten Impulses genutzt wird, um das Aussenden eines zweiten Impulses auszulösen. Dieser Vorgang wird wiederholt, bis eine vorbestimmte Anzahl von Echoimpulsen empfangen worden ist, und die Zeitdauer bis zum Empfang einer vorbestimmten Anzahl von Echoimpulsen ist proportional zu der Distanz zum Objekt. Das Verfahren kann sowohl mit elektromagnetischen als auch mit akustischen Signalen angewandt werden.
  • Die GB-PS 1 290 915 (Allard & Clark) zeigt ebenfalls ein Distanzmeßsystem, das auf Impulsradar ähnlicher Art wie in der vorgenannten US-PS basiert.
  • Im übrigen ist es im Stand der Technik wohlbekannt, die Distanz zu einem beweglichen Objekt mittels eines sogenannten CW-Radars zu messen, das die radiale Geschwindigkeit des beweglichen Objekts mittels einer detektierten Doppler-Verschiebung im Rücksignal oder Echosignal feststellt. Durch Anwendung eines Phasenvergleichs ist es möglich, die Distanz zu dem beweglichen Objekt festzustellen.
  • Der Nachteil bei der Verwendung von Distanzmeßsystemen, die auf der Detektierung eines Rückechoimpulses basieren, besteht jedoch in den vielen Fehlerquellen, die sich beispielsweise durch unechte und falsche Echoimpulse und sogenannte "Glitter", d. h. reflektierte Störsignale vom Erdboden oder von der See, ergeben können, sowie ebenso in der Tatsache, daß das betroffene natürliche Objekt nicht geeignet sein kann, ein Echo rückzusenden, obwohl es vorstellbar ist, daß es mit Radarreflektoren oder einer reflektierenden Oberfläche ausgestattet sein könnte. Bei verschiedenen Sportarten wie etwa Eishockey wird dies jedoch als ungeeignete Methode angenommen.
  • Anstelle der Verwendung eines passiven Transponders, d. h. eines Rückechos oder von reflektierten Signalen von dem natürlichen Objekt, wird gemäß der vorliegenden Erfindung bevorzugt ein aktiver Transponder eingesetzt. In diesem Fall sollte unter einem aktiven Transponder ein Transceiver verstanden werden, der in dem natürlichen Objekt vorgesehen ist und der beim Detektieren eines Abfragesignals selber ein Antwortsignal aussendet. Im Regelfall muß der Transceiver seine eigene Energiequelle und einen Impulssender zum Erzeugen des Antwortsignals haben, und in diesem Zusammenhang ist eine Energiequelle beispielsweise in Form einer Batterie ein erheblicher Nachteil, weil einerseits die Batterie beschädigt werden kann und sie andererseits nur begrenzte Lebensdauer hat. Da der aktive Transponder auch in dem natürlichen Objekt angebracht werden muß, muß er robust sein und Stößen und Schlägen sowie relativ hohen Beschleunigungen standhalten können. In diesem Zusammenhang kann auf die Beanspruchungen hingewiesen werden, denen beispielsweise ein Tennisball, ein Golfball oder ein Eishockey-Puck ausgesetzt ist, wenn er etwa von einem Tennisschläger oder einem Schläger getroffen wird.
  • Der aktive Transponder muß daher robust sein, er muß erheblichen Beschleunigungs-Beanspruchungen standhalten können und keine eigene Energiequelle benötigen, und gleichzeitig muß er klein genug sein, um in ein natürliches Objekt eingesetzt zu werden, das jedenfalls nicht größer als ein Eishockey-Puck ist. Ein Transponder dieser Art sollte auch geeignet sein, um beispielsweise von Personen getragen zu werden, ohne ihnen Unbequemlichkeiten zu machen, etwa Teilnehmern in einem Spiel oder Athleten oder anderen Menschen, die in einem Fernsehbild mittels einer synthetischen Darstellung der betroffenen Person aufgezeichnet werden sollen. Dies wird noch im einzelnen erörtert.
  • Ein Blockbild eines Transponders, wie er nach der Erfindung in dem natürlichen Objekt verwendet wird, ist in Fig. 5 gezeigt. Der Transponder besteht aus einer Antenne 5, einem Widerstandsanpassungsnetz 6 und einem Impulssender 7.
  • Wie angegeben, kann der Impulssender des Transponders als aktive Einheit auf der Basis eines Batteriebetriebs oder als passives System ohne Batterie implementiert sein. Bei der vorliegenden Erfindung wird jedoch bevorzugt ein aktives System ohne Batterie verwendet, das, wie bereits erwähnt, eine Reihe von betrieblichen Vorteilen bietet, und dies ist bevorzugt mittels der akustischen Oberflächenwellen-Technik (SAW-Technik) implementiert.
  • Der Transponder, wie er in Fig. 5 gezeigt und bei der vorliegenden Erfindung verwendet wird, ist also ein sogenanntes akustisches Oberflächenwellenbauelemerit. Solche akustischen Oberflächenwellen-Transponder oder SAW Transponder bestehen aus einer Kristallplatte mit einer Eingangselektrode und ein oder mehr Ausgangselektroden, wie das in Fig. 6 gezeigt ist und dort noch im einzelnen beschrieben wird.
  • Ein akustischer Oberflächenwellen-Transponder, wie er schematisch in Fig. 6 gezeigt ist, ist dem Fachmann seit langem bekannt und besteht im Prinzip aus einem Kristall, beispielsweise aus Lithiumniobat, mit einer Oberflächenstruktur aus Metall, die Wandler, Reflektoren usw. bildet. Ein Abfrageimpuls von dem Positionsdetektor D wird von einem Wandler 8 empfangen, der in Form eines sogenannten Interdigitalwandlers gezeigt ist: Die empfangene elektromagnetische Energie in dem Abfrageimpuls wird in dem Wandler in eine akustische Oberflächenwelle umgewandelt, die sich entlang dem Kristall ausbreitet. In einem bestimmten Abstand von dem Wandler 8 sind ein erster Reflektor 9a bzw. ein zweiter Reflektor 9b angeordnet. Wenn die Schallwelle auf die beiden Reflektoren 9a und 9b trifft, werden Reflexionswellen erzeugt, die sich zurück zum Wandler 8 ausbreiten. Der Wandler 8 wandelt die beiden akustischen Reflexionswellen in elektromagnetische Impulse um, die das Antwortsignal bilden, das über die Antenne des Transponders ausgesendet wird. Am Ende des Transponders T kann ein Oberflächenwellen-Absorber 10 vorgesehen sein. Die Bahn des Signals ist schematisch in den Fig. 7a und 7b gezeigt.
  • Wenn der Transponder T einen Abfrageimpuls 11 der Länge 'tp empfängt, wie in Fig. 7a gezeigt ist, wird der Impulssender 7, d. h. der Wandler 8, angestoßen, und ein Antwortsignal wird nach einer bestimmten Zeitdauer τD von der Antenne abgestrahlt. Wie Fig. 7b zeigt, besteht das Antwortsignal aus zwei Impulsen 13a, 13b, die voneinander einen Abstand TX haben. Für unterschiedliche Kategorien von natürlichen Objekten kann die Kategorie des Objekts beispielsweise bestimmt werden, indem der Impulsabstand TX in dem Positionsdetektor D, der das Abfragesignal ebenfalls aussendet, gemessen wird.
  • Grundsätzlich ist diese Technik exakt gleich wie die Techniken zur Verwendung von Radartranspondern auf der Basis der SAW-Technik, da SAW-Bauelemente als Verzögerungselemente in HF-Kommunikations- und -Detektiersystemen verwendet werden, wie wohlbekannt ist. Der Transponder, der in Form eines integrierten umschlossenen Chips sein kann, kann codiert werden, indem ein Impulsabstand zwischen zwei Reflexionsimpulsen gleich einem ganzzahligen Vielfachen beispielsweise der Dauer τP des Abfrageimpulses gewählt wird. Der Transponder T kann natürlich mehr als die beiden Reflektoren 9a, 9b gemäß Fig. 6 aufweisen, und in diesem Fall kann er verwendet werden, um das Antwortsignal mit einer großen Anzahl verschiedener Codes abzugeben. Auf diese Weise kann ein auf der SAW-Technik basierender Transponder T zur Detektierung der Distanz zu einer großen Anzahl natürlicher Objekte N verwendet werden, da der Code somit eindeutig klarstellt, welches der natürlichen Objekte betroffen ist. Das kann in Fällen relevant sein, in denen das Verfahren und das System gemäß der vorliegenden Erfindung ein Spiel überwachen sollen, in dem mehrere Objekte gleichzeitig in dem Spiel verwendet werden, etwa bei Golfwettkämpfen oder Leichtathletikwettkämpfen, wo es erwünscht ist, einer großen Anzahl von Teilnehmern zu folgen, von denen jeder mit einem Transponder ausgestattet ist. Im Fall der ungefähr gleichzeitigen Detektierung von mehreren Antwortsignalen kann es zur Erzielung einer eindeutigen Detektierung zweckmäßig sein, spezielle Detektiertechniken anzuwenden, die beispielsweise auf der Korrelation zwischen detektierten codierten Antwortimpulsfolgen und vorher gespeicherten Codefolgen für jeden einzelnen Transponder basieren. Eine zweite Möglichkeit besteht darin, Abfragesignale mit unterschiedlichen Frequenzen und entsprechende frequenzabgestimmte Transponder zu verwenden. Schließlich können Transponder mit unterschiedlichen Laufzeiten τd verwendet werden. In diesem Fall müssen die Laufzeiten an den für die Detektierung betroffenen Distanzbereich angepaßt sein, so daß die Antwortsignale für den Detektor in jeweiligen eindeutig definierten Zeitdauern relativ zu der Zeitdauer für das Aussenden des Abfragesignals sind.
  • Fig. 7a zeigt ein Impulsmuster, das in dem Positionsdetektor D verwendet wird, wobei Abfrageimpulse 11 mit Impulsdauern tp und mit einem bestimmten Zeitintervall zwischen den Abfrageimpulsen entsprechend einer gewünschten Abtastfrequenzfolge ausgesendet werden. Das Antwortsignal von dem Transponder T kommt an dem Positionsdetektor D in Form der Impulsfolge 13a, 13b an, wie Fig. 7b zeigt, während in diesem Fall die Impulsform 11 ein Echo darstellt, das durch Boden- oder See-Störsignale bewirkt ist und um die reelle Distanz zu einem Reflexionspunkt an oder nahe bei dem Transponder T zentriert ist. Die Verwendung eines SAW- Bauelements als Transponder verzögert jedoch das Antwortsignal um einen vorbestimmten Wert τd, und die Antwortimpulse 13a, 13b kommen daher einige Zeit nach dem Störimpuls 11 an und werden nicht davon maskiert. Die zwischen den Antwortimpulsen 13a, 13b gewählte Distanz ist dabei τX, und die Verzögerung ist gleich ¹/&sub2;τd, wobei die Distanz von dem Wandler 7 zu dem Reflektor in diesem Fall selbstverständlich einer Laufzeit von Eid entspricht und zusätzlich die Distanz zwischen jedem Reflektor einer Laufzeit von ¹/&sub2;τX entspricht. Der Antwortimpuls von dem Transponder T kommt nunmehr am Detektor D nach einem Intervall τ = τa+τd an, wobei τa die Laufzeit für ein elektromagnetisches Signal von dem Positionsdetektor D zu dem Transponder T und zurück ist und τd die in den Transponder eingegebene zeitliche Verzögerung ist. Was nunmehr vom System verlangt wird, ist, daß die Zeitdauer τ mit einer Genauigkeit gemessen werden kann, die bevorzugt in der Größenordnung von 10&supmin;¹m, möglichst noch kleiner, ist, und das liegt im Rahmen der heutigen Technologie. Die zeitliche Verzögerung τd und die Impulsperiode τX müssen also exakt bekannt sein, und das kann durch sorgfältiges Kalibrieren der verwendeten SAW-Transponder erreicht werden. Um diese Genauigkeit zu erreichen, sollte die für das Abfragesignal gewählte Frequenz am oberen Ende des L-Bandes oder im S- oder X-Band liegen, d. h. es sollte eine Frequenz zwischen ca. 1 MHz und 10 MHz oder, anders ausgedrückt, eine Wellenlänge zwischen 30 cm und 3 cm haben. Der in dem Signalprozessor 1 verwendete Taktgeber sollte eine Taktrate haben, die an die Frequenz des Abfragesignals und des Antwortsignals angepaßt ist. Mit der heutigen Technologie können daher Distanzen mit einer Genauigkeit in der Größenordnung von 10&supmin;¹m oder weniger innerhalb derjenigen Distanzen detektiert werden, die normalerweise vorliegen, wenn das Verfahren und das System gemäß der Erfindung angewandt werden, d. h. bevorzugt in Sportarenen oder dergleichen.
  • Um das System gemäß der vorliegenden Erfindung zu prüfen und zu kalibrieren, können in der Ecke des Bereichs A, wie Fig. 1 zeigt, permanent angebrachte und exakt kalibrierte Transponder TK in Festpositionen vorgesehen und codiert sein, so daß sie eindeutige Erkennungs-Antwortsignale abgeben. Diese werden zur Kalibrierung des Systems und der Positionsdetektoren D genutzt. Transponder sind ebenfalls bevorzugt sowohl in den Positionsdetektoren als auch den Kameras vorgesehen. Wenn tragbare Kameras wie "Handycam" und "Steadycam" verwendet werden, ist es möglich, die Kamerapositionen mittels der Positionsdetektoren D zu bestimmen.
  • Außerdem ist ersichtlich, daß durch Verwendung der SAW- Transponder, wie das bei der vorliegenden Erfindung bevorzugt wird, diese ohne Schwierigkeit in den meisten natürlichen Objekten N angebracht sein können, die sich dazu eignen, im Zusammenhang mit einer Fernsehsendung verfolgt und zur Anzeige gebracht zu werden, sei es nun ein Fußball oder ein Eishockey-Puck. Wie erwähnt, sind SAW-Transponder sehr robust und können erheblichen Beschleunigungs- Beanspruchungen standhalten, sie benötigen auch keine eigene Energiequelle, können jedoch gleichzeitig mit extrem kleinen Dimensionen gebaut werden und messen beispielsweise nur einige Millimeter. Sie können beispielsweise von einem stoßdämpfenden Material umschlossen sein, das in das natürliche Objekt eingesetzt ist, aber im übrigen sind keine besonderen Maßnahmen erforderlich, um sie vor Beschädigung zu schützen. Gleichzeitig ist es äußerst einfach, sie auszuwechseln, falls sie doch zerstört werden sollten. Sie sind jedoch auch so billig in der Herstellung, daß = es ebenso leicht ist, das natürliche Objekt durch ein anderes mit einem gleichartigen SAW-Transponder zu ersetzen. Bei Verwendung im Zusammenhang mit anderen natürlichen Objekten als beispielsweise Fußbällen, Eishockey-Pucks usw., wenn sie beispielsweise an einer Person getragen werden, können die Transponder als umschlossener Chip ausgebildet sein, der an der Person angebracht ist und von ihr während des betreffenden Zeitraums getragen wird. Da der SAW-Transponder so ausgebildet ist, daß er ein eindeutiges codiertes Antwortsignal abgibt, ist die den Transponderchip tragende Person ebenfalls eindeutig identifizierbar.
  • Das System gemäß der Erfindung kann eine Reihe von Positionsmodulen M aufweisen, die einer oder mehreren Fernsehkameras K zugeordnet sind, wobei jedes Positionsmodul so angeordnet ist, daß es einen vordefinierten Bereich in dem x,y,z-Koordinatensystem abdeckt. Das bedeutet, daß die Anwendung des Verfahrens und des Systems gemäß der vorliegenden Erfindung nicht nur auf einen wohldefinierten Bereich wie etwa ein Feld für Ballspiele oder ein Eishockeyspielfeld und dergleichen beschränkt ist, sondern angewandt werden kann, um Bereiche willkürlicher Gestalt und Größe wie etwa Langlaufstrecken, Abfahrtslaufhänge und dergleichen abzudecken. Das Verfahren und das System gemäß der vorliegenden Erfindung sind auch nicht nur auf Sportveranstaltungen beschränkt, sondern können angewandt werden, um andere Veranstaltungen in großen und relativ frei definierten Bereichen abzudecken. Solche Bereiche können in mehrere Teilbereiche unterteilt sein, und das System muß nicht unbedingt jeden Teilbereich oder den Gesamtbereich abdecken, sondern die Anwendung des Systems kann auf ausgewählte Teilbereiche beschränkt sein.
  • Ein Beispiel für eine Anordnung des Systems gemäß der vorliegenden Erfindung zur Anwendung beispielsweise bei einem Abfahrtsrennen oder einem Abfahrtslaufhang ist in Fig. 8 gezeigt. Dabei ist der Bereich A in drei Teilbereiche A&sub1;,A&sub2;,A&sub3; unterteilt. Jedem Teilbereich A&sub1;,A&sub2;, A&sub3; sind entsprechende Positionsmodule M&sub1;,M&sub2;,M&sub3; zugeordnet. Der Teilbereich A&sub1; ist beispielsweise von einem Positionsmodul M&sub1; mit drei Positionsdetektoren D&sub1;, D&sub2;, D&sub3; abgedeckt, die über die Signalleitung L&sub1; miteinander und dadurch mit einer Datenverarbeitungseinrichtung Q&sub1; verbunden sind. Die Datenverarbeitungseinrichtung Q&sub1; ist über einen lokalen Datenbus B&sub1; mit den. Kameras K&sub1;,K&sub2; über ihre jeweiligen Reglermodule R&sub1;, R&sub2; verbunden. Typische Bildfelder für die Kameras K&sub1;,K&sub2; sind durch Strichlinien angezeigt und gleichermaßen von der Hauptkeule der Antenne in einem der Positionsdetektoren D&sub3;, durch Strichlinien mD3 angegeben, umgeben. Die Datenverarbeitungseinrichtung Q&sub1; ist mit einer Produktionseinheit P über einen globalen Datenbus BG verbunden. Gleiches gilt für die Positionsmodule und Kameras, die den verbleibenden Teilbereichen A&sub2;,A&sub3; zugeordnet sind. Außerdem sind in jedem der Teilbereiche A&sub1;,A&sub2;,A&sub3; Transponder TK zur Kalibrierung in Festpositionen wie etwa am Rand jedes Teilbereichs vorgesehen. Ferner kann der globale Datenbus BG mit dem Zeitmeßsystem verbunden sein, das in Fig. 8 als CL&sub1; am START bzw. FINISH gezeigt ist.
  • In Fig. 8 sind zwei natürliche Objekte N&sub1;,N&sub2; dargestellt, wobei das erste natürliche Objekt N&sub1; im wesentlichen in dem dritten Teilbereich A&sub3; und das zweite natürliche Objekt N&sub2; in dem Teilbereich A&sub1; liegt. Jedes der Objekte ist in zwei verschiedenen Positionen x,y,z; x',y',z' zu den Zeitpunkten t bzw. t' gezeigt, wobei es sich versteht, daß die Positionen und Zeiten für die beiden Objekte N&sub1;,N&sub2; nicht identisch sein müssen. Die Bahn jedes der Objekte N&sub1;,N&sub2; zwischen der ersten und der zweiten Position ist durch eine Strichlinie angegeben. Die Distanzen von den Positionsdetektoren D zu den Objekten N&sub1;,N&sub2; und ihre Positionen werden so bestimmt, wie das bereits in Verbindung mit Fig. 1 beschrieben wurde.
  • Da das Abfragesignal der Positionsmodule eine hohe Frequenz hat und Richtantennen verwendet werden, versteht es sich, daß sich die Signale im wesentlichen in einer Geraden ausbreiten. Anders ausgedrückt können sie durch Hindernisse im Gelände und dergleichen angehalten werden. Indem der Bereich A in Unterbereiche A&sub1;,A&sub2;,A&sub3; unterteilt wird, die jeweiligen Untersystemen von Positionsmodulen D und Kameras K zugeordnet sind, kann der Gesamtbereich A dennoch abgedeckt werden, indem das Verfahren und das System gemäß der vorliegenden Erfindung angewandt werden. Die ausgewählten Positionen der Positionsmodule D und der Kameras K müssen also topographische und andere Bedingungen berücksichtigen.
  • In dem Bereich A können Hindernisse angetroffen werden, die nicht zulassen, daß die Objekte N in dem Bildfeld der Kameras gezeigt werden. Das kann beispielsweise Vegetation, Gruppen von Menschen und dergleichen sein, hindert jedoch nicht den freien Durchlauf der verwendeten Detektor- und Transpondersignale. Das bedeutet, daß die Position des natürlichen Objekts N auch dann noch in dem Bildfeld der Kameras angezeigt werden kann, wenn das Objekt N zu dem jeweiligen Zeitpunkt von Hindernissen verdeckt ist, die einen Sichtkontakt behindern. In diesem Fall kann das natürliche Objekt N selbstverständlich durch ein synthetisches Objekt S in der korrekten Position X,Y in einem Fernsehbild dargestellt werden. Solche Bedingungen können leicht auftreten, beispielsweise bei Reportagen von Langlaufwettkämpfen, wobei die Läufer aufgrund von Vegetation nicht sichtbar sind, obwohl die Kamera in einer Position angeordnet ist, die theoretisch den Abschnitt der betroffenen Langlaufstrecke abdecken sollte. Mit Hilfe der in Fig. 8 gezeigten Auslegung erlauben daher die Verfahren und das System gemäß der vorliegenden Erfindung die Erzielung einer vollständigen Abdeckung mit der Anzeige der Position der natürlichen Objekte N im Fall von Sportveranstaltungen oder selbstverständlich auch der Position der Teilnehmer, obwohl diese beispielsweise durch Vegetation und dergleichen im Bildfeld der Kameras verdeckt sind. Weder die Reporter noch die Zuschauer müssen daher raten, wo ein erwarteter Favorit sich in diesem Augenblick befindet.
  • Wie oben erwähnt, kann mittels eines Verfahrens nach der Erfindung eine synthetische Spur in einem Fernsehbild erzeugt werden, wobei die synthetische Spur dazu dienen soll, den Weg eines natürlichen Objekts N in dem Fernsehbild während einer gegebenen Periode θ darzustellen. Der Weg des natürlichen Objekts N kann, wie bereits erwähnt, auf der Basis von detektierten Positionen x,y,z in einem vorgewählten Koordinatensystem zum Zeitpunkt t errechnet werden. Der Zeitpunkt t liegt daher innerhalb einer Periode θ. Die detektierten Positionen x,y,z werden in eine X,Y- Position in der Bildebene einer relevanten Fernsehkamera zum Zeitpunkt t umgewandelt. Die synthetische Spur in dem Fernsehbild wird als die Verbindungslinie zwischen sämtlichen X,Y-Positionen für das natürliche Objekt in den Bildebenen der Fernsehbilder erzeugt, die während der Periode θ sequentiell aufgezeichnet werden. Die synthetische Spur kann nunmehr beispielsweise in einem Stehbild angezeigt werden, das nicht während der Periode θ aufgezeichnet zu sein braucht, oder sie kann kontinuierlich aktualisiert und für jedes einzelne Bild, das während der Periode θ aufgezeichnet wird, erzeugt werden, so daß die synthetische Spur kinematographisch erzeugt wird. Ebenso wie das synthetische Objekt S kann die synthetische Spur mit gegebenen, möglicherweise gleichartigen Attributen hinsichtlich Größe, Gestalt und Farbe erzeugt werden. Sie kann bevorzugt beispielsweise als farbige Linie in einer Kontrastfarbe und mit Indikatoren für die Bewegungsrichtung und eventuell auch die Geschwindigkeit des natürlichen Objekts auf dem Weg, der der synthetischen Spur entspricht, gezeigt werden.
  • Ein Beispiel für die Erzeugung einer synthetischen Spur für ein natürliches Objekt N ist in den Fig. 9a, 9b und 9c gezeigt. Fig. 9a zeigt einen Weg a, auf dem sich das natürliche Objekt von Positionen po bis p&sub3; während der Periode θ bewegt. Fig. 9a zeigt dies an der Projektion des Wegs A in einer x,y-Ebene. Der Weg des Objekts N während der Periode θ ist von der Kamera K abgedeckt und wird selbstverständlich als eine Folge von Einzelbildern von der Kamera K aufgezeichnet. Wenn die Kamera K die gleiche Einstellung während der Periode θ hat, zeigt das Bildfeld beispielsweise der Kamera K in der Bildebene IK einen Abschnitt A' des Bereichs A, wie Fig. 9b zeigt. Dabei ist das natürliche Objekt N durch ein synthetisches Objekt S dargestellt, das in den relevanten Positionen p&sub0;, ... gezeigt ist, wobei die Projektion des Wegs des natürlichen Objekts in der Bildebene IK als eine synthetische Spur zwischen den verschiedenen Positionen p&sub0;, ... für das in der Figur gezeigte synthetische Objekt S projiziert ist. Wenn es sich beispielsweise um eine Fernsehreportage eines Fußballspiels handelt, das gezeigt wird, ist N selbstverständlich gewöhnlich der Fußball, und die synthetische Spur stellt den Weg des Balls von der Position p&sub0; zu der Position p&sub3; in drei Dimensionen, jedoch in die Bildebene IK projiziert, dar. Ik(t) kann das letzte Bild in der Folge sein, die während der Periode T aufgezeichnet wurde, und in diesem Fall ist die für das synthetische Objekt S gezeigte Spur der Weg vom Beginn der Periode θ bis zu dem letzten aufgezeichneten Bild während θ. Selbstverständlich ist es nicht wesentlich, daß die Spur kontinuierlich in den aufgezeichneten Bildern während der Periode θ gezeigt wird, da die synthetische Spur in ein frei gewähltes Stehbild oder in ein Fernsehbild, das zu einem Zeitpunkt außerhalb der Periode θ aufgezeichnet wird, eingefügt werden kann.
  • Auch ist es nicht Bedingung, daß die synthetische Spur nur in natürlichen Fernsehbildern gezeigt wird, und das eigentliche Fernsehbild kann, wie in Fig. 9c gezeigt ist, ein synthetisches Fernsehbild IK(S) sein, das beispielsweise von einem Videogenerator erzeugt wird, und zwar nicht unbedingt mit dem Ziel der Darstellung der Kameraperspektive, sondern es kann eine Art graphische Darstellung des Bereichs A sein. Fig. 9c zeigt eine graphische Darstellung AS des Spielfelds A, die in einer X,Y-Ebene in Form eines synthetischen Fernsehbilds dargestellt ist. Die Bewegung des natürlichen Objekts N ist dann in die X,Y-Ebene projiziert gezeigt als die Bewegung des synthetischen Objekts S von der Position p&sub0; zu der Position p&sub3;. Ein Fachmann erkennt ohne weiteres, daß es möglich ist, verschiedene Perspektiven wie etwa eine Seitenansicht zu verwenden, oder daß auch Möglichkeiten bestehen, das Bild mit dem synthetischen Objekt und der synthetischen Spur mittels verschiedener Videographikmethoden zu manipulieren. Es gibt auch keinen Grund, weshalb auf der Grundlage der Daten, die für die Position und die Bewegung des natürlichen Objekts N im Verlauf des Spiels erfaßt wurden, der Weg des natürlichen Objekts während des Verlaufs eines Spiels oder während einer ausgewählten Periode nicht dargestellt werden sollte, wodurch eine Analyse des Spiels unterstützt wird. Die Technik kann auch bei Zusammenkünften mit Offiziellen und Schiedsrichtern angewandt werden, um Situationen zu beurteilen, die sonst schwierig zu bewerten wären, wenn die Beurteilung nur auf momentanen Eindrücken während des Spielverlaufs beruhen würde.
  • Wie erwähnt, gibt es keinen Grund, weshalb das System nicht eine Reihe von natürlichen Objekten N&sub1;, ...Nn detektieren und überwachen sollte, wobei die natürlichen Objekte durch die Verwendung von Transpondern, die codierte Antwortsignale zur eindeutigen Erkennung des betreffenden natürlichen Objekts abgeben, eindeutig definiert werden. Fig. 11a betrifft eine Situation, die in einem Bereich auftreten könnte, wie er in Fig. 8 gezeigt ist. Zwei natürliche Objekte N haben sich durch den Teilbereich A&sub3; bewegt, jedoch während unterschiedlichen Perioden. Das erste natürliche Objekt N&sub1; beispielsweise hat sich während der Periode θ von der Position p&sub0; zu der Position p&sub3; bewegt, während sich das natürliche Objekt N&sub2; während der Periode θ' von der Position p'&sub0; zu der Position p'&sub3; bewegt hat. Die Wege der natürlichen Objekte sind als Strichlinien in Fig. 9a dargestellt. In Fig. 9b sind die detektierten und errechneten Wege der natürlichen Objekte N&sub1;,N&sub2; durch die entsprechenden synthetischen Objekte S&sub1;, S&sub2; dargestellt und in synthetische Spuren für die Objekte S&sub1;, S&sub2; umgewandelt, die gleichzeitig in ein und demselben Bild IK(t) zum Zeitpunkt t dargestellt werden. Daten für Zeiten und Geschwindigkeiten, die die Grundlage für einen Vergleich zwischen der Bewegung der Objekte N&sub1;,N&sub2;, beispielsweise Abfahrtsläufer, bilden, können in das Bild eingefügt werden. Die X,Y-Projektion des Teilbereichs A&sub3; in der Bildebene IK zum Zeitpunkt T erscheint als das Bild IK(t), das in Fig. 11b gezeigt ist, und die Wahl der Abfahrtslinie und des Laufstils können beispielsweise direkt miteinander verglichen werden.
  • Für einen Fachmann ist es ersichtlich, daß es möglich ist, eine Echtzeitwiedergabe zu erzeugen, d. h. die Entwicklung beispielsweise eines Spiels oder Rennens kann in simulierter Echtzeit mit Hilfe von synthetischen Objekten und synthetischen Spuren in dem Fernsehbild verfolgt werden. Das kann beispielsweise im Zusammenhang mit einem Wiederabspielen der Fall sein, wenn jedoch das Verfahren und das System gemäß der vorliegenden Erfindung angewandt werden, hat der Produzent der Fernsehsendung viel Freiheit, um Objekte und Informationen zu manipulieren, wenn sie entweder in natürlichen oder synthetischen Fernsehbildern zur Anzeige gebracht werden. Es ist beispielsweise möglich, synthetische Spuren und synthetische Objekte mit verschiedenen Formen von Animationsgraphiken zu kombinieren, wenn das gewünscht wird.
  • Wie die Fig. 1 und 8 zeigen, sind Transponder TK in verschiedenen Festpositionen in dem Bereich A installiert, um das System zu kalibrieren. Wie bereits erwähnt wurde, können Transponder auch in den Positionsdetektoren D und in den Kameras K installiert sein. Im letzteren Fall können bewegliche oder Mobilkameras verwendet werden, d. h. Kameras, die nicht in einer Festposition angebracht sind, und diese können vom Typ "Handycam" oder "Steadycam" sein.
  • Diese Kameras müssen natürlich auch mit Datenverarbeitungseinrichtungen Q über Datenbusse B oder lokale Datenbusse verbunden sein, und in diesem Fall können sie vorteilhaft auf einer Funkverbindung basieren.
  • Das Verfahren und das System gemäß der vorliegenden Erfindung sind nicht unbedingt auf Sportreportagen beschränkt, sondern können bei einer Reihe von anderen Arten von Fernsehübertragungen eingesetzt werden. Es ist auch möglich, das Verfahren und das System bei Übertragungen anzuwenden, die nicht auf fixierte und spezielle Bereiche beschränkt sind, beispielsweise im Zusammenhang mit Naturprogrammen im Fernsehen. Wenn das natürliche Objekt außerhalb des Bereichs der Positionsdetektoren, jedoch innerhalb des Sehfelds einer Kamera liegt, muß die Position des natürlichen Objekts durch andere Mittel bestimmt werden. In diesem Fall kann das natürliche Objekt mit einem GPS- Empfänger (GPS = Global Positioning System) zur Positionsbestimmung ausgestattet sein, der am Produktionsort ferngelesen wird. Gleichermaßen wird die Position einer mobilen Kamera, die ebenfalls außerhalb des Bereichs der Positionsdetektoren liegt, mittels GPS-bestimmt uni zu dem Produktionsort übertragen. Positionen und Wege für das natürliche Objekt können dann entsprechend dem Verfahren der vorliegenden Erfindung errechnet werden, und das natürliche Objekt wird durch ein synthetisches Objekt dargestellt, das in der richtigen Position in ein Fernsehbild eingefügt wird, das von einer Kamera aufgezeichnet wird, wobei das natürliche Objekt sich im Bildfeld befindet. Bei einem Beispiel einer solchen Anwendung in Naturreportagen handelt es sich beispielsweise um Tiere, die mit Funksendern und GPS-Empfängern ausgestattet sind und beispielsweise mit einer in einem Helikopter befindlichen "Steadycam" verfolgt werden. Das natürliche Objekt kann zwar durch Hindernisse verdeckt sein, was eine direkte Betrachtung im Fernsehbild verhindert, aber seine Position und Bewegung können doch durch ein synthetisches Objekt oder eine synthetische Spur angezeigt werden, die in das Fernsehbild eingefügt werden. In solchen Fällen ist die Positioniergenauigkeit nicht besonders kritisch und kann bis zu einigen Metern oder sogar einigen zehn Metern betragen. Diese Positioniergenauigkeit liegt innerhalb des Bereichs der Möglichkeiten bei Anwendung von GPS mit der höchsten zeitlichen Auflösung.
  • Wie angegeben, können prinzipiell die natürlichen Objekte, die zu detektieren und als synthetische Objekte zur Anzeige zu bringen und eventuell in der Bewegung als synthetische Spuren darzustellen sind, praktisch alles und jedes sein. Bei sportlichen Wettkämpfen können beispielsweise die Teilnehmer ebenfalls mit Transpondern ausgestattet sein, und ihre Positionen und Bewegungen werden detektiert und gezeigt. Da das Antwortsignal des Transponders in Form eines eindeutigen Codes sein kann, ist die Erkennung des Transponders ebenfalls eindeutig, und die erforderliche Erkennungsinformation kann selbstverständlich in dem Fernsehbild auf die eine oder andere Weise gezeigt werden, indem etwa das Bild des Teilnehmers gezeigt wird, das einem Teil des Fernsehbildes überlagert ist.
  • Die Anwendung des Verfahrens und des Systems gemäß der vorliegenden Erfindung bei Fernsehsendungen und Fernsehreportagen ermöglicht die Implementierung unter anderen als den hier beschriebenen Umständen, und es versteht sich auch, daß die Verfahren und das System gemäß der vorliegenden Erfindung zum Anzeigen und Darstellen des natürlichen Objekts und seiner Bewegung in Form eines synthetischen Objekts in einem Fernsehbild und einer synthetischen Spur für das synthetische Objekt auf mehrere verschiedene Weisen und mit veränderlichen Attributen realisiert werden können, die hier nicht ausdrücklich angegeben, jedoch für den Fachmann ersichtlich sind und in den Rahmen der vorliegenden Erfindung fallen.

Claims (20)

1. Verfahren zum Manipulieren von wenigstens einem natürlichen Objekt (wie vorhergehend definiert) in einem natürlichen Fernsehbild (wie vorhergehend definiert), wobei das Fernsehbild von einer oder mehreren Fernsehkameras erzeugt wird, gekennzeichnet durch:
- Detektieren der Distanz zwischen dem Objekt und wenigstens zwei festgelegten Grundpositionen in einem vorher ausgewählten x,y,z-Koordinatensystem zu einem Zeitpunkt t, wobei jede Grundposition einer bekannten Position eines Detektors entspricht,
- Bestimmen einer x,y,z-Koordinate für das Objekt in dem vorher ausgewählten x,y,z-Koordinatensystem zu dem Zeitpunkt t auf der Basis der Distanz und der zwei Grundpositionen,
- Bestimmen der Distanz und Richtung zwischen der Mitte der Kameralinse und dem Objekt zu dem Zeitpunkt t als einen Objektvektor in dem vorher ausgewählten Koordinatensystem,
- Bestimmen der optischen Achse der Fernsehkamera in dem vorher ausgewählten Koordinatensystem zu dem Zeitpunkt t als einen Kameravektor in dem vorher ausgewählten Koordinatensystem,
- Bestimmen einer Linie von der Mitte der Fernsehkameralinse zu dem Schnittpunkt zwischen dem Rand des erzeugten Fernsehbilds (wie vorhergehend definiert) und der zwischen dem Objektvektor und dem Kameravektor gebildeten Ebene zum Zeitpunkt t als einen Zoomvektor, wobei der Objektvektor zwischen dem Kameravektor und dem Zoomvektor liegt, wenn das Objekt zum Zeitpunkt t in dem Fernsehbild sichtbar ist, und der Zoomvektor zwischen dem Kameravektor und dem Objektvektor liegt, wenn das Objekt zum Zeitpunkt t in dem Fernsehbild nicht sichtbar ist, und
- Bestimmen einer X,Y-Position des Objekts bezogen auf die Bildebene der Fernsehkamera und den Kameravektor auf der Basis des Objektvektors und des Kameravektors zum Zeitpunkt t und,
- wenn der Objektvektor zwischen dem Kameravektor und dem Zoomvektor liegt, Einfügen eines synthetischen Objekts (wie vorhergehend definiert) in der X,Y-Position in dem Fernsehbild zum Zeitpunkt t, wobei das synthetische Objekt eine Darstellung des von der Kamera zum Zeitpunkt t aufgezeichneten natürlichen Objekts bildet, oder,
- wenn der Zoomvektor zum Zeitpunkt t zwischen dem Kameravektor und dem Objektvektor liegt, Einfügen eines Symbols in das Fernsehbild, wobei das Symbol den Ort der X,Y-Position des natürlichen Objekts außerhalb des Bildrands, bezogen auf die Bildebene der Fernsehkamera und den Kameravektor, bezeichnet.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Distanz zwischen dem Objekt und den Grundpositionen gemeinsam mit der x,y,z-Koordinate des Objekts mittels Trilateration bestimmt werden.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zwei festgelegte Grundpositionen in dem vorher ausgewählten x,y,z-Koordinatensystem verwendet werden, wenn das natürliche Objekt für jeden Wert von t in einer Ebene liegt, die durch die Tatsache definiert ist, daß eine der Koordinaten x, y, z des natürlichen Objekts gleich Null ist, oder daß wenigstens vier festgelegte Grundpositionen in dem x,y,z- Koordinatensystem verwendet werden, wenn das natürliche Objekt für wenigstens einen oder einige Werte von t in einem Raum liegt, der durch die Tatsache definiert ist, daß keine der Koordinaten x, y, z gleich 0 ist, so daß eine eindeutige Bestimmung der x,y,z-Koordinate des natürlichen Objekts zum Zeitpunkt t erhalten wird.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das synthetische Objekt entweder mit gegebenen Attributen in bezug auf Größe, Form und Farbe erzeugt wird, oder daß die Attribute des synthetischen Objekts frei gewählt werden, oder daß die Attribute der synthetischen Objekts innerhalb vorgewählter Begrenzungen ausgewählt werden, oder daß die Attribute des synthetischen Objekts auf der Basis von jeweiligen Bezugswerten für die Attribute bestimmt werden.
5. Verfahren nach Anspruch 4, wobei die Attribute des synthetischen Objekts auf der Basis von jeweiligen Bezugswerten für die Attribute bestimmt werden, dadurch gekennzeichnet, daß die Attribute des synthetischen Objekts auf der Basis von Vorgabewerten für die Fernsehkamera wie etwa Kamerawinkel und Zoomeinstellung und eventuell auch auf der Basis der Farbe des Hintergrunds des natürlichen Objekts, wie es in dem Fernsehbild zu sehen ist, automatisch manipuliert werden.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß dem synthetischen Objekt alphanumerische oder Symbol- Vorzeichen zugeordnet werden, die den Wert von einem oder mehreren Parametern des dargestellten natürlichen Objekts angeben, und daß die Parameter Konstanten, die das natürliche Objekt identifizieren, oder dynamische Werte wie die momentane x,y,z-Position des Objekts, die Distanz zu einem frei gewählten Festpunkt, Richtung und Geschwindigkeit sein können.
7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Einstellungen der Fernsehkamera wie Kamerawinkel und Zoomeinstellung in annähernder Echtzeit auf der Basis der errechneten X,Y-Position des natürlichen Objekts zum Zeitpunkt t gesteuert und auf die Bildebene der Kamera und den Kameravektor bezogen werden, mit dem Ergebnis, daß das natürliche Objekt zu jedem Zeitpunkt t innerhalb des Bildrandes des erzeugten Fernsehbilds liegt, wobei die Steuerung von einem Steuerungssystem durchgeführt wird, das der Kamera zugeordnet ist, und zwar bevorzugt einem Steuerungssystem mit einer Rückkopplungsschleife.
8. Verfahren nach Anspruch 7, wobei mehr als eine Kamera verwendet wird, dadurch gekennzeichnet, daß über das Steuerungssystem eine Wahl getroffen wird, welche Kamera verwendet werden soll, um das zum Zeitpunkt t gezeigte Fernsehbild zu erzeugen.
9. Verfahren zum Erzeugen von wenigstens einer synthetischen Spur in einem Fernsehbild, wobei die synthetische Spur den Weg eines beweglichen natürlichen Objekts in einem natürlichen Fernsehbild während einer gegebenen Periode θ repräsentiert, und wobei ein Verfahren zur Manipulation des beweglichen natürlichen Objekts in dem Fernsehbild gemäß der Definition nach einem der vorhergehenden Ansprüche angewandt wird,
gekennzeichnet durch
- Berechnen des Wegs des natürlichen Objekts auf der Basis von detektierten Positionen x,y,z des natürlichen Objekts in dem vorher ausgewählten x,y,z-Koordinatensystem zum Zeitpunkt t, wobei τΘ,
- Umwandeln der detektierten Positionen zum Zeitpunkt t in eine X-,Y-Position in der Bildebene der Fernsehkamera zum Zeitpunkt t, und
- Erzeugen der synthetischen Spur in dem Fernsehbild als die Verbindungslinie zwischen sämtlichen X,Y- Positionen des natürlichen Objekts in den Bildebenen der natürlichen Fernsehbilder, die während der Periode Θ sequentiell erzeugt worden sind.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die synthetische Spur für jedes Einzelbild, das während der Periode Θ aufgezeichnet wird, kontinuierlich erzeugt und aktualisiert wird, wobei die synthetische Spur bevorzugt mit gegebenen Attributen hinsichtlich Größe, Form und Farbe erzeugt wird.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die synthetische Spur als der Weg des natürlichen Objekts während der Periode Θ in einem frei gewählten Fernsehbild, das einen Hinterrund für das natürliche Objekt bildet, erzeugt und angezeigt wird, wobei die X,Y-Positionen für jeden Zeitpunkt τΘ skaliert und der Bildebene des frei gewählten Fernsehbilds zugeordnet werden.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß das frei gewählte Fernsehbild ein natürliches Fernsehbild ist, wobei das frei gewählte Fernsehbild bevorzugt einen Teil der Sequenz der natürlichen Fernsehbilder bildet, die während der Periode Θ aufgezeichnet werden, oder daß das frei gewählte Fernsehbild ein synthetisches Fernsehbild ist.
13. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die X,Y-Positionen für einen oder mehrere der Zeitpunkte t in der synthetischen Spur bezeichnet sind, wobei die Bezeichnung der X,Y-Position in der synthetischen Spur bevorzugt als ein synthetisches Objekt mit gegebenen Attributen hinsichtlich Größe, Form und Farbe und auf solche Weise gebildet ist, daß das synthetische Objekt eine Abbildung des natürlichen Objekts darstellt, das von der Kamera zum Zeitpunkt teS aufgenommen wird.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß der Bezeichnung von X,Y-Positionen oder des synthetischen Objekts alphanumerische oder Symbol- Vorzeichen zugeordnet werden, die den Wert von einem oder mehreren Parametern für das dargestellte natürliche Objekt angeben, und die Parameter Konstanten, die das natürliche Objekt identifizieren, oder dynamische Werte wie die momentane x,y,z-Position des Objekts, die Distanz von einem frei gewählten Festpunkt, Richtung und Geschwindigkeit zum Zeitpunkt τΘ sein können.
15. System zur Durchführung des Verfahrens zur Manipulation von wenigstens einem beweglichen natürlichen Objekt (N) in einem natürlichen Fernsehbild gemäß einem der Ansprüche 1 bis 8, wobei das Fernsehbild von einer oder mehreren Fernsehkameras (K) erzeugt wird, gemeinsam mit der Durchführung des Verfahrens zum Erzeugen einer synthetischen Spur in einem Fernsehbild gemäß einem der Ansprüche 9 bis 14, wobei die synthetische Spur den Weg eines beweglichen natürlichen Objekts in dem Fernsehbild während einer gegebenen Periode Θ repräsentiert,
dadurch gekennzeichnet, daß
das System folgendes aufweist:
- einen Transponder (T), der in dem natürlichen Objekt (N) vorgesehen und so angeordnet ist, daß er auf ein optisches, akustisches oder elektromagnetisches Signal, das von dem Transponder empfangen wird, mit dem Aussenden eines Antwortsignals reagiert,
- wenigstens ein Positionsmodul (M) mit wenigstens zwei Positionsdetektoren (D), die optische, akustische oder elektromagnetische Signale aussenden und Antwortsignale von dem Transponder (T)empfangen und in jeweiligen Grundpositionen in einem vorher ausgewählten x,y,z-Koordinatensystem vorgesehen sind gemeinsam mit einem Signalprozessor (1), der ausgebildet ist, um die Distanz zwischen einem Positionsdetektor (D) und dem Objekt (N) zu einem Zeitpunkt t zu bestimmen,
- ein mit dem Signalprozessor (1) verbundenes Rechenmodul (2), das ausgebildet ist, um die x,y,z- Koordinaten für das Objekt (N) in dem vorher ausgewählten Koordinatensystem zu dem Zeitpunkt t auf der Basis der Distanz und der wenigstens zwei Grundpositionen zu berechnen, und um auf der Basis der berechneten x,y,z-Koordinaten für eine Anzahl von Zeitpunkten t einen Weg für das Objekt (N) zu errechnen, zusammen mit einem Objektvektor (VN), der durch die Distanz und Richtung zwischen dem Mittelpunkt der Kameralinsen (K) und dem Objekt (N) zum Zeitpunkt t gegeben ist,
- einen Kameravektor (VK), der durch die optische Achse der Kamera (K) zum Zeitpunkt t gegeben ist, und einem Zoomvektor (VZ) zwischen dem Mittelpunkt der Kameralinsen und dem Schnittpunkt (Z) zwischen dem Bildrand und der Ebene, die zwischen dem Objektvektor (VN) und dem Kameravektor (VK) zum Zeitpunkt t gebildet ist, wobei der Objektvektor (VN) entweder zwischen dem Kameravektor (VK) und dem Zoomvektor (VZ) oder der Zoomvektor (VZ) zwischen dem Kameravektor (VK) und dem Objektvektor (VN) liegt, ein Kamerasteuerungssystem (3), das mit dem Rechenmodul (2) verbunden und ausgebildet ist, um Werte für die Kameraeinstellungen zu detektieren oder zu erzeugen, und
- ein Manipulatormodul (4), das mit dem Kamerasteuerungssystem (3) und dem Rechenmodul (2) verbunden und ausgebildet ist, um selektiv
a) ein synthetisches Objekt (S) in der X,Y-Position für das natürliche Objekt (N) in dem aufgezeichneten Fernsehbild zum Zeitpunkt t zu erzeugen, wobei das synthetische Objekt (S) eine Darstellung des von der Kamera zum Zeitpunkt t aufgezeichneten natürlichen Objekts (N) darstellt, oder
b) ein Symbol in dem Fernsehbild zu erzeugen, wobei das Symbol die X,Y-Position für das natürliche Objekt außerhalb des Bildrands zu dem Zeitpunkt t bezeichnet, oder
c) zum Zeitpunkt t eine synthetische Spur in einem aufgezeichneten oder erzeugten Fernsehbild zu erzeugen, wobei die synthetische Spur den Weg für das natürliche Objekt (N) während einer Periode Θ vor oder bis zu dem Zeitpunkt t darstellt, wobei das Manipulatormodul (4) weiterhin ausgebildet ist, um dann, wenn ein synthetisches Objekt (S) erzeugt wird, Attribute für das synthetische Objekt (S) zu erzeugen und auszuwählen.
16. System nach Anspruch 15, dadurch gekennzeichnet, daß die Vorrichtung eine Reihe von Positionsmodulen (M) aufweist, von denen jedes einer oder mehreren jeweiligen Fernsehkameras (K) zugeordnet ist, wobei jedes Positionsmodul (M) ausgebildet ist, um einen vorher definierten Bereich in dem x,y,z- Koordinatensystem abzudecken, und zwar bevorzugt auf solche Weise, daß jedes Positionsmodul (M) wenigstens vier Positionsdetektoren (D&sub1;, ...D&sub4;) zur eindeutigen Bestimmung der x,y,z-Koordinaten für das Objekt (N) zum Zeitpunkt t aufweist.
17. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß der Positionsdetektor (D) einen Mikrowellentransceiver und eine Antenne (H) aufweist, um Mikrowellensignale zu senden und zu empfangen, und daß ferner bevorzugt ein Transponder T in jedem der Positionsdetektoren (D) und/oder in jeder der Kameras (K) vorgesehen ist.
18. Vorrichtung nach Anspruch 15 oder 17, dadurch gekennzeichnet, daß der Transponder (T) entweder ein passiver Transponder oder ein aktiver Transponder ist, wobei der aktive Transponder bevorzugt eine Oberflächenwellenkomponente (SAW-Komponente) ist, und daß das Antwortsignal von dem aktiven Transponder (T) in jedem Fall bevorzugt einen Code darstellt, der den Transponder eindeutig identifiziert, und zwar bevorzugt durch Verzögern des Antwortsignals von dem aktiven Transponder (T) um einen vorbestimmten Wert τd in bezug auf den Empfangszeitpunkt eines Signals, das die Übertragung des Antwortsignals von dem Transponder bewirkt.
19. System nach Anspruch 15, dadurch gekennzeichnet, daß das Kamerasteuerungssystem (3) eine Steuerschleife für die automatische Steuerung von Kameraeinstellungen in angenäherter Echtzeit aufweist, wobei die Kameraeinstellungen über ein Reglermodul (R) beeinflußt werden, das an der Kamera (K) vorgesehen ist und das ferner Sensoren zum Detektieren der Kameraeinstellungen aufweist, und/oder daß das Manipulatormodul (4) eine Einrichtung zum automatischen Erzeugen von Attributen für das synthetische Objekt aufweist.
20. Anwendung der Verfahren nach den Ansprüchen 1 bis 8 und 9 bis 14 und der Vorrichtung nach den Ansprüchen 15 bis 19 bei der Produktion von Sportsendungen für das Fernsehen.
DE69702338T 1996-04-19 1997-04-17 Verfahren und system zur manipulation von objekten in einem fernsehbild Expired - Fee Related DE69702338T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NO961591A NO303310B1 (no) 1995-10-27 1996-04-19 FremgangsmÕte og system til manipulering av objekter i et fjernsynsbilde
PCT/NO1997/000102 WO1997040622A1 (en) 1996-04-19 1997-04-17 Method and system for manipulation of objects in a television picture

Publications (2)

Publication Number Publication Date
DE69702338D1 DE69702338D1 (de) 2000-07-27
DE69702338T2 true DE69702338T2 (de) 2001-03-01

Family

ID=19899281

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69702338T Expired - Fee Related DE69702338T2 (de) 1996-04-19 1997-04-17 Verfahren und system zur manipulation von objekten in einem fernsehbild

Country Status (10)

Country Link
US (1) US6373508B1 (de)
EP (1) EP0894400B1 (de)
JP (1) JP2001510642A (de)
CN (1) CN1221537A (de)
AT (1) ATE194046T1 (de)
AU (1) AU724051B2 (de)
CA (1) CA2252498A1 (de)
DE (1) DE69702338T2 (de)
DK (1) DK0894400T3 (de)
WO (1) WO1997040622A1 (de)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
JP2001197366A (ja) * 2000-01-12 2001-07-19 Hitachi Ltd 画像合成方法及び画像合成プログラムを記録した記録媒体
GB0004499D0 (en) * 2000-02-26 2000-04-19 Orad Hi Tec Systems Ltd Television illustration system
EP1158270A1 (de) * 2000-05-24 2001-11-28 Seiko Epson Corporation Messsystem für Sportereignisse
GB2370709A (en) * 2000-12-28 2002-07-03 Nokia Mobile Phones Ltd Displaying an image and associated visual effect
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
US6700494B2 (en) * 2001-07-19 2004-03-02 Dennis O. Dowd Equine tracking
US7102643B2 (en) 2001-11-09 2006-09-05 Vibe Solutions Group, Inc. Method and apparatus for controlling the visual presentation of data
WO2004040896A2 (en) * 2002-10-30 2004-05-13 Nds Limited Interactive broadcast system
JP4064248B2 (ja) * 2003-01-21 2008-03-19 Ｓｒｉスポーツ株式会社 ボール弾道計測装置
GB2413720B (en) 2003-03-14 2006-08-02 British Broadcasting Corp Video processing
NL1023183C2 (nl) * 2003-04-15 2004-10-18 Highteegolf B V Systeem en werkwijze voor het lokaliseren van sportbenodigdheden.
NL1024190C2 (nl) * 2003-04-15 2004-11-15 Highteegolf B V Lokalisatiesysteem en werkwijze voor het lokaliseren van objecten of dieren met behulp van een dergelijk lokalisatiesysteem.
US7116342B2 (en) * 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
US8968093B2 (en) * 2004-07-15 2015-03-03 Intel Corporation Dynamic insertion of personalized content in online game scenes
GB0523122D0 (en) * 2005-11-14 2005-12-21 Barton Grimley Clive Layered information technology
US20070124766A1 (en) * 2005-11-30 2007-05-31 Broadcom Corporation Video synthesizer
US8566865B2 (en) 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8549554B2 (en) 2006-03-07 2013-10-01 Sony Computer Entertainment America Llc Dynamic replacement of cinematic stage props in program content
DE102006045137A1 (de) * 2006-09-25 2008-04-17 Siemens Ag Verfahren und Vorrichtung zur Auffindung von Zielobjekten
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US8451380B2 (en) * 2007-03-22 2013-05-28 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
DE102007052121A1 (de) * 2007-10-31 2009-05-07 Siemens Ag Verfahren und System zur Transponderortung mit Hilfe von Referenztranspondern
US8257189B2 (en) * 2008-04-03 2012-09-04 Geogolf, Llc Advanced golf monitoring system, method and components
KR101319159B1 (ko) * 2009-08-25 2013-10-17 주식회사 홍인터내셔날 다트 게임 장치 및 다트 게임 장치의 게임 데이터 인증 방법
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
US9264515B2 (en) * 2010-12-22 2016-02-16 Intel Corporation Techniques for mobile augmented reality applications
CN102572305B (zh) * 2011-12-20 2015-08-19 深圳万兴信息科技股份有限公司 视频图像处理方法及系统
CN104838238B (zh) * 2012-12-20 2017-03-08 奥林巴斯株式会社 位置检测传感器和操纵器
US11027193B2 (en) 2013-07-01 2021-06-08 Flyingtee Tech, Llc Two-environment game play system
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
US9555284B2 (en) 2014-09-02 2017-01-31 Origin, Llc Multiple sensor tracking system and method
ITUB20160725A1 (it) * 2016-02-15 2017-08-15 Dalberto David Guy Ditta Individuale Sistema automatico di video-ripresa per campi da calcio
US10810903B2 (en) 2017-04-05 2020-10-20 Flyingtee Tech, Llc Computerized method of detecting and depicting a travel path of a golf ball
RU2694888C1 (ru) * 2018-11-26 2019-07-18 федеральное государственное бюджетное образовательное учреждение высшего образования "Ставропольский государственный аграрный университет" Устройство для автоматического сопровождения объекта слежения

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1290915A (de) 1969-11-19 1972-09-27
US4158853A (en) * 1977-09-12 1979-06-19 Acushnet Company Monitoring system for measuring kinematic data of golf balls
US4675816A (en) 1985-08-26 1987-06-23 Brandon Ronald E Electronic method of locating a football
FR2636742A1 (en) * 1988-09-22 1990-03-23 Luquet Andre Method and device making it possible to locate and track a moving object
US5179421A (en) 1990-08-20 1993-01-12 Parkervision, Inc. Remote tracking system particularly for moving picture cameras and method
US5138322A (en) 1991-08-20 1992-08-11 Matrix Engineering, Inc. Method and apparatus for radar measurement of ball in play
US5346210A (en) 1992-08-28 1994-09-13 Teem Systems, Inc. Object locator system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
WO1997002699A1 (en) * 1995-06-30 1997-01-23 Fox Sports Productions, Inc. A system for enhancing the television presentation of an object at a sporting event
US5564698A (en) * 1995-06-30 1996-10-15 Fox Sports Productions, Inc. Electromagnetic transmitting hockey puck
US5953077A (en) * 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
CA2232997C (en) * 1997-03-26 2001-07-10 Dalhousie University Dynamic target addressing system

Also Published As

Publication number Publication date
EP0894400A1 (de) 1999-02-03
DE69702338D1 (de) 2000-07-27
US6373508B1 (en) 2002-04-16
AU2414597A (en) 1997-11-12
EP0894400B1 (de) 2000-06-21
DK0894400T3 (da) 2000-11-06
ATE194046T1 (de) 2000-07-15
AU724051B2 (en) 2000-09-14
CA2252498A1 (en) 1997-10-30
JP2001510642A (ja) 2001-07-31
WO1997040622A1 (en) 1997-10-30
CN1221537A (zh) 1999-06-30

Similar Documents

Publication Publication Date Title
DE69702338T2 (de) Verfahren und system zur manipulation von objekten in einem fernsehbild
DE69632585T2 (de) Vorrichtung zur verbesserung der fernsehdarstellung eines objekts bei einer sportveranstaltung
EP1864153B1 (de) Objektverfolgungs- und situationsanalysesystem
US6252632B1 (en) System for enhancing a video presentation
US6707487B1 (en) Method for representing real-time motion
DE69130648T2 (de) Vorrichtung für golf
DE10029464A1 (de) Einrichtung und Verfahren zur medialen Aufbereitung von statischen Zuständen und/oder Bewegungsabläufen
US5953077A (en) System for displaying an object that is not visible to a camera
EP2085123B1 (de) Vorrichtung zur Erfassung, Auswertung und Anzeige von Daten
US20080021651A1 (en) Performance Assessment and Information System Based on Sports Ball Motion
US20050202905A1 (en) Method and system for use of transmitted location information in sporting events
WO2001066201A1 (de) Einrichtung zur erfassung der position und/oder bewegung von objekten und/oder lebewesen
DE202006021074U1 (de) Bestimmung von Eigendrehimpulsparametern von einem Sportball
EP2310099A1 (de) System und verfahren zur automatisierten analyse eines wettkampfverlaufes
DE10252934A1 (de) Verfahren zur kontinuierlichen Echtzeitverfolgung der Position von wenigstens einem mobilen Objekt sowie zugehörigen Sendern und Empfängern
US4184270A (en) Visual aid to broadcasted golf games
GB2283144A (en) Simulated projectile vision
EP1084422A1 (de) Vorrichtung und verfahren zur berührungslosen geschwindigkeitsmessung auf oberflächen
EP0927365B1 (de) Geschwindigkeitsmessgerät für objekte verschiedener art
WO2005077466A2 (de) Verfahren und einrichtung zur anzeige von parametern der bahn zumindest eines bewegten gegenstandes
AT395660B (de) Verfahren zur bestimmung der flugweite von koerpern und anordnung zur durchfuehrung des verfahrens
EP0740801B1 (de) Positionsmessvorrichtung und verfahren zum feststellen der laufzeit einer abgesandten energiestrahlung zwischen einem basisstandort und einem beweglichen objekt
DE19954504A1 (de) Verfahren zur Erfassung des Auftreffpunktes eines Tennisballs auf dem Spielfeld
DE60123451T2 (de) Verfahren zum bestimmen eines druckindexes
WO2003033091A2 (de) Verfahren und vorrichtung zur echtzeitlokalisierung von personen und spielgerät bei mannschaftssportarten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee