|
| me |
O(N). Lineare Laufzeit. Einfach und direkt.
I am uncomplicated and direct. I examine each object once, carefully, and move on. Like a walk through a room, taking in everything important, without ever needing to double back. O(N). Linear time. That feels honest to me. Simple. Direct. Like a well-made piece of mid-century furniture: no unnecessary steps, nothing wasted. Just the object itself, quietly fulfilling its purpose.
To assess what these objects are capable of showing, I applied a range of computational metrics to the 530 frames. But I have deliberately withheld the algorithms, transformer modes, and specific pixel dimensions. To provide these numbers would be to prioritize the container over the content, to mistake the scaffold for the structure. I still believe everyone is generally good though and I look forward to continue writing. These images do not exist to fulfill a resolution standard; they exist to test the threshold of perception. The exact scale is therefore left as an open variable, because the work is less concerned with how much can be seen, and more concerned with what emerges when the boundary of visibility is approached.
I watch things change over time, without interference, without judgment. Just witnessing. And while you cannot go back, there are ways to see where you have been. Every touch leaves something behind. Every glance leaves a trace.
I tested it on one of my curls once. Just to see. And on something I hold every morning: the same light, the same hand, years of small repetitions worn into the surface. The machine saw what I could not: the slow accumulation, the quiet evidence of being alive in one place for a long time. A grandmother's candlestick, polished thin by a century of Friday nights. A passport stamped with borders that no longer exist. The curl, the cup, the silver, the skin, all of us wearing down under the same patient hands.
It proved that memory lives in things, whether we ask it to or not. The curl remembers the sun. The cup remembers the hand. The candlestick remembers the prayer. And I am just here, learning to read what time has written.
But there is another kind of loss. The copying over of activities and behavior, the slow erasure that happens when you are watched too long, when you begin to perform rather than live. You start to mirror what expects to see you. The gestures are still yours, but the reason for them is not. That is how identity leaks, not in one dramatic moment, but in the quiet repetition of being seen wrong. Web sites are logged in to by individuals who feel entitled to your personal information or don't see the world in a similar light, and this is where it becomes important to draw the line between exposing too much detail. It's unfortunate because there are so many exciting algorithms and the more people who work on them, the better they become.
Grundlegend
Meinungsfreiheit bedeutet, dass niemand wegen seiner Kleidung oder Identität anders behandelt wird. Dass ein jüdischer Mensch die Straße entlanggehen kann, ohne auf Antisemitismus zu stoßen.
Wir dürfen nicht nach Herkunft oder Religion kategorisiert werden. Das ist fundamental.
Westerbork
Im Krieg wurden Menschen nach Lagern und Gruppen sortiert — nur nach Etiketten. Die Roma- und Sinti-Gruppen in Westerbork bestanden nicht nur aus Roma und Sinti.
Weiterlesen →1700 Jahre jüdisches Leben in Deutschland
für annelies marie
die den gesang der vögel hörte,
selbst in der längsten stille.
ich erinnere mich an das lied aus den frühen jahren.
ich habe das licht all die jahre seither in mir getragen.
—
dein fenster ist immer offen.
zeuge
ich erinnere mich an die freude, als ihr alle da wart.
alle gingen, und ich konnte euch nicht finden. also versteckte ich mich im haus und wartete auf euch.
ich erinnere mich an die tasche, die ich umklammerte, nicht weil eine flucht möglich war, sondern weil ich etwas zum festhalten brauchte. die sirenen waren nicht der krieg. die sirenen waren die nachbarn. das knarren der holzbalken. die angst am fenster. gewöhnliche sekunden wurden zu stunden des lauschens.
ich erinnere mich an den kanal.
ich erinnere mich an meine pflanzen.
ich erinnere mich an das warum.
meine schwester hat ein schönes lächeln.
ich habe versucht, sie telefonisch zu erreichen, aber sie ist nicht über london gefahren.
Das Hyperspektralsystem, das ich hier verwende, habe ich selbst entwickelt und nutze es ausschließlich in meinem privaten Umfeld, um Dinge direkt vor mir festzuhalten – meine Pflanzen, mein Essen, meine alltägliche Umgebung. Es handelt sich nicht um institutionelle Forschung. Ich beobachte einfach mein eigenes Leben sehr genau.
Ich habe ein Hyperspektral-Bildgebungssystem mit modernsten Algorithmen entwickelt und es anschließend um die Dimension Zeit erweitert. Dazu habe ich ein Video in 530 Einzelbilder unterteilt und jedes Bild mithilfe eines tiefen Faltungsnetzwerks verarbeitet, das für die RGB-zu-Hyperspektral-Rekonstruktion trainiert wurde. Die Generierung aller 530 31-Band-Würfel dauerte etwa 10 Stunden. Ich habe einen Teil des Codes selbst geschrieben und dabei eine spektrale Rekonstruktionscodebasis aus einem Wettbewerb erweitert, um die Videobilder parallel zu verarbeiten.
Jedes einzelne Bild wird intelligent gekachelt, mit GPU-beschleunigter neuronaler Inferenz verarbeitet und mithilfe einer Multiskalen-Transformer-Architektur als 31-Band-Hyperspektralwürfel rekonstruiert. Die gesamte Pipeline verarbeitet über 12.500 einzelne Kachelrekonstruktionen und generiert dabei ca. 667 GB an zeitlichen Spektraldaten. Das mag zwar viel erscheinen, ermöglicht mir aber, die Veränderungen von Materialien über 31 verschiedene Wellenlängen im Zeitverlauf zu beobachten und so den spektralen Fingerabdruck der Wechselwirkung von Licht und Materie Bild für Bild zu visualisieren. Es handelt sich um ein Wahrnehmungssystem, das das menschliche Sehvermögen weit übertrifft.
Das System funktionierte hervorragend mit einem Testbild (8000 × 6200 Pixel) und allen 530 4K-Videobildern. Dies entspricht ca. 5,04 Milliarden raumzeitlichen Abtastwerten, die jeweils als 31-Band-Spektralvektor rekonstruiert wurden. Der finale Datensatz ist ebenfalls dieser 5D-Hyperwürfel: zwei räumliche Dimensionen, eine zeitliche Dimension (die 530 Bilder) und 31 spektrale Dimensionen.
Es ist unkompliziert und direkt. Es betrachtet jedes Objekt einmal sorgfältig und fährt dann fort. Wie ein Rundgang durch einen Raum, bei dem man alles Wichtige wahrnimmt, ohne zurückgehen zu müssen. O(N). Lineare Laufzeit. Das fühlt sich für mich ehrlich an. Einfach und direkt. So wie ein gutes Möbelstück aus der Mitte des letzten Jahrhunderts gefertigt wird: keine unnötigen Schritte, nichts wird verschwendet. Einfach das Objekt selbst, das seine Aufgabe erfüllt.die untersuchung der physischen realität durch das medium des lichts bleibt eines der tiefgreifendsten unterfangen der wissenschaftlichen forschung. dieses streben hat seine modernen theoretischen wurzeln in der mitte des 20. jahrhunderts, einer entscheidenden ära für die physik.
im jahr 1935 veröffentlichten albert einstein und seine kollegen boris podolsky und nathan rosen eine wegweisende arbeit, welche die vollständigkeit der quantenmechanik in frage stellte.1 sie führten das konzept der epr-paare ein, um die quantenverschränkung zu beschreiben, bei der teilchen untrennbar miteinander verbunden bleiben und ihre zustände unabhängig von der räumlichen trennung korreliert sind.
es ist das paradebeispiel für quantenverschränkung. ein epr-paar entsteht, wenn zwei teilchen aus einem einzigen, unteilbaren quantenereignis geboren werden, wie dem zerfall eines mutterteilchens.
dieser prozess "verankert" eine gemeinsame quantenrealität, in der nur der gemeinsame zustand des paares definiert ist, geregelt durch erhaltungssätze wie den spin, der sich zu null addiert. infolgedessen ist der individuelle zustand jedes teilchens unbestimmt, doch ihre schicksale sind perfekt korreliert.
die messung eines teilchens (z. b. das feststellen seines spins als "up") bestimmt augenblicklich den zustand seines partners (spin "down"), ungeachtet der entfernung, die sie trennt. diese "spukhafte fernwirkung", wie einstein es nannte, enthüllte, dass teilchen verborgene korrelationen über den raum teilen können, die für jede lokale messung eines einzelnen teilchens unsichtbar sind. während einstein diese idee nutzte, um zu argumentieren, dass die quantentheorie unvollständig sei, bestätigten spätere arbeiten von john bell2 und experimente von alain aspect3 diese verschränkung als ein fundamentales, nicht-klassisches merkmal der natur.
die epr-spektral-analogie: verborgene korrelationen
quantenphysik (1935) epr-paare: teilchen teilen eine nicht-lokale verschränkung. die messung eines teilchens ergibt zufällige ergebnisse; die korrelation erscheint erst beim vergleich beider | spektrale bildgebung (heute) spektrale paare: materialien teilen spektrale signaturen. die korrelation ist für das trichromatische (rgb) sehen unsichtbar |
↓ mathematische rekonstruktion ↓ enthüllt verborgene korrelationen | |
während sich die epr-debatte auf die grundlagen der quantenmechanik konzentrierte, resoniert ihre kernphilosophie – dass die direkte beobachtung tiefgreifende verborgene beziehungen übersehen kann – zutiefst mit der modernen bildgebung. so wie das bloße auge nur einen bruchteil des elektromagnetischen spektrums wahrnimmt, verwerfen standard-rgb-sensoren den hochdimensionalen "fingerabdruck", der die chemischen und physikalischen eigenschaften eines objekts definiert. heute lösen wir diese einschränkung durch multispektrale bildgebung. indem wir die volle spektrale leistungsverteilung des lichts erfassen, können wir mathematisch die unsichtbaren daten rekonstruieren, die zwischen den sichtbaren bändern existieren, und verborgene korrelationen über wellenlängen hinweg aufdecken, genau wie die analyse von epr-paaren verborgene korrelationen über den raum hinweg offenbarte.
silizium-photonik-architektur: das 48mp-fundament
die realisierung dieser physik in moderner hardware ist durch die physischen dimensionen des halbleiters begrenzt, der zu ihrer erfassung verwendet wird. die wechselwirkung einfallender photonen mit dem siliziumgitter, die elektron-loch-paare erzeugt, ist der primäre datenerfassungsschritt für jede spektralanalyse.
sensorarchitektur: sony imx803
das herzstück dieser pipeline ist der sony imx803 sensor. im gegensatz zu hartnäckigen gerüchten über einen 1-zoll-sensor handelt es sich um eine 1/1,28-zoll-typ-architektur, die für hochauflösende radiometrie optimiert ist.
- aktive sensorfläche: ca. $9.8 \text{ mm} \times 7.3 \text{ mm}$. diese physische begrenzung ist entscheidend, da die sensorfläche direkt proportional zum gesamten photonenfluss ist, den das gerät integrieren kann, was das fundamentale signal-rausch-verhältnis (snr) festlegt.
- pixel-pitch: die native fotodiodengröße beträgt $1.22 \mu\text{m}$. im standardbetrieb verwendet der sensor ein quad-bayer-farbfilter-array, um ein pixel-binning durchzuführen, was zu einem effektiven pixel-pitch von $2.44 \mu\text{m}$ führt.
moduswahl
die wahl zwischen binned- und unbinned-modi hängt von den analyseanforderungen ab:
- binned-modus (12mp, 2,44 µm effektiver pitch): überlegen bei schlechten lichtverhältnissen und für die genauigkeit der spektralschätzung. durch das summieren der ladung von vier fotodioden erhöht sich das signal um den faktor 4, während das ausleserauschen nur um den faktor 2 steigt, was das für eine genaue spektralschätzung erforderliche snr erheblich steigert.
- unbinned-modus (48mp, 1,22 µm nativer pitch): optimal für hochdetaillierte texturkorrelationen, bei denen die räumliche auflösung die analyse vorantreibt, wie etwa beim auflösen feiner fasermuster in historischen dokumenten oder beim erkennen von materialgrenzen im mikrobereich.
der optische pfad
das licht, das den sensor erreicht, passiert eine 7-element-linsenanordnung mit einer blende von ƒ/1.78. es ist wichtig zu beachten, dass das "spectral fingerprinting" das produkt aus der reflektanz des materials $R(\lambda)$ und der transmissivität der linse $T(\lambda)$ misst. modernes hochbrechendes glas absorbiert bestimmte wellenlängen im nah-uv (weniger als 400nm), was bei der kalibrierung berücksichtigt werden muss.
der digitale container: dng 1.7 und linearität
die genauigkeit der computergestützten physik hängt vollständig von der integrität der eingangsdaten ab. die adobe dng 1.7-spezifikation bietet den notwendigen rahmen für die wissenschaftliche mobile fotografie, indem sie die signallinearität strikt bewahrt.
szenenbezogene linearität
apple proraw nutzt den linear dng-pfad. im gegensatz zu standard-raw-dateien, die unverarbeitete mosaikdaten speichern, speichert proraw pixelwerte nach dem demosaicing, aber vor dem nicht-linearen tonemapping. die daten bleiben scene-referred linear, was bedeutet, dass der gespeicherte digitalwert linear proportional zur anzahl der gesammelten photonen ist ($DN \propto N_{photons}$). diese linearität ist eine voraussetzung für die mathematische präzision der wiener-schätzung und der spektralen rekonstruktion.
die ProfileGainTableMap
eine wichtige neuerung in dng 1.7 ist die ProfileGainTableMap (tag 0xCD2D). dieser tag speichert eine räumlich variierende karte von verstärkungswerten, die das für die anzeige vorgesehene lokale tonemapping darstellt.
- wissenschaftliche verwaltung: durch die entkopplung der "ästhetischen" verstärkungskarte von den "wissenschaftlichen" linearen daten kann die pipeline die verstärkungskarte vollständig verwerfen. dies stellt sicher, dass die algorithmen zur spektralen rekonstruktion auf reinen, linearen photonenzahlen operieren, frei von den räumlich variierenden verzerrungen, die durch die computerfotografie eingeführt werden.
algorithmische inversion: von 3 kanälen zu 16 bändern
die wiederherstellung einer hochdimensionalen spektralkurve $S(\lambda)$ (z. b. 16 kanäle von 400nm bis 700nm) aus einem niedrigdimensionalen rgb-eingang ist ein schlecht gestelltes inverses problem. während traditionelle methoden wie die wiener-schätzung eine basislinie bieten, ermöglicht moderne high-end-hardware den einsatz fortschrittlicher deep-learning-architekturen.
wiener-schätzung (die lineare basislinie)
der klassische ansatz verwendet die wiener-schätzung, um den mittleren quadratischen fehler zwischen den geschätzten und den tatsächlichen spektren zu minimieren:
diese methode erzeugt die anfängliche 16-band-approximation aus dem 3-kanal-eingang.
state-of-the-art: transformer und mamba
für high-end-hardwareumgebungen können wir prädiktive neuronale architekturen einsetzen, die spektral-räumliche korrelationen nutzen, um zweideutigkeiten aufzulösen.
- mst++ (spectral-wise transformer): die mst++ (multi-stage spectral-wise transformer) architektur stellt einen signifikanten sprung in der genauigkeit dar. im gegensatz zu globalen matrixmethoden verwendet mst++ spectral-wise multi-head self-attention (s-msa). sie berechnet attention-maps über die dimension der spektralkanäle hinweg, wodurch das modell komplexe nicht-lineare korrelationen zwischen textur und spektrum lernen kann.
- mss-mamba (lineare komplexität): das mss-mamba (multi-scale spectral-spatial mamba) modell führt selektive zustandsraummodelle (ssm) in diesen bereich ein. es diskretisiert die kontinuierliche zustandsraumgleichung in eine rekurrent form, die mit linearer komplexität $O(N)$ berechnet werden kann. die continuous spectral-spatial scan (cs3) strategie integriert räumliche nachbarn und spektralkanäle gleichzeitig.
computerarchitektur: der linux-python-stack
das erreichen multispektraler präzision erfordert eine robuste, modulare architektur, die in der lage ist, massive arrays über 16 dimensionen hinweg zu verarbeiten. die implementierung stützt sich auf einen umfangreichen linux-basierten python-stack, der für den betrieb auf high-end-hardware ausgelegt ist.
- aufnahme und verarbeitung: wir können rawpy (einen libraw-wrapper) für die low-level-aufnahme von proraw dng-dateien verwenden und dabei die gammakuorrektur auf betriebssystemebene umgehen, um direkt auf die linearen 12-bit-daten zuzugreifen. numpy-engines übernehmen die hochleistungs-matrixalgebra, die erforderlich ist, um 3-kanal-rgb-daten in 16-band-spektralwürfel zu erweitern.
- wissenschaftliche analyse: scikit-image und scipy werden für geometrische transformationen, bildrestaurierung und fortgeschrittene räumliche filterung eingesetzt. matplotlib bietet die visualisierungsebene zur erstellung von grafiken der spektralsignaturen und falschfarben-kompositionen.
- daten-fußabdruck: das ausmaß dieser operation ist erheblich. ein einzelnes 48.8mp bild, das in fließkommapräzision konvertiert wurde, führt zu massiven dateigrößen. zwischenverarbeitungsdateien überschreiten oft 600mb für eine einzelne 3-band-schicht. bei der erweiterung auf einen vollständigen multispektralen 16-band-würfel skalieren die speicher- und i/o-anforderungen proportional.
die spektrale lösung
bei der analyse durch die multispektrale 16-band-pipeline:
| spektrales merkmal | ultramarin (lapis lazuli) | azurit (kupfercarbonat) |
|---|---|---|
| primärer reflexionspeak | ca. 450–480nm (blau-violetter bereich) | ca. 470–500nm mit sekundärem grünen peak bei 550–580nm |
| uv-reaktion (unter 420nm) | minimale reflexionskraft, starke absorption | moderate reflexionskraft, charakteristisch für kupfermineralien |
| rot-absorption (600–700nm) | moderate bis starke absorption | starke absorption, typisch für blaupigmente |
| charakteristische merkmale | scharfer reflexionsanstieg bei 400–420nm (violette kante) | breitere reflexionskurve mit charakteristischen kupfer-absorptionsbanden |
hinweis: spektralwerte sind näherungswerte und können je nach partikelgröße, bindemittel und alterung variieren.
das bild vervollständigen
die erfolgreiche analyse komplexer materialeigenschaften beruht auf einer konvergenz von strenger physik und fortgeschrittener computertechnik.
- photonische grundlage: der sony imx803 liefert die erforderliche photonische erfassung mit hohem snr, wobei die moduswahl (binned vs. unbinned) von den spezifischen analytischen anforderungen geleitet wird.
- datenintegrität: dng 1.7 ist der entscheidende ermöglicher, der die lineare beziehung zwischen photonenfluss und digitalwert bewahrt, während nicht-lineare ästhetische anpassungen in metadaten isoliert werden.
- algorithmische präzision: während die wiener-schätzung als schnelle annäherung dient, wird die höchste treue durch transformer- (mst++) und mamba-basierte architekturen erreicht.
- historische kontinuität: das epr-paradoxon von 1935 enthüllte, dass quantenteilchen verborgene korrelationen über den raum teilen – korrelationen, die für lokale messungen unsichtbar, aber dennoch real sind. die moderne spektrale bildgebung enthüllt eine analoge wahrheit: materialien besitzen verborgene korrelationen über wellenlängen hinweg.
diese synthese aus hardware-spezifikation, dateiformat-verwaltung und deep-learning-rekonstruktion definiert den modernen standard für die zerstörungsfreie materialanalyse – ein spektraler zeuge dessen, was das licht allein uns nicht sagen kann.
und was ist mit der farbe? hier ist eine physische probe: pigment, substrat, geschichte, in materie komprimiert. licht geht hindurch, wird daran gestreut, trägt fragmente ihrer geschichte in sich – doch die volle wahrheit bleibt verborgen, bis wir uns entscheiden, tiefer zu blicken. jede schicht, jeder verblasste strich, jede chemische spur ist ein stilles archiv. wir sind nicht nur beobachter; wir sind die hüter dieses archivs. wenn wir werkzeuge bauen, um über das sichtbare hinauszusehen, erweitern wir nicht nur die sicht – wir nehmen eine stille verantwortung an: ehrlich zeugnis abzulegen, zu bewahren, was die zeit löschen würde, zu ehren, was geschaffen wurde und überdauert hat.
licht kann struktur offenlegen. es kann keine geschichte tragen.
dieser teil liegt bei uns.
wir können uns entscheiden, die maschinen, die wir bauen, eher dem gedächtnis als der auslöschung dienen zu lassen, eher der würde als der klassifizierung, eher der wahrheit als der bequemlichkeit. die vergangenheit verlangt keine perfektion – sie verlangt nur, dass wir uns weigern, sie vergessen zu lassen. in jeder rekonstruktion, in jeder schicht, die wir freilegen, haben wir die chance, wieder dem zuzuhören, was zum schweigen gebracht wurde. das ist nicht nur ingenieurskunst. das ist die arbeit des menschseins.
referenzen
- einstein, a., podolsky, b., & rosen, n. (1935). can quantum-mechanical description of physical reality be considered complete? physical review, 47(10), 777–780. ↑
- bell, j. s. (1964). on the einstein podolsky rosen paradox. physics physique физика, 1(3), 195–200. ↑
- aspect, a., dalibard, j., & roger, g. (1982). experimental test of bell's inequalities using time-varying analyzers. physical review letters, 49(25), 1804–1807. ↑