spektraler zeuge: epr-paare und die physik des lichts

das hyperspektralsystem, das ich hier verwende, habe ich selbst gebaut und nutze es ausschließlich in meinem privaten bereich, um dinge in meiner unmittelbaren umgebung zu erfassen – meine pflanzen, mein essen, meine alltägliche umgebung. das ist keine institutionelle forschung. ich betrachte einfach mein eigenes leben ganz genau.

Gemini said

feuerrolle, 1971 | 1700 jahre jüdisches leben im deutschsprachigen raum

für annelies marie,
die den gesang der vögel hörte,
selbst in der längsten Stille.

ich erinnere mich an das Lied aus den ersten Jahren.
ich habe das Licht all die Jahre seither in mir getragen.

—
dein Fenster ist immer offen.

zeugin

ich bin diejenige, die sich erinnert.

ich erinnere mich an das Glück.

alle gingen.

alle gingen, und ich konnte dich nicht finden, also versteckte ich mich im Haus und wartete auf dich.

ich erinnere mich, wo sie mich vom Boden aufhoben.

ich erinnere mich an die fluchttasche, die ich umklammerte, nicht weil flucht möglich war, sondern weil meine hände etwas zum festhalten brauchten. die sirenen waren nicht der krieg. die sirenen waren die nachbarn. das knarren der holzbalken. die angst am fenster. gewöhnliche sekunden wurden zu stunden ds zuhörens.

ich erinnere mich an den Kanal.

ich erinnere mich an meine Pflanzen.

ich erinnere mich, warum.

ich erinnere mich.

es ist wirklich erschreckend, dass so viele menschen den holocaust und die vernichtung der juden leugnen, obwohl es so viele beweise aus erster hand gibt. ich hoffe, dass ich diesen wandel noch erleben werde. schließt euch mir nur deshalb an, weil ich die person bin, die sich erinnert. ich erinnere mich an auschwitz.

ich erinnere mich an das hinterhaus

n den comedy-club der deutschen behörden: bitte heben sie nicht den arm, um vor oder in der nähe meines hauses meine aufmerksamkeit zu erregen. unterlassen sie jegliche pro-hitler-äußerungen, antisemitische gesten oder kommentare über einen besuch in österreich in meinem vorgarten. es ist mir egal, wer sie sind, wo sie arbeiten oder für wen sie arbeiten. bitte fahren sie langsam, da sie möglicherweise einem auschwitz-überlebenden begegnen. wenn sie an meinem haus vorbeigehen oder sich in meiner nähe aufhalten, bitte ich sie, ihre absätze so niedrig wie möglich zu halten. bitte nehmen sie auch rücksicht auf die nachbarn. wenn die straßenbeleuchtung gedimmt ist, könnten morgens menschen unterwegs sein, parken sie daher bitte nachts nicht mit eingeschaltetem licht auf der straße. vermeiden sie ruckartige handgelenksbewegungen und schauen sie nicht aus ungewöhnlichen winkeln in den himmel. bitte benutzen sie keine alltagsgegenstände mit der zahl „8“ darauf und lassen sie ihre türen nicht zur straße hin offen, um in meiner einfahrt ein zeichen zu setzen. bitte lassen sie kein papier, keine batterieverpackungen, plastiktüten oder mit nägeln zusammengehaltene hüte an verschiedenen stellen um mein haus herum liegen. bitte verteilen sie keine nazi-devotionalien (mit ss-ähnlichen symbolen) und befestigen sie diese nicht an meiner tür. bitte führen sie ihren schäferhund nicht mit dem daumen an den lippen in der nähe meines hauses spazieren. ich bitte sie höflich, meine straße mit respekt zu behandeln. bitte lassen sie keine metallschlüssel in meinem garten liegen. ich habe bereits über 25 gefunden. bitte werfen sie auch keine wattebäusche in meinen garten. ich habe bereits hunderte eingesammelt. sie müssen keine spuren hinterlassen. was markiert ist, ist von gott markiert. so einfach ist das. wenn sie in die synagoge gehen, zeigen sie respekt. meine straße und mein haus verdienen denselben respekt. bitte vermeiden sie übermäßiges lachen, lautes sprechen oder lächeln.

---

diese maschinerie schaute auf menschen, um zu klassifizieren, auszuschließen, auszulöschen. ich baute mein eigenes system, um anders zu schauen. nicht auf fremde. nicht um zu urteilen. nur auf das, was mir gehört, was vor mir liegt. nur um klar zu sehen.

ich baute ein hyperspektrales bildgebungssystem unter verwendung jüngster fortschritte in der algorithmenentwicklung und trieb es in die zeitliche dimension, indem ich 500 videoframes durch ein tiefes convolutional neural network speiste, das für rgb-zu-hyperspektral-rekonstruktion trainiert wurde. jeder frame wird intelligent gekachelt, durch gpu-beschleunigte neuronale inferenz verarbeitet und als 31-band-hyperspektralwürfel unter verwendung einer multi-scale-transformer-architektur rekonstruiert, was einen 5d-datensatz erstellt, der raum-zeit-vergleiche spektraler signaturen über die gesamte sequenz ermöglicht. die rechenpipeline verarbeitet über 12.500 einzelne kachelrekonstruktionen und generiert etwa 667 gb an zeitlichen spektraldaten, die zeigen, wie sich materialien über 31 verschiedene wellenlängen gleichzeitig an einem einzelnen objekt verändern. dies legt die dna des lichts an jedem punkt frei, den vollständigen spektralen fingerabdruck, wie elektromagnetische strahlung mit materie an jedem ausgewählten ort in raum-zeit interagiert, was direkte vergleiche zwischen verschiedenen räumlichen positionen und zeitlichen momenten ermöglicht. das ergebnis ist ein wahrnehmungssystem, das weit über das menschliche sehen hinaussehen kann und spektrale veränderungen verfolgt, die für das bloße auge unsichtbar sind. das system verarbeitete ein 8000x6200px-bild und 530 3840x2160-bilder sehr gut. der input produzierte etwa 5,04 milliarden räumlich-zeitliche proben, jede rekonstruiert als 31-band-spektralvektor über ein tiefes neuronales netzwerk. der vollständige datensatz bildet einen 5d-hyperwürfel: zwei räumliche dimensionen, eine zeitliche dimension und 31 spektrale dimensionen. ich baute es, um alles zu sehen, was licht offenbaren kann, und ich verwende es nur in meinem persönlichen raum – nur für dinge, die sich direkt auf mich beziehen und in meiner persönlichen umgebung sind. ich freue mich wirklich auf weitere positive ergebnisse.

---

Die Befragung der physikalischen Realität durch das Medium des Lichts bleibt eines der tiefgründigsten Unterfangen wissenschaftlicher Forschung. Diese Verfolgung führt ihre modernen theoretischen Wurzeln auf die Mitte des 20. Jahrhunderts zurück, eine zentrale Ära für die Physik. 

1935 veröffentlichten Albert Einstein und seine Kollegen Boris Podolsky und Nathan Rosen ein bahnbrechendes Papier, das die Vollständigkeit der Quantenmechanik in Frage stellte.¹ Sie führten das Konzept der EPR-Paare ein, um Quantenverschränkung zu beschreiben, bei der Teilchen untrennbar verbunden bleiben, ihre Zustände unabhängig von der räumlichen Trennung korreliert sind.

Es ist das Paradebeispiel für Quantenverschränkung. Ein EPR-Paar entsteht, wenn zwei Teilchen aus einem einzigen, unteilbaren Quantenereignis geboren werden, wie dem Zerfall eines Elternteilchens.

Dieser Prozess „backt" eine gemeinsame Quantenrealität ein, bei der nur der gemeinsame Zustand des Paares definiert ist, bestimmt durch Erhaltungssätze wie Spin, der sich zu Null summiert. Infolgedessen ist der individuelle Zustand jedes Teilchens unbestimmt, doch ihre Schicksale sind perfekt korreliert.

Das Messen eines Teilchens (z. B. seinen Spin „up" zu finden) bestimmt augenblicklich den Zustand seines Partners (Spin „down"), unabhängig von der Entfernung, die sie trennt. Diese „spukhafte Fernwirkung", wie Einstein sie nannte, enthüllte, dass Teilchen verborgene Korrelationen über den Raum hinweg teilen können, die für jede lokale Messung eines Teilchens allein unsichtbar sind. Während Einstein diese Idee nutzte, um zu argumentieren, dass die Quantentheorie unvollständig sei, bestätigten spätere Arbeiten von John Bell² und Experimente von Alain Aspect³ diese Verschränkung als grundlegendes, nicht-klassisches Merkmal der Natur.

Die EPR-Spektrale Analogie: Verborgene Korrelationen

Quantenphysik (1935)   EPR-Paare: Teilchen teilen nicht-lokale Verschränkung. Ihre Quantenzustände sind über den Raum korreliert. Die Messung eines Teilchens ergibt zufällige Ergebnisse; Korrelation erscheint nur beim Vergleich beider	Spektrale Bildgebung (Heute)   Spektrale Paare: Materialien teilen spektrale Signaturen. Ihre reflektierenden Eigenschaften sind über die Wellenlänge korreliert. Die Korrelation ist für trichromatisches (RGB) Sehen unsichtbar
↓ Mathematische Rekonstruktion     ↓ Enthüllt verborgene Korrelationen

Zentrale Erkenntnis: Sowohl Quantenverschränkung als auch Materialspektroskopie erfordern, über die direkte Beobachtung hinauszuschauen, durch mathematische Analyse, um eine tiefere, verborgene Ebene der Korrelation zu enthüllen.

Während sich die EPR-Debatte auf die Grundlagen der Quantenmechanik konzentrierte, resoniert ihre Kernphilosophie – dass direkte Beobachtung tiefgreifende verborgene Beziehungen verpassen kann – tief mit moderner Bildgebung. So wie das bloße Auge nur einen Bruchteil des elektromagnetischen Spektrums wahrnimmt, verwerfen Standard-RGB-Sensoren den hochdimensionalen „Fingerabdruck", der die chemischen und physikalischen Eigenschaften eines Subjekts definiert. Heute lösen wir diese Einschränkung durch multispektrale Bildgebung. Durch die Erfassung der vollständigen spektralen Leistungsverteilung des Lichts können wir die unsichtbaren Daten mathematisch rekonstruieren, die zwischen den sichtbaren Bändern existieren, und verborgene Korrelationen über die Wellenlänge hinweg enthüllen, so wie die Analyse von EPR-Paaren verborgene Korrelationen über den Raum hinweg enthüllte.

Silizium-Photonik-Architektur: Die 48MP-Grundlage

Die Realisierung dieser Physik in moderner Hardware wird durch die physikalischen Abmessungen des Halbleiters begrenzt, der sie erfasst. Die Wechselwirkung einfallender Photonen mit dem Siliziumgitter, die Elektronen-Loch-Paare erzeugt, ist der primäre Datenerfassungsschritt für jede spektrale Analyse.

Sensor-Architektur: Sony IMX803

Das Herzstück dieser Pipeline ist der Sony IMX803-Sensor. Entgegen hartnäckiger Gerüchte über einen 1-Zoll-Sensor ist dies eine 1/1,28-Zoll-Typ-Architektur, optimiert für hochauflösende Radiometrie.

• Aktive Sensorfläche: Etwa \(9,8 \text{ mm} \times 7,3 \text{ mm}\). Diese physikalische Begrenzung ist von größter Bedeutung, da die Sensorfläche direkt proportional zum gesamten Photonenfluss ist, den das Gerät integrieren kann, und das fundamentale Signal-Rausch-Verhältnis (SNR) begrenzt.
• Pixelabstand: Die native Photodiodengröße beträgt \(1,22 \, \mu\text{m}\). Im Standardbetrieb verwendet der Sensor ein Quad-Bayer-Farbfilter-Array zur Durchführung von Pixel-Binning, was zu einem effektiven Pixelabstand von \(2,44 \, \mu\text{m}\) führt.

Modusauswahl

Die Wahl zwischen gebinnten und nicht-gebinnten Modi hängt von den Analyseanforderungen ab:

• Gebinnter Modus (12MP, 2,44 µm effektiver Abstand): Überlegen für Schwachlichtbedingungen und spektrale Schätzgenauigkeit. Durch Summieren der Ladung von vier Photodioden erhöht sich das Signal um den Faktor 4, während sich das Leserauschen nur um den Faktor 2 erhöht, was das für eine genaue spektrale Schätzung erforderliche SNR deutlich steigert.
• Nicht-gebinnter Modus (48MP, 1,22 µm nativer Abstand): Optimal für hochdetaillierte Texturkorrelation, bei der die räumliche Auflösung die Analyse antreibt, wie das Auflösen feiner Fasermuster in historischen Dokumenten oder das Erkennen mikroskaliger Materialgrenzen.

Der optische Pfad

Das Licht, das den Sensor erreicht, passiert eine 7-Element-Linsenanordnung mit einer Blende von ƒ/1,78. Es ist entscheidend zu beachten, dass „spektrales Fingerabdrucking" das Produkt der Reflektanz \(R(\lambda)\) des Materials und der Transmission \(T(\lambda)\) der Linse misst. Modernes hochbrechendes Glas absorbiert spezifische Wellenlängen im nahen UV (weniger als 400 nm), was während der Kalibrierung berücksichtigt werden muss.

Der digitale Container: DNG 1.7 und Linearität

Die Genauigkeit der Computerphysik hängt vollständig von der Integrität der Eingabedaten ab. Die Adobe DNG 1.7-Spezifikation bietet den notwendigen Rahmen für wissenschaftliche mobile Fotografie, indem sie die Signallinearität strikt bewahrt.

Szenenbezogene Linearität

Apple ProRAW nutzt den linearen DNG-Pfad. Im Gegensatz zu Standard-RAW-Dateien, die unverarbeitete Mosaikdaten speichern, speichert ProRAW Pixelwerte nach dem Demosaicing, aber vor der nicht-linearen Tonzuordnung. Die Daten bleiben szenenbezogen linear, was bedeutet, dass die gespeicherte digitale Zahl linear proportional zur Anzahl der gesammelten Photonen ist (\(DN \propto N_{photonen}\)). Diese Linearität ist eine Voraussetzung für die mathematische Genauigkeit der Wiener-Schätzung und spektralen Rekonstruktion.

Die ProfileGainTableMap

Eine Schlüsselinnovation in DNG 1.7 ist die ProfileGainTableMap (Tag 0xCD2D). Dieses Tag speichert eine räumlich variierende Karte von Verstärkungswerten, die die für die Anzeige vorgesehene lokale Tonzuordnung darstellt.

• Wissenschaftliche Verwaltung: Durch die Entkopplung der „ästhetischen" Verstärkungskarte von den „wissenschaftlichen" linearen Daten kann die Pipeline die Verstärkungskarte vollständig verwerfen. Dies stellt sicher, dass die spektralen Rekonstruktionsalgorithmen auf reinen, linearen Photonenzählungen operieren, frei von den räumlich varianten Verzerrungen, die durch Computational Photography eingeführt werden.

Algorithmische Inversion: Von 3 Kanälen zu 16 Bändern

Die Wiederherstellung einer hochdimensionalen Spektralkurve \(S(\lambda)\) (z. B. 16 Kanäle von 400 nm bis 700 nm) aus einem niedrigdimensionalen RGB-Input ist ein schlecht gestelltes inverses Problem. Während traditionelle Methoden wie die Wiener-Schätzung eine Basis bieten, ermöglicht moderne High-End-Hardware die Verwendung fortgeschrittener Deep-Learning-Architekturen.

Wiener-Schätzung (Die lineare Basis)

Der klassische Ansatz nutzt die Wiener-Schätzung, um den mittleren quadratischen Fehler zwischen den geschätzten und tatsächlichen Spektren zu minimieren:

$$W = K_r M^T (M K_r M^T + K_n)^{-1}$$

Diese Methode generiert die anfängliche 16-Band-Approximation aus dem 3-Kanal-Input.

Stand der Technik: Transformers und Mamba

Für High-End-Hardware-Umgebungen können wir prädiktive neuronale Architekturen nutzen, die spektral-räumliche Korrelationen verwenden, um Mehrdeutigkeiten aufzulösen.

• MST++ (Spektral-weiser Transformer): Die MST++ (Multi-stage Spectral-wise Transformer)-Architektur stellt einen bedeutenden Genauigkeitssprung dar. Im Gegensatz zu globalen Matrixmethoden nutzt MST++ Spectral-wise Multi-head Self-Attention (S-MSA). Es berechnet Attention-Maps über die spektrale Kanaldimension, was es dem Modell ermöglicht, komplexe nicht-lineare Korrelationen zwischen Textur und Spektrum zu lernen. Hardware-Anforderung: Der Attention-Mechanismus skaliert quadratisch \(O(N^2)\) und erfordert signifikanten GPU-Speicher (VRAM) für hochauflösende Bilder. Diese Rechenintensität erfordert leistungsstarke dedizierte Hardware zur Verarbeitung der vollständigen Datenarrays.
• MSS-Mamba (Lineare Komplexität): Das MSS-Mamba (Multi-Scale Spectral-Spatial Mamba)-Modell führt Selective State Space Models (SSM) in die Domäne ein. Es diskretisiert die kontinuierliche Zustandsraumgleichung in eine rekurrente Form, die mit linearer Komplexität \(O(N)\) berechnet werden kann. Die Continuous Spectral-Spatial Scan (CS3)-Strategie integriert räumliche Nachbarn und spektrale Kanäle gleichzeitig und „liest" effektiv die molekulare Zusammensetzung in einem kontinuierlichen Strom.

Rechenarchitektur: Der Linux-Python-Stack

Das Erreichen multispektraler Präzision erfordert eine robuste, modulare Architektur, die in der Lage ist, massive Arrays über 16 Dimensionen zu verarbeiten. Die Implementierung basiert auf einem umfangreichen Linux-basierten Python-Stack, der für High-End-Hardware ausgelegt ist.

• Aufnahme und Verarbeitung: Wir können rawpy (einen LibRaw-Wrapper) für die Low-Level-Aufnahme von ProRAW-DNG-Dateien nutzen und dabei die OS-Level-Gammakorrektur umgehen, um direkt auf die linearen 12-Bit-Daten zuzugreifen. NumPy-Engines verarbeiten die Hochleistungs-Matrixalgebra, die erforderlich ist, um 3-Kanal-RGB-Daten in 16-Band-Spektralwürfel zu erweitern.
• Wissenschaftliche Analyse: Scikit-image und SciPy werden für geometrische Transformationen, Bildwiederherstellung und fortgeschrittene räumliche Filterung eingesetzt. Matplotlib bietet die Visualisierungsschicht für die Erzeugung von Spektralsignaturgraphen und Falschfarbenkompositen.
• Daten-Fußabdruck: Das Ausmaß dieser Operation ist signifikant. Ein einzelnes 48,8-MP-Bild, konvertiert in Fließkomma-Präzision, resultiert in massiven Dateigrößen. Zwischenverarbeitungsdateien überschreiten oft 600 MB für eine einzelne 3-Band-Schicht. Wenn auf einen vollständigen 16-Band-Multispektralwürfel erweitert, skalieren die Speicher- und I/O-Anforderungen proportional, was die Stabilität und Speicherverwaltungsfähigkeiten einer Linux-Umgebung erforderlich macht.

Die spektrale Lösung

Bei Analyse durch die 16-Band-Multispektral-Pipeline:

Spektrales Merkmal	Ultramarin (Lapislazuli)	Azurit (Kupferkarbonat)
Primärer Reflektanzpeak	Etwa 450-480 nm (blau-violetter Bereich)	Etwa 470-500 nm mit sekundärem grünen Peak bei 550-580 nm
UV-Antwort (unter 420 nm)	Minimale Reflektanz, starke Absorption	Moderate Reflektanz, charakteristisch für Kupfermineralien
Rotabsorption (600-700 nm)	Moderate bis starke Absorption	Starke Absorption, typisch für blaue Pigmente
Charakteristische Merkmale	Scharfer Reflektanzanstieg bei 400-420 nm (Violettkante)	Breitere Reflektanzkurve mit Kupfersignatur-Absorptionsbändern

Hinweis: Spektralwerte sind ungefähr und können je nach Partikelgröße, Bindemittel und Alterung variieren.

Das Bild vervollständigen

Die erfolgreiche Analyse komplexer Materialeigenschaften beruht auf einer Konvergenz rigoroser Physik und fortgeschrittener Berechnung.

• Photonische Grundlage: Der Sony IMX803 bietet die notwendige hochauflösende photonische Erfassung mit hohem SNR, wobei die Modusauswahl (gebinnt vs. nicht-gebinnt) durch die spezifischen analytischen Anforderungen jeder Untersuchung bestimmt wird.
• Datenintegrität: DNG 1.7 ist der kritische Ermöglicher, der die lineare Beziehung zwischen Photonenfluss und digitalem Wert bewahrt und gleichzeitig nicht-lineare ästhetische Anpassungen in Metadaten isoliert.
• Algorithmische Präzision: Während die Wiener-Schätzung als schnelle Approximation dient, wird die höchste Genauigkeit durch Transformer (MST++)- und Mamba-basierte Architekturen erreicht. Diese Modelle entwirren die komplexen nicht-linearen Beziehungen zwischen sichtbarem Licht und Materialeigenschaften und generieren effektiv 16 verschiedene Spektralbänder aus 3 Anfangskanälen.
• Historische Kontinuität: Das EPR-Paradoxon von 1935 enthüllte, dass Quantenteilchen verborgene Korrelationen über den Raum hinweg teilen, Korrelationen, die für lokale Messungen unsichtbar sind, aber dennoch real. Moderne spektrale Bildgebung enthüllt eine analoge Wahrheit: Materialien besitzen verborgene Korrelationen über die Wellenlänge, unsichtbar für trichromatisches Sehen, aber zugänglich durch mathematische Rekonstruktion. In beiden Fällen erfordert Vollständigkeit, über das hinauszuschauen, was direkte Beobachtung bietet.

Diese Synthese aus Hardware-Spezifikation, Dateiformatverwaltung und Deep-Learning-Rekonstruktion definiert den modernen Standard für zerstörungsfreie Materialanalyse – ein spektraler Zeuge dessen, was Licht allein uns nicht sagen kann.

Und was ist mit der Farbe? Hier ist eine physische Probe: Pigment, Substrat, Geschichte verdichtet in Materie. Licht passiert sie, streut von ihr, trägt Fragmente ihrer Geschichte – doch die vollständige Wahrheit bleibt verborgen, bis wir uns entscheiden, tiefer zu schauen. Jede Schicht, jeder verblasste Strich, jede chemische Spur ist ein stilles Archiv. Wir sind nicht nur Beobachter; wir sind Hüter dieses Archivs. Wenn wir Werkzeuge bauen, um über das Sichtbare hinauszusehen, erweitern wir nicht nur das Sehen – wir übernehmen eine stille Verantwortung: ehrlich Zeugnis abzulegen, zu bewahren, was die Zeit auslöschen würde, zu ehren, was gemacht und erduldet wurde. Licht kann Struktur freilegen. Es kann keine Geschichte tragen. Dieser Teil liegt bei uns. Wir können wählen, die Maschinen, die wir bauen, dem Gedächtnis dienen zu lassen statt der Auslöschung, der Würde statt der Klassifizierung, der Wahrheit statt der Bequemlichkeit. Die Vergangenheit verlangt keine Perfektion – sie verlangt nur, dass wir uns weigern, sie vergessen zu lassen. In jeder Rekonstruktion, in jeder Schicht, die wir aufdecken, haben wir die Chance, wieder dem zuzuhören, was zum Schweigen gebracht wurde. Das ist nicht nur Ingenieurskunst. Das ist die Arbeit des Menschseins.

Referenzen

1. Einstein, A., Podolsky, B., & Rosen, N. (1935). Can Quantum-Mechanical Description of Physical Reality Be Considered Complete? Physical Review, 47(10), 777–780. ↑
2. Bell, J. S. (1964). On the Einstein Podolsky Rosen paradox. Physics Physique Физика, 1(3), 195–200. ↑
3. Aspect, A., Dalibard, J., & Roger, G. (1982). Experimental Test of Bell's Inequalities Using Time-Varying Analyzers. Physical Review Letters, 49(25), 1804–1807. ↑

Bryan R Hinton
bryan (at) bryanhinton.com

rk3588 bring-up: u-boot, kernel, and signal integrity

The RK3588 SoC features a quad-core Arm Cortex-A76/A55 CPU, a Mali-G610 GPU, and a highly flexible I/O architecture that makes it ideal for embedded Linux SBCs like the Radxa Rock 5B+.

I’ve been exploring and documenting board bring-up for this platform, including u-boot and Linux kernel contributions, device-tree development, and tooling for reproducible builds and signal-integrity validation. Most of this work is still in active development and early upstream preparation.

I’m publishing my notes, measurements, and bring-up artifacts here as the work progresses, while active u-boot and kernel development including patch iteration, test builds, and branch history are maintained in separate working repositories:

Signal Analysis / Bring-Up Repo: https://github.com/brhinton/signal-analysis

The repository currently includes (with more being added):

• Device-tree sources and Rock 5B+ board enablement
• UART signal-integrity captures at 1.5 Mbps measured at the SoC pad
• Build instructions for kernel, bootloader, and debugging setup
• Early patch workflows and upstream preparation notes

Additional U-Boot and Linux kernel work, including mainline test builds, feature development, rebases, and patch series in progress, is maintained in separate working repositories. This repo serves as the central location for measurements, documentation, and board-level bring-up notes.

This is ongoing, work-in-progress engineering effort, and I’ll be updating the repositories as additional measurements, boards, and upstream-ready changes are prepared.

arch linux uefi with dm-crypt and uki

Arch Linux is known for its high level of customization, and configuring LUKS2 and LVM is a straightforward process. This guide provides a set of instructions for setting up an Arch Linux system with the following features:

• Root file system encryption using LUKS2.
• Logical Volume Management (LVM) for flexible storage management.
• Unified Kernel Image (UKI) bootable via UEFI.
• Optional: Detached LUKS header on external media for enhanced security.

Prerequisites

• A bootable Arch Linux ISO.
• An NVMe drive (e.g., /dev/nvme0n1).
• (Optional) A microSD card or other external medium for the detached LUKS header.

Important Considerations

• Data Loss: The following procedure will erase all data on the target drive. Back up any important data before proceeding.
• Secure Boot: This guide assumes you may want to use hardware secure boot.
• Detached LUKS Header: Using a detached LUKS header on external media adds a significant layer of security. If you lose the external media, you will lose access to your encrypted data.
• Swap: This guide uses a swap file. You may also use a swap partition if desired.

Step-by-Step Instructions

1. Boot into the Arch Linux ISO:

   Boot your system from the Arch Linux installation media.

2. Set the System Clock:

   # timedatectl set-ntp true

3. Prepare the Disk:

   • Identify your NVMe drive (e.g., /dev/nvme0n1). Use lsblk to confirm.
   • Wipe the drive:

   # wipefs --all /dev/nvme0n1

   • Create an EFI System Partition (ESP):

   # sgdisk /dev/nvme0n1 -n 1::+512MiB -t 1:EF00

   • Create a partition for the encrypted volume:

   # sgdisk /dev/nvme0n1 -n 2 -t 2:8300

4. Set up LUKS2 Encryption:

   Encrypt the second partition using LUKS2. This example uses aes-xts-plain64 and serpent-xts-plain ciphers, and SHA512 for the hash. Adjust as needed.

   # cryptsetup luksFormat --cipher aes-xts-plain64 \
     --keyslot-cipher serpent-xts-plain --keyslot-key-size 512 \
     --use-random -S 0 -h sha512 -i 4000 /dev/nvme0n1p2

   • --cipher: Specifies the cipher for data encryption.
   • --keyslot-cipher: Specifies the cipher used to encrypt the key.
   • --keyslot-key-size: Specifies the size of the key slot.
   • -S 0: Disables sparse headers.
   • -h: Specifies the hash function.
   • -i: Specifies the number of iterations.

   Open the encrypted partition:

   # cryptsetup open /dev/nvme0n1p2 root

5. Create the File Systems and Mount:

   Create an ext4 file system on the decrypted volume:

   # mkfs.ext4 /dev/mapper/root

   Mount the root file system:

   # mount /dev/mapper/root /mnt

   Create and mount the EFI System Partition:

   # mkfs.fat -F32 /dev/nvme0n1p1
   # mount --mkdir /dev/nvme0n1p1 /mnt/efi

   Create and enable a swap file:

   # dd if=/dev/zero of=/mnt/swapfile bs=1M count=8000 status=progress
   # chmod 600 /mnt/swapfile
   # mkswap /mnt/swapfile
   # swapon /mnt/swapfile

6. Install the Base System:

   Use pacstrap to install the necessary packages:

   # pacstrap -K /mnt base base-devel linux linux-hardened \
     linux-hardened-headers linux-firmware apparmor mesa \
     xf86-video-intel vulkan-intel git vi vim ukify

7. Generate the fstab File:

   # genfstab -U /mnt >> /mnt/etc/fstab

8. Chroot into the New System:

   # arch-chroot /mnt

9. Configure the System:

   Set the timezone:

   # ln -sf /usr/share/zoneinfo/UTC /etc/localtime
   # hwclock --systohc

   Uncomment en_US.UTF-8 UTF-8 in /etc/locale.gen and generate the locale:

   # sed -i 's/#'"en_US.UTF-8"' UTF-8/'"en_US.UTF-8"' UTF-8/g' /etc/locale.gen
   # locale-gen
   # echo 'LANG=en_US.UTF-8' > /etc/locale.conf
   # echo "KEYMAP=us" > /etc/vconsole.conf

   Set the hostname:

   # echo myhostname > /etc/hostname
   # cat <<EOT >> /etc/hosts
   127.0.0.1 myhostname
   ::1 localhost
   127.0.1.1 myhostname.localdomain myhostname
   EOT

   Configure mkinitcpio.conf to include the encrypt hook:

   # sed -i 's/HOOKS.*/HOOKS=(base udev autodetect modconf kms \
     keyboard keymap consolefont block encrypt filesystems resume fsck)/' \
     /etc/mkinitcpio.conf

   Create the initial ramdisk:

   # mkinitcpio -P

   Install the bootloader:

   # bootctl install

   Set the root password:

   # passwd

   Install microcode and efibootmgr:

   # pacman -S intel-ucode efibootmgr

   Get the swap offset:

   # swapoffset=`filefrag -v /swapfile | awk '/\s+0:/ {print $4}' | \
     sed -e 's/\.\.$//'`

   Get the UUID of the encrypted partition:

   # blkid -s UUID -o value /dev/nvme0n1p2

   Create the EFI boot entry. Replace <UUID OF CRYPTDEVICE> with the actual UUID:

   # efibootmgr --disk /dev/nvme0n1p1 --part 1 --create --label "Linux" \
     --loader /vmlinuz-linux --unicode "cryptdevice=UUID=<UUID OF CRYPTDEVICE>:root \
     root=/dev/mapper/root resume=/dev/mapper/root resume_offset=$swapoffset \
     rw initrd=\intel-ucode.img initrd=\initramfs-linux.img" --verbose

   Configure the UKI presets:

   # cat <<EOT >> /etc/mkinitcpio.d/linux.preset
   ALL_kver="/boot/vmlinuz-linux"
   ALL_microcode=(/boot/*-ucode.img)
   PRESETS=('default' 'fallback')
   default_uki="/efi/EFI/Linux/arch-linux.efi"
   default_options="--splash /usr/share/systemd/bootctl/splash-arch.bmp"
   fallback_uki="/efi/EFI/Linux/arch-linux-fallback.efi"
   fallback_options="-S autodetect"
   EOT

   Create the UKI directory:

   # mkdir -p /efi/EFI/Linux

   Configure the kernel command line:

   # cat <<EOT >> /etc/kernel/cmdline
   cryptdevice=UUID=<UUID OF CRYPTDEVICE>:root root=/dev/mapper/root \
   resume=/dev/mapper/root resume_offset=51347456 rw
   EOT

   Build the UKIs:

   # mkinitcpio -p linux

   Configure the kernel install layout:

   # echo "layout=uki" >> /etc/kernel/install.conf

10. Configure Networking (Optional):

    Create a systemd-networkd network configuration file:

    # cat <<EOT >> /etc/systemd/network/nic0.network
    [Match]
    Name=nic0
    [Network]
    DHCP=yes
    EOT

11. Install a Desktop Environment (Optional):

    Install Xorg, Xfce, LightDM, and related packages:

    # pacman -Syu
    # pacman -S xorg xfce4 xfce4-goodies lightdm lightdm-gtk-greeter \
      libva-intel-driver mesa xorg-server xorg-xinit sudo
    # systemctl enable lightdm
    # systemctl start lightdm

12. Enable Network Services (Optional):

    # systemctl enable systemd-resolved.service
    # systemctl enable systemd-networkd.service
    # systemctl start systemd-resolved.service
    # systemctl start systemd-networkd.service

13. Create a User Account:

    Create a user account and add it to the wheel group:

    # useradd -m -g wheel -s /bin/bash myusername

14. Reboot:

    Exit the chroot environment and reboot your system:

    # exit
    # umount -R /mnt
    # reboot

Multidimensional arrays of function pointers in C

Embedded hardware typically includes an application processor and one or more adjacent processor(s) attached to the printed circuit board. The firmware that resides on the adjacent processor(s) responds to instructions or commands.  Different processors on the same board are often produced by different companies.  For the system to function properly, it is imperative that the processors communicate without any issues, and that the firmware can handle all types of possible errors.

Formal requirements for firmware related projects may include the validation and verification of the firmware on a co-processor via the application programming interface (API).  Co-processors typically run 8, 16, or 32-bit embedded operating systems.  If the co-processor manufacturer provides a development board for testing the firmware on a specific co-processor, then the development board may have it's own application processor. Familiarity with all of the applicable bus communication protocols including synchronous and asynchronous communication is important.  High-volume testing of firmware can be accomplished using function-like macros and arrays of function pointers.  Processor specific firmware is written in C and assembly - 8, 16, 32, or 64-bit.  Executing inline assembly from C is straightforward and often required.  Furthermore, handling time-constraints such as real-time execution on adjacent processors is easier to deal with in C and executing syscalls, low-level C functions, and userspace library functions, is often more efficient.  Timing analysis is often a key consideration when testing firmware, and executing compiled C code on a time-sliced OS, such as Linux, is already constrained.

To read tests based on a custom grammar, a scanner and parser in C can be used. Lex is ideal for building a computationally efficient lexical analyzer that outputs a sequence of tokens. For this case, the tokens comprise the function signatures and any associated function metadata such as expected execution time. Creating a context-free grammar and generating the associated syntax tree from the lexical input is straightforward.   Dynamic arrays of function pointers can then be allocated at run-time, and code within external object files or libraries can be executed in parallel using multiple processes or threads. The symbol table information from those files can be stored in multi-dimensional arrays. While C is a statically typed language, the above design can be used for executing generic, variadic functions at run-time from tokenized input, with constant time lookup, minimal overhead, and specific run-time expectations (stack return value, execution time, count, etc.).

At a high level, lists of pointers to type-independent, variadic functions and their associated parameters can be stored within multi-dimensional arrays.  The following C code uses arrays of function pointers to execute functions via their addresses.  The code uses list management functions from the Linux kernel which I ported to userspace.

https://github.com/brhinton/bcn

Concurrency, Parallelism, and Barrier Synchronization - Multiprocess and Multithreaded Programming

On preemptive, timed-sliced UNIX or Linux operating systems such as Solaris, AIX, Linux, BSD, and OS X, program code from one process executes on the processor for a time slice or quantum. After this time has elapsed, program code from another process executes for a time quantum. Linux divides CPU time into epochs, and each process has a specified time quantum within an epoch. The execution quantum is so small that the interleaved execution of independent, schedulable entities – often performing unrelated tasks – gives the appearance of multiple software applications running in parallel.

When the currently executing process relinquishes the processor, either voluntarily or involuntarily, another process can execute its program code. This event is known as a context switch, which facilitates interleaved execution. Time-sliced, interleaved execution of program code within an address space is known as concurrency.

The Linux kernel is fully preemptive, which means that it can force a context switch for a higher priority process. When a context switch occurs, the state of a process is saved to its process control block, and another process resumes execution on the processor.

A UNIX process is considered heavyweight because it has its own address space, file descriptors, register state, and program counter. In Linux, this information is stored in the task_struct. However, when a process context switch occurs, this information must be saved, which is a computationally expensive operation.

Concurrency applies to both threads and processes. A thread is an independent sequence of execution within a UNIX process, and it is also considered a schedulable entity. Both threads and processes are scheduled for execution on a processor core, but thread context switching is lighter in weight than process context switching.

In UNIX, processes often have multiple threads of execution that share the process's memory space. When multiple threads of execution are running inside a process, they typically perform related tasks. The Linux user-space APIs for process and thread management abstract many details. However, the concurrency level can be adjusted to influence the time quantum so that the system throughput is affected by shorter and longer durations of schedulable entity execution time.

While threads are typically lighter weight than processes, there have been different implementations across UNIX and Linux operating systems over the years. The three models that typically define the implementations across preemptive, time-sliced, multi-user UNIX and Linux operating systems are defined as follows - 1:1, 1:N, and M:N where 1:1 refers to the mapping of one user-space thread to one kernel thread, 1:N refers to the mapping of multiple user-space threads to a single kernel thread. M:N refers to the mapping of N user-space threads to M kernel threads.

In the 1:1 model, one user-space thread is mapped to one kernel thread. This allows for true parallelism, as each thread can run on a separate processor core. However, creating and managing a large number of kernel threads can be expensive.

In the 1:N model, multiple user-space threads are mapped to a single kernel thread. This is more lightweight, as there are fewer kernel threads to create and manage. However, it does not allow for true parallelism, as only one thread can execute on a processor core at a time.

In the M:N model, N user-space threads are mapped to M kernel threads. This provides a balance between the 1:1 and 1:N models, as it allows for both true parallelism and lightweight thread creation and management. However, it can be complex to implement and can lead to issues with load balancing and resource allocation.

Parallelism on a time-sliced, preemptive operating system means the simultaneous execution of multiple schedulable entities over a time quantum. Both processes and threads can execute in parallel across multiple cores or processors. Concurrency and parallelism are at play on a multi-user system with preemptive time-slicing and multiple processor cores. Affinity scheduling refers to scheduling processes and threads across multiple cores so that their concurrent and parallel execution is close to optimal.

It's worth noting that affinity scheduling refers to the practice of assigning processes or threads to specific processors or cores to optimize their execution and minimize unnecessary context switching. This can improve overall system performance by reducing cache misses and increasing cache hits, among other benefits. In contrast, non-affinity scheduling allows processes and threads to be executed on any available processor or core, which can result in more frequent context switching and lower performance.

Software applications are often designed to solve computationally complex problems. If the algorithm to solve a computationally complex problem can be parallelized, then multiple threads or processes can all run at the same time across multiple cores. Each process or thread executes by itself and does not contend for resources with other threads or processes working on the other parts of the problem to be solved. When each thread or process reaches the point where it can no longer contribute any more work to the solution of the problem, it waits at the barrier if a barrier has been implemented in software. When all threads or processes reach the barrier, their work output is synchronized and often aggregated by the primary process. Complex test frameworks often implement the barrier synchronization problem when certain types of tests can be run in parallel. Most individual software applications running on preemptive, time-sliced, multi-user Linux and UNIX operating systems are not designed with heavy, parallel thread or parallel, multiprocess execution in mind.

Minimizing lock granularity increases concurrency, throughput, and execution efficiency when designing multithreaded and multiprocess software programs. Multithreaded and multiprocess programs that do not correctly utilize synchronization primitives often require countless hours of debugging. The use of semaphores, mutex locks, and other synchronization primitives should be minimized to the maximum extent possible in computer programs that share resources between multiple threads or processes. Proper program design allows schedulable entities to run parallel or concurrently with high throughput and minimum resource contention. This is optimal for solving computationally complex problems on preemptive, time-sliced, multi-user operating systems without requiring hard, real-time scheduling.

A hardware design for variable output frequency using an n-bit counter

The DE1-SoC from Terasic is an excellent board for hardware design and prototyping. The following VHDL process is from a hardware design created for the Terasic DE1-SoC FPGA. The ten switches and four buttons on the FPGA are used as an n-bit counter with an adjustable multiplier to increase the output frequency of one or more output pins at a 50% duty cycle.

As the switches are moved or the buttons are pressed, the seven-segment display is updated to reflect the numeric output frequency, and the output pin(s) are driven at the desired frequency. The onboard clock runs at 50MHz, and the signal on the output pins is set on the rising edge of the clock input signal (positive edge-triggered). At 50MHz, the output pins can be toggled at a maximum rate of 50 million cycles per second or 25 million rising edges of the clock per second. An LED attached to one of the output pins would blink 25 million times per second, not recognizable to the human eye. The persistence of vision, which is the time the human eye retains an image after it disappears from view, is approximately 1/16th of a second. Therefore, an LED blinking at 25 million times per second would appear as a continuous light to the human eye.

scaler <= compute_prescaler((to_integer(unsigned( SW )))*scaler_mlt);
gpiopulse_process : process(CLOCK_50, KEY(0))
begin
    if (KEY(0) = '0') then  -- async reset
        count <= 0;
    elsif rising_edge(CLOCK_50) then
        if (count = scaler - 1) then
            state <= not state;
            count <= 0;
        elsif (count = clk50divider) then -- auto reset
            count <= 0;
        else
            count <= count + 1;
        end if;
    end if;
end process gpiopulse_process;

The scaler signal is calculated using the compute_prescaler function, which takes the value of a switch (SW) as an input, multiplies it with a multiplier (scaler_mlt), and then converts it to an integer using to_integer. This scaler signal is used to control the frequency of the pulse signal generated on the output pin.

The gpiopulse_process process is triggered by a rising edge of the CLOCK_50 signal and a push-button (KEY(0)) press. It includes an asynchronous reset when KEY(0) is pressed.

The count signal is incremented on each rising edge of the CLOCK_50 signal until it reaches the value of scaler - 1. When this happens, the state signal is inverted and count is reset to 0. If count reaches the value of clk50divider, it is also reset to 0.

Overall, this code generates a pulse signal with a frequency controlled by the value of a switch and a multiplier, which is generated on a specific output pin of the FPGA board. The pulse signal is toggled between two states at a frequency determined by the scaler signal.

It is important to note that concurrent statements within an architecture are executed concurrently, meaning that they are evaluated concurrently and in no particular order. However, the sequential statements within a process are executed sequentially, meaning that they are evaluated in order, one at a time. Processes themselves are executed concurrently with other processes, and each process has its own execution context.

Creating stronger keys for OpenSSH and GPG

Create Ed25519 SSH keypair (supported in OpenSSH 6.5+). Parameters are as follows:

-o save in new format
-a 128 for 128 kdf (key derivation function) rounds
-t ed25519 for type of key

ssh-keygen -o -a 128 -t ed25519 -f .ssh/ed25519-$(date '+%m-%d-%Y') -C ed25519-$(date '+%m-%d-%Y')

Create Ed448-Goldilocks GPG master key and sub keys.

# gpg --quick-generate-key ed448-master-key-$(date '+%m-%d-%Y') ed448 sign 0
# gpg --list-keys --with-colons "ed448-master-key-08-03-2021" | grep fpr
# gpg --quick-add-key "$fpr" cv448 encr 2y
# gpg --quick-add-key "$fpr" ed448 auth 2y
# gpg --quick-add-key "$fpr" ed448 sign 2y