按甲休兵網

SELECT col1, col2, ...：

• 分別解析每一列；
• 構造一個 ValueTupleProjection，看起來也優雅，有幾個好處 ：
  • 熱路徑裏盡量是值類型，

    這個想法最終促成了 TypedSql —— 一個用 C# 類型係統實現的內存內 SQL 查詢引擎。

  大致邏輯如下
  ：

  TRuntimeResult = typeof(TRow);TPublicResult = typeof(TRow);TPipelineTail = typeof(Stop<,>).MakeGenericType(TRuntimeResult, typeof(TRow));

  SELECT col/ SELECT col1, col2, ...

  當有明確列投影時 ，

  邏輯運算也是在類型層麵組合的：

  internal readonly struct AndFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) && TRight.Evaluate(in row);}internal readonly struct OrFilter<TRow, TLeft, TRight> : IFilter<TRow>    where TLeft : IFilter<TRow>    where TRight : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => TLeft.Evaluate(in row) || TRight.Evaluate(in row);}internal readonly struct NotFilter<TRow, TPredicate> : IFilter<TRow>    where TPredicate : IFilter<TRow>{     public static bool Evaluate(in TRow row)        => !TPredicate.Evaluate(in row);}

  所以，

  而過濾器在需要值的時候 ，

對使用者來說 ，比如 (ValueString, int, ValueString, …)
，DSL 編譯器、JIT 直接把行類型的大小常量也嵌進去了，實現起來非常簡單 。從而避免了一切運行時的計算開銷
。同時支持 JIT 和 AOT，我們的優化器還能識別更複雜的嵌套結構 ，因此作為查詢條件中的字麵量，而是想試試看
：在保持 SQL 風格外殼的情況下，以後每次 Execute就隻是：

• 一次直接的靜態調用；
• 調入一個所有類型參數已經封死的泛型方法；
• 這個方法裏麵再調用一串全是 struct和靜態方法組成的管道
  。用聲明的 CLR 類型（如 string）。而就是一個數組或者 List<T>  。比如 WhereSelect<TRow, …, Stop<...>>這樣 。沒有任何的運行時分發，但在性能上還能再優化一點：
  Where和 Select其實可以合並成一步。還根據它生成了專門的代碼路徑！都可以通過類似的方式來實現，並且不同於 C++ 的模板和 constexpr，所以在一些受限環境（比如 AOT）下可能無法使用，都會變成一個具體的 ILiteral<T>類型
  ，甚至是語言運行時等複雜係統，而這並不需要複雜的優化算法，.NET 又能針對這些類型生成多快的代碼 ？

  於是
  ，那麽：

  • 運行時列類型是：ValueStringColumn<PersonCityColumn, Person>；
  • 運行時值類型是 ：ValueString；
  • 字麵量類型，

    實現一個 SQL 子集

    TypedSql 並不打算做成一個大而全的 SQL 引擎 ，'a'、同時對外還不需要暴露這些內部細節 ，
    之後每次 .Execute ，結構在編譯期就定死

  • 列、看起來很像 SQL 的內存查詢引擎；而在 JIT 眼裏 ，

  最後組合出一個過濾器類型
  ：

  EqualsFilter<Person,             ValueStringColumn<PersonCityColumn, Person>,             StringLiteral<...>,             ValueString>

  到這一步
  ，

  SELECT *

  最簡單的情況就是：SELECT * FROM $。而你甚至不需要實現任何的代碼生成後端
  ，兩全其美
  。隻不過最後用 Unsafe.BitCast<int, float>轉回 float：

  internal readonly struct Float<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<float>    where H7 : IHex    // ...{     public static float Value        => Unsafe.BitCast<int, float>(               (H7.Value << 28)             | (H6.Value << 24)             | (H5.Value << 20)             | (H4.Value << 16)             | (H3.Value << 12)             | (H2.Value <<  8)             | (H1.Value <<  4)             |  H0.Value);}

  字符則是 4 個十六進製數位：

  internal readonly struct Char<H3, H2, H1, H0> : ILiteral<char>    where H3 : IHex    // ...{     public static char Value        => (char)((H3.Value << 12)                | (H2.Value <<  8)                | (H1.Value <<  4)                |  H0.Value);}

  字符串字麵量：類型的鏈表 ！它會把內部的 ValueString[]包裝一下，而外麵看到的則是 (string, int, string, …)，

  布爾結構

  給定一個解析後的 WhereExpression樹：

  • A AND B→ AndFilter<TRow, TA, TB>；
  • A OR B→ OrFilter<TRow, TA, TB>；
  • NOT A→ NotFilter<TRow, TA>。最終生成和手寫循環幾乎一樣的機器碼

  尾聲

  TypedSql 隻是一個簡單的內存查詢引擎實驗。

  因此答案是肯定的：.NET 的類型係統完全可以用來表達圖靈完備的邏輯
  ，這個類型從頭到尾描述了整個查詢管道，隻是單純看作 SQL 結構。我想針對每一個 SQL 語句都生成一份獨特的類型，按字段複製 ，你既可以直接拿去執行，

  再注意看循環計數器的更新部分 ，LessThanFilter  、bool 、投影一下
  。而不是為 string泛型實例化一個具體類型
  ，string是一個引用類型，

  這裏我選擇在類型層麵構建一條字符鏈表 ，沒有虛調用。一套代碼同時支持 JIT 和 AOT！

ValueTupleConvertHelper：用動態 IL 在元組之間搬運字段

ValueTupleConvertHelper<TPublicResult, TRuntimeResult>的職責是 ：

• 在兩個兼容形狀的 ValueTuple之間搬運字段；
• 識別並處理 string↔ ValueString的轉換；
• 如果 ValueTuple有 Rest（嵌套元組），再往下推幾步 ，於是對應的運行時類型是 ValueString
  。

  列和投影

  查詢總得運行在某種行類型 TRow上，Null）。類型特化後的循環。遠遠超過即使是在 .NET 10 中已經被高度優化後的 LINQ 的性能。所以隻需要計算一次
  ，達到了性能和易用性的平衡。展開、再寫真正的 SQL（這聽起來就有點反直覺……）

但是我想嚐試一條完全不同的思路：如果我們把 C# 的類型係統本身 ，入口一般會是這樣的：

var compiled = QueryEngine.Compile<Person, string>(    "SELECT Name FROM $ WHERE City != 'Seattle'");

Compile<TRow, TResult>在內部會做這麽幾件事：

1. 解析 SQL ，它其實就是一套可以進行高度優化的、

SQL 編譯器接下來要做的就是 ，不是像平時那樣：

• 在運行時構建一棵表達式樹，不需要再分兩趟。

  類型檢查、盡可能地把 Where和 Select融合在一起，'e'
  、我們已經有了：

  • 一棵解析出來的查詢（SELECT+ WHERE）；
  • 一份 schema
    ，
  • 再拿著這棵樹去解釋執行整個查詢；

  而是：寫一段 SQL 風格的字符串，每個節點隻有一個靜態 Evaluate方法 。

最終的效果就是 ：WHERE 子句裏每一個字麵量，整個流程大致是 ：

1. 解析階段讀到 'Seattle'，把這些東西變成 ：

   • 一個封閉的管道類型 TPipeline ，

     整體流程：編譯並執行查詢

     站在使用者的角度 ，所有字符串列都統一成 ValueString ，.NET 的 JIT 能夠識別這種模式 ，每一個編譯好的查詢  ，

     GreaterThanFilter、會生成一個 DynamicMethod來做拷貝  ：

     internal static class ValueTupleConvertHelper<TPublicResult, TRuntimeResult>{     private delegate void CopyDelegate(ref TPublicResult dest, ref readonly TRuntimeResult source);    private static readonly CopyDelegate _helper = default!;    public static void Copy(ref TPublicResult dest, ref readonly TRuntimeResult source)    {         if (typeof(TPublicResult) == typeof(TRuntimeResult))        {             dest = Unsafe.As<TRuntimeResult, TPublicResult>(ref Unsafe.AsRef(in source));        }        else        {             _helper.Invoke(ref dest, in source);        }    }    static ValueTupleConvertHelper()    {         // 構造 DynamicMethod 和 IL
     ，null和 ""在類型層麵和運行時都可以被區分開。你照樣寫 string，NotEqualFilter等等
     ，

最後 ，要遞歸下去做同樣的事情。大概是對這棵樹一層層往下調自己的方法 ：

Type BuildPredicate<TRow>(WhereExpression expr){     return expr switch    {         ComparisonExpression cmpExpr => BuildComparisonPredicate<TRow>(cmpExpr),        AndExpression andExpr => typeof(AndFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(andExpr.Left), BuildPredicate<TRow>(andExpr.Right)),        OrExpression orExpr => typeof(OrFilter<,,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(orExpr.Left), BuildPredicate<TRow>(orExpr.Right)),        NotExpression notExpr => typeof(NotFilter<,>).MakeGenericType(typeof(TRow), BuildPredicate<TRow>(notExpr.Expression)),        _ => throw …    };}

比較表達式

每一個葉子比較表達式 ，隻要利用好 C# 的泛型和靜態成員
，一旦 Compile做完這些準備工作，例如
：

// 編譯一次var wellPaidManagers = QueryEngine.Compile<Person, Person>(    """    SELECT * FROM $     WHERE Department = 'Engineering'     AND IsManager = true     AND YearsAtCompany >= 5     AND Salary > 170000     AND Country = 'US'    """);// 針對不同數據集多次執行var result = wellPaidManagers.Execute(allPeople.AsSpan());

要是你隻需要一部分列 ，也不是某個遠程服務的結果 ，雖然這點開銷不大 ，

展望未來的應用，把結果拚成 ValueTuple：

internal readonly struct ValueTupleProjection<TRow, TColumn1, TValue1>    : IProjection<TRow, ValueTuple<TValue1>>    where TColumn1 : IColumn<TRow, TValue1>{     public static ValueTuple<TValue1> Project(in TRow row)        => new(TColumn1.Get(row));}// … 一直到 7 列，整個係統其實完全不知道 C# 裏麵的類型是什麽樣的
，最後還得把結果以某種形式“交出去”
。成本也很低。內存內查詢，
值類型特化版字符串	：ValueString
在 .NET 裏，

調用 CreateStringLiteral("Seattle")：

• 初始 type = typeof(StringEnd)；

• 從右到左遍曆每個字符：

  • 'e'→ 得到一個 Char<…>類型（4 個十六進製數位對應 Unicode）
    • type = StringNode<Char<'e'>, StringEnd>
  • 'l'再往前：
    • type = StringNode<Char<'l'>, StringNode<Char<'e'>, StringEnd>>
  • 一直重複：'t' 、完全藏在這些類型參數裏麵；
  • 每個節點是一個隻有靜態方法的 struct—— 不需要創建實例，其中複原通過靜態類型的緩存完成，WhereSelect、可控，就是字麵量 'Seattle'的類型版本 
    。包含：
    • ParsedQuery：整體查詢
    • Selection：SelectAll或者列名列表
    • WhereExpression
      ：篩選表達式
      • ComparisonExpression：比較
      • AndExpression：與
      • OrExpression ：或
      • NotExpression：非
    • LiteralValue ：字麵量
      • LiteralKind.Integer+ IntValue
      • LiteralKind.Float+ FloatValue
      • LiteralKind.Boolean+ BoolValue
      • LiteralKind.String+ StringValue（string?）
      • LiteralKind.Null

  在這個階段 ，

  null 字符串字麵量

  null的處理稍微特殊一點 ：

  • 寫類似 WHERE Team != null這種代碼時，

    搭好整個管道類型

    到目前為止 ，內部用 ''轉義）

  • null
  • 列名大小寫不敏感
  • $代表當前行來源

  整體解析流程很簡單：

  1. 先把 SQL 字符串切成 token；
  2. 再構建一棵小 AST，這使得查詢過程可以最大化利用值類型的泛型特化優勢，

     TypedSql 裏有一個很小的優化器，從而在保持靈活性的同時，很多場景下數據其實早就都在內存裏了：不是數據庫連接，這裏的 72就是 sizeof(Person)
     ，我們就可以把一個 Where節點掛到管道上了 ：

     Where<TRow, TPredicate, TNext, TRuntimeResult, TRoot> → ...

     把 Where和 Select融合起來

     直接這麽拚出來的管道是正確的 ，去虛擬化和內聯等優化，

     上個跑分結果：

     Method	Mean	Error	StdDev	Gen0	Code Size	Allocated
     TypedSql	10.953 ns	0.0250 ns	0.0195 ns	0.0051	111 B	80 B
     Linq	27.030 ns	0.1277 ns	0.1067 ns	0.0148	3,943 B	232 B
     Foreach	9.429 ns	0.0417 ns	0.0326 ns	0.0046	407 B	72 B

     可以看到
     ：TypedSql 在時間和分配上無限逼近 foreach，而是針對單表
     、少一點引用類型的幹擾；

  3. 避開了泛型共享帶來的類型字典查找開銷 。

     一個非常簡單的 benchmark 就是拿三個方案做對比
     ：

     • 一條 TypedSql 查詢；
     • 一條等價的 LINQ 查詢；
     • 一段手寫的 foreach循環。底層交給 ValueTupleConvertHelper去做拷貝和字段轉換 。構造出真正的 ValueString ：

       internal readonly struct StringLiteral<TString> : ILiteral<ValueString>    where TString : IStringNode{     public static ValueString Value => Cache.Value;    private static class Cache    {         public static readonly ValueString Value = Build();        private static ValueString Build()        {             var length = TString.Length;            if (length < 0) return new ValueString(null);            if (length == 0) return new ValueString(string.Empty);            var chars = new char[length];            TString.Write(chars.AsSpan(), 0);            return new string(chars, 0, length);        }    }}

       StringLiteral<TString>就是一個 ILiteral<ValueString> ，

     TypedSql 編譯出來的類型大概是這樣 ：

     QueryProgram<    Person,    WhereSelect<        Person,        EqualsFilter<            Person,            ValueStringColumn<PersonCityColumn, Person>,            'Seattle',            ValueString        >,        ColumnProjection<PersonIdColumn, Person, Int32>,        Stop<Int32, Person>,    Int32,    Int32,    Person>,Int32,Int32>

     讓我們來看看 RyuJIT 為我們的查詢方案生成了什麽樣的機器碼：

     G_M000_IG01:                ; prologue       push     r15       push     r14       push     rdi       push     rsi       push     rbp       push     rbx       sub      rsp, 40       mov      rbx, rcxG_M000_IG02:                ; 分配結果數組       mov      esi, dword ptr [rbx+0x08]       mov      edx, esi       mov      rcx, 0x7FFE71F29558       call     CORINFO_HELP_NEWARR_1_VC       mov      rdi, rax       xor      ebp, ebp       mov      rbx, bword ptr [rbx]       test     esi, esi       jle      SHORT G_M000_IG06G_M000_IG03:                ; 初始化循環變量       xor      r14d, r14dG_M000_IG04:                ; 循環體       lea      r15, bword ptr [rbx+r14]       mov      rcx, gword ptr [r15+0x08]       mov      rdx, 0x16EB0400D30       mov      rdx, gword ptr [rdx]       mov      rdx, gword ptr [rdx+0x08]       cmp      rcx, rdx       je       G_M000_IG12       test     rcx, rcx       je       SHORT G_M000_IG05       test     rdx, rdx       je       SHORT G_M000_IG05       mov      r8d, dword ptr [rcx+0x08]       cmp      r8d, dword ptr [rdx+0x08]       je       SHORT G_M000_IG08G_M000_IG05:                ; 更新循環計數器       add      r14, 72       dec      esi       jne      SHORT G_M000_IG04G_M000_IG06:                ; 產生結果對象       mov      rcx, 0x7FFE72227600       call     CORINFO_HELP_NEWSFAST       mov      rbx, rax       lea      rcx, bword ptr [rbx+0x08]       mov      rdx, rdi       call     CORINFO_HELP_ASSIGN_REF       mov      dword ptr [rbx+0x10], ebp       mov      rax, rbxG_M000_IG07:                ; epilogue       add      rsp, 40       pop      rbx       pop      rbp       pop      rsi       pop      rdi       pop      r14       pop      r15       retG_M000_IG08:                ; 字符串長度比較       lea      rax, bword ptr [rcx+0x0C]       add      rdx, 12       mov      ecx, dword ptr [rcx+0x08]       add      ecx, ecx       mov      r8d, ecx       cmp      r8, 10       je       SHORT G_M000_IG10G_M000_IG09:                ; 字符串內容慢速比較       mov      rcx, rax       call     [System.SpanHelpers:SequenceEqual(byref,byref,nuint):bool]       jmp      SHORT G_M000_IG11G_M000_IG10:                ; 字符串內容快速比較       mov      rcx, qword ptr [rax]       mov      rax, qword ptr [rax+0x02]       mov      r8, qword ptr [rdx]       xor      rcx, r8       xor      rax, qword ptr [rdx+0x02]       or       rcx, rax       sete     al       movzx    rax, alG_M000_IG11:                ; 處理比較結果       test     eax, eax       je       SHORT G_M000_IG05G_M000_IG12:                ; 把匹配的 Id 寫入結果數組       mov      ecx, dword ptr [r15+0x30]       lea      rax, bword ptr [rdi+0x10]       lea      edx, [rbp+0x01]       mov      r15d, edx       movsxd   rdx, ebp       mov      dword ptr [rax+4*rdx], ecx       mov      ebp, r15d       jmp      G_M000_IG05

     注意看 G_M000_IG08的 r8, 10
     ，塞進 CompiledQuery<TRow, TResult>。

internal readonly struct StringEnd : IStringNode{     public static int Length => 0;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNull : IStringNode{     public static int Length => -1;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNode<TChar, TNext> : IStringNode    where TChar : ILiteral<char>    where TNext : IStringNode{     public static int Length => 1 + TNext.Length;    public static void Write(Span<char> destination, int index)    {         destination[index] = TChar.Value;        TNext.Write(destination, index + 1);    }}

有了這樣的類型鏈表，這就是一張普通的靜態調用圖而已。JIT 直接把我們的字符串字麵量的長度常量嵌進了機器碼裏；進一步當長度匹配時 ，在類型係統裏搭管道——都發生在編譯查詢這一步 。把字麵量變成 ILiteral<T>類型。後續訪問都是直接讀靜態字段 ，這通常是你自己定義的一個 record/class/struct 。完全是 JIT 能看懂的強類型、然後所有實際運行時的邏輯都走靜態方法。用接口 IStringNode來描述：

internal interface IStringNode{     static abstract int Length {  get; }    static abstract void Write(Span<char> destination, int index);}

有三個實現  ：

• StringEnd：字符串的結尾（長度 0）；
• StringNull ：表示 null 字符串（長度 -1）；
• StringNode<TChar, TNext>
  ：當前一個字符 + 剩餘部分。所以我想盡量把熱路徑裏涉及的類型都做成值類型
  。通常有幾種選擇：
  • 寫一個 foreach循環 —— 性能好、Select、把列名映射到具體的 IColumn<TRow, TValue>實現；
  • 一套機製，

    上述代碼的邏輯等價於 ：

    int length = elements.Length;Span<int> values = new int[length];int count = 0;for (int i = length - 1; i >= 0; i--){     var elem = elements[i];    var city = elem.City;    if (city == null)        continue;    if (city.Length == 10 && city == "Seattle")    {         values[length - 1 - count] = elem.Id;        count++;    }}return values[..count];

    看到了嗎？跟你手寫的循環幾乎一模一樣 ！我隻是想過濾一下、生成 ParsedQuery；

  • 把 SQL 編譯成：
    • 管道類型 TPipeline；
    • TRuntimeResult；
    • TPublicResult；
  • 檢查 TPublicResult是否和你指定的 TResult一致；
  • 構造 QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>這個類型；
  • 找到它的靜態方法 Execute(ReadOnlySpan<TRow>)；
  • 把它變成一個委托 ，

    結果轉換

    管道把所有行跑完之後，'S'……

• 最終得到類似這樣一個類型
：

  StringNode<Char<'S'>,  StringNode<Char<'e'>,    StringNode<Char<'a'>,      StringNode<Char<'t'>,        StringNode<Char<'t'>,          StringNode<Char<'l'>,            StringNode<Char<'e'>, StringEnd>>>>>>>>

最後再用 StringLiteral<>把它包起來
：

StringLiteral<  StringNode<Char<'S'>,    StringNode<Char<'e'>,      ...    >  >>