XB-38與原版B-17從帳面上相比，流線型發動機整流罩設計有望改善空氣力學，並將空速從317英里提高到327英里。此外艾力森發動機高空性能也是一大福音，在戰區可以帶來寶貴的戰術優勢。不知為何，當時認為星形發動機的散熱鰭片在一旦被敵火擊中，可能導致災難性故障，液冷發動機被擊中時不太可能停擺，這也列為XB-38優點之一。

實際試飛時，發現XB-38雖然空速大幅提高，但其升限反而降低了，而且還有發動機廢氣會從歧管接頭洩漏的問題，導致不得不停飛一陣子，直到歧管接頭漏廢氣問題修好才復飛。

1943年6月16日，XB-38在南加州上空進行第9次試飛時，3號發動機(機身右方內側)突然起火，機組員別無選擇，只能棄機跳傘。另外1943年需要V-1710發動機的機種包括洛克希德P-38閃電式、寇蒂斯P-40戰鷹、北美P- 51A野馬，以及貝爾P-39 空中眼鏡蛇與P-63 眼鏡王蛇等戰鬥機，供應反而比B-17的R-1820還吃緊，全案遂戛然而止。

照片中可以看到XB-38排氣管並未像P-40般直接開在發動機兩側，而是將廢氣導入原本B-17的渦輪增壓器，跟P-38排氣系統原理有幾分神似，機腹下還可見到試飛用假槍塔。