ISF : explications et bilan sur la fiscalité des grandes fortunes

L’une des réformes les plus symboliques du quinquennat d’Emmanuel Macron aura sans doute été la suppression de l’ISF (Impôt de Solidarité sur la Fortune). Cet impôt, destiné à taxer la détention des patrimoines les plus importants, était en place de manière quasi continue depuis presque 40 ans. Sa suppression s’est inscrite dans le cadre d’une réforme plus large de la fiscalité, l’objectif affiché étant de réorienter l’épargne des Français vers les investissements productifs.

Cette approche était d’ailleurs déjà suivie par le biais des nombreux dispositifs d’exonération d’ISF en contrepartie d’investissements dans des PME (de même que par le fait que les biens professionnels étaient exclus de l’assiette fiscale). L’imposition sur le patrimoine persiste désormais via l’IFI (Impôt sur la Fortune Immobilière) en se focalisant sur les actifs immobiliers, visant ainsi « la rente immobilière ».

Les actifs financiers et les liquidités ne sont ainsi plus inclus dans l’assiette. Présenté comme un impôt de justice sociale, l’impôt sur la fortune a souvent été critiqué pour son aspect jugé antiéconomique. Dans un contexte de mondialisation et de mobilité des personnes et de capitaux, il aurait ainsi favorisé l’exil fiscal et le départ de talents préjudiciable à la croissance économique.

Malgré des recours devant le Conseil Constitutionnel — en tant qu’impôt taxant des éléments non productifs de revenus — il a jusqu’ici perduré. Retour sur différents aspects de cet impôt souvent clivant.

ISF / IFI historique

L’impôt sur la fortune (sous ses différentes appellations successives, y compris l’IFI) n’a toujours concerné qu’une minorité de contribuables. Pourtant, il est resté clivant. Il se dit même que la suppression de l’impôt sur la fortune pendant la première cohabitation par le gouvernement de Jacques Chirac en 1986 lui aurait couté l’élection présidentielle suivante. Paralysant ainsi toute réforme ultérieure sur le sujet pendant plusieurs décennies…

Si certains pays à l’instar de la France conservent une forme d’imposition sur le patrimoine en sus de l’imposition des revenus des capitaux (Norvège, Suisse ou Espagne), d’autre tels que les Pays-Bas l’ont substitué à l’imposition des revenus des capitaux. Cependant, une majorité de pays l’a tout simplement supprimé. À noter que dans un contexte de crise sanitaire de la Covid-19, la Belgique a établi à compter de 2021 un impôt assez symbolique de 0,15 % sur les comptes titres de valeurs mobilières.

Il existe depuis longtemps certains impôts sur la simple détention ou occupation d’actifs immobiliers (c’est le cas de la taxe foncière, payée par les propriétaires et calculée sur la une valeur locative cadastrale des biens, de la taxe d’habitation ou bien de droit de mutation). Cependant, un impôt ciblant ouvertement les « gros patrimoines » n’a été institué en France qu’en 1982. Le journal de son évolution comprend de nombreux chapitres :

• À l’origine, l’impôt sur la fortune, dénommé Impôt sur les Grandes Fortunes (IGF) a été établi par le gouvernement socialiste de François Mitterrand avec une exonération très limitée sur les biens professionnels. Cependant, les œuvres d’arts avaient été sorties de l’assiette du dispositif. Les taux allaient alors de 0,5% à 1,5% de la valeur du patrimoine
• Après sa suppression par le gouvernement de Jacques Chirac, l’impôt a été réinstauré sous la dénomination d’ISF ou « Impôt de Solidarité sur la Fortune » par le gouvernement de Michel Rocard à la suite de la réélection de François Mitterrand en 1988
• En 2007, un bouclier fiscal avait été instauré par Nicolas Sarkozy, permettant de limiter le montant total des impôts à un pourcentage du revenu d’un contribuable. La loi TEPA a quant à elle entre autres permis aux assujettis à l’ISF de défiscaliser une partie de leurs investissements au capital de PME éligibles en directs ou via des fonds dédiés (FIP ISF, FCPI ISF, mandat ISF…)
• Par ailleurs, en 2008, la loi de Modernisation de l’Économie permet aux contribuables de retour d’expatriation longue d’être exonérés de cet impôt pendant cinq ans sur leurs biens situés à l’étranger
• En 2011, le gouvernement de François Fillon relève le seuil de patrimoine net de 790k€ à 1,3 million d’euros et simplifie le barème avec deux tranches à 0,25 % et 0,5 %. Élu, François Hollande rétablit le barème (il mettra en place pour un temps la taxe à 75 % sur les hauts revenus…). Il instaure en 2012 pour un an une Contribution Exceptionnelle Sur la Fortune (CEF ou CESF) dont le taux marginal montait jusqu’à 1,8 % sans possibilité de plafonnement.
• En 2018, l’ISF est supprimé par Emmanuel Macron, avec l’instauration de l’IFI (Impôt sur la Fortune Immobilière) qui reprend le barème de l’ISF mais se focalise sur le patrimoine net immobilier. Cela se fait dans le cadre d’une réforme plus large de la fiscalité du capital (flat-tax, ou « PFU » — Prélèvement Forfaitaire Unique — à 30%).

Qui doit payer l’impôt sur la fortune ?

Les personnes redevables de l’impôt sur la fortune (ISF et désormais IFI) sont les foyers dépassant le seuil de patrimoine net éligible fixé par la loi au 1er janvier de l’année d’imposition. Pour les résidents fiscaux français, le patrimoine net mondial est pris en compte. Pour les non-résidents, l’assiette est constituée des avoirs situés en France (hors placements financiers). À noter que :

• Le patrimoine est calculé au niveau du foyer (conjoints, concubins notoires, enfants du même foyer fiscal…) et non par personne.
• Le patrimoine pris en compte est estimé pour sa valeur vénale estimée au 1er janvier après déduction des dettes liés à chaque actif (les règles de déduction de certaines dettes ont été revues et durcies récemment).
• Certains actifs tels que la résidence principale bénéficient d’un abattement forfaitaire de 30% et les biens professionnels (y compris de nature immobilière) sont exonérés.
• Les impatriés bénéficient d’une exonération pendant 5 ans sur leurs biens situés à l’étranger
• Le bouclier fiscal permet éventuellement d’être remboursé d’une partie de l’impôt à hauteur du montant des impôts dépassant 75 % du revenu fiscal de référence de l’année précédente.
• Depuis la réforme fiscale de 2018, l’ISF a été remplacé par l’Impôt sur la Fortune immobilière (IFI) qui ne concerne désormais que les biens immobiliers (en direct ou en « pierre papier »)
• Le seuil de déclenchement est un patrimoine net taxable du foyer de 1,3M€ (qui constitue le seuil de déclenchement, mais avec une première tranche commençant à 800k€ pour le calcul de l’impôt).
• Il existe un système d’ajustement pour les contribuables dont le patrimoine se situe à la limite du seuil

L’impôt sur la fortune avait une vocation large. L’imposition mise en place par les pouvoirs publics portait sur le patrimoine mondial en prenant ainsi en compte tous types d’avoirs (avec certes une exclusion des œuvres d’art et des biens nécessaires à l’exercice d’une activité professionnelle) détenus en France, à l’étranger par les résidents fiscaux.

Le mécanisme prévoyait ainsi d’intégrer dans la déclaration de revenu spécifique la valeur au 1er janvier l’ensemble des biens détenus, que ce soient des valeurs mobilières, des comptes bancaires, des actifs immobiliers, des parts d’entreprises situées en France ou à l’étranger. Les non-résidents par ailleurs restant redevables sur leurs seuls actifs situés en France.

Fraction de la valeur nette taxable du patrimoine	Taux applicable
Jusqu’à 800.000€	0 %
De 800.001 € à 1.300.000 €	0,5 %
De 1.300.001 € à 2.570.000 €	0,7 %
De 2.570.001 € à 5.000.000	1 %
De 5.000.001 € à 10.000.000 €	1,25 %
Plus de 10.000.000 €	1,5 %

IFI : quel périmètre ?

L’ISF était destiné comme son nom l’indique à viser les plus fortunés. Dans les faits, les différentes mesures (crédit d’impôt pour investissement dans des PME, ou dons à des associations) ont rapidement permis de faire baisser la note de nombreux contribuables (même si par ailleurs ces mesures ont permis d’orienter chaque année quelques milliards d’euros d’allocations vers les PME et le mécénat).

Les mesures de plafonnement des impôts ont ainsi joué un rôle important : ainsi parmi les 1 % des contribuables les plus riches, les deux tiers étaient concernés par la mesure de plafonnement de l’impôt. Ainsi les 0,1 % de plus fortunés (avec un patrimoine supérieur à 50 millions d’euros) étaient imposés à 0,2 %, alors que le taux marginal est à 1,5 % . Un phénomène qui s’explique : outre les plafonnements, la base imposable n’inclut pas l’outil de travail ni les œuvres d’art, qui sont surreprésentées dans le patrimoine des plus riches.

Par ailleurs, cela ne concerne pas par nature les foyers fortunés ayant choisi l’exil fiscal, au nombre de plusieurs centaines par an, ou certains épisodes tels que l’ISF Gate, des familles riches accusées de dissimulation d’avoirs dans des trusts avec l’aide d’avocats et de gestionnaires de fortune…
Si l’on s’intéresse au patrimoine de plus de 10 millions d’euros, on mesure ainsi que le taux effectif de l’impôt sur la fortune a fortement diminué dans le temps pour s’établir à environ 0,1 %.

À l’inverse, dans le bas de l’échelle, on a souvent en mémoire l’exemple de la veuve retraité de l’Ile de Ré qui, la valeur de sa maison ayant énormément augmenté, voyait l’essentiel de sa retraite ponctionnée par l’ISF, ce qui n’a pas plaidé pour la popularité de cet impôt…

ISF (Impôt de Solidarité sur la Fortune) : un impôt qui comportait de nombreuses exonérations

Au-delà de son objectif de taxe sur le patrimoine, l’ISF comportait de nombreuses exceptions et exonérations (notamment les actifs liés à l’activité professionnelle). L’IFI est par nature désormais centrée uniquement sur le patrimoine immobilier : la décote pour résidence principale a été conservée, mais les conditions de déductibilité des dettes ont été durcies.

Par rapport à une taxation réelle du patrimoine, différentes mesures ont rendu la taxation réelle pour le moins opaque et peu lisible L’écart entre les éléments de la déclaration de revenus, l’imposition et le patrimoine réel pouvant être significatifs :

• Exclusion des œuvres d’art et des biens professionnels
• Abattement de 30% sur la valeur de la résidence principale
• Décote pour illiquidité de certains actifs (par exemple un bien loué)
• Déduction des dettes de la valeur brute du patrimoine
• Dans les démembrements : exclusion de la nue-propriété de l’assiette (permettant des montages d’optimisation avec de la dette)
• Possibilité de réduire l’assiette de certaines participations financières grâce à des schémas spécifiques : holding animatrice ou Pacte Dutreil entre associés (il était cependant préférable de s’adresser à un avocat fiscaliste pour valider les modalités).
• Loi TEPA permettant d’obtenir un crédit d’impôt sur partie du montant de son ISF contre un investissement dans les PME. La carotte fiscale faisait cependant que les investissements n’allaient pas forcément toujours dans les projets les plus méritants ou créateurs de valeurs, avec par ailleurs de nombreux frais prélevés par des intermédiaires, même s’il n’est pas facile de faire un bilan global.
• Enfin bien sûr le bouclier fiscal notamment pour les patrimoines les plus élevés susceptible par ailleurs de plus facilement piloter leur revenus (limitation du versement de dividendes) pour éviter une trop forte imposition
• Intégration des avoir détenus à l’étranger au titre de l’ISF mais uniquement pour les résidents fiscaux français poussant de nombreux français fortunés à s’expatrier(pas forcément uniquement du fait de l’ISF mais du fait du poids global de la fiscalité du capital) privant la France de recette fiscales par ailleurs et dont l’expatriation a été facilité par l’Union Européenne.

Impôt sur la fortune à partir de combien ? Quel était le seuil d’entrée et le montant de patrimoine pour payer l’ISF ?

Le seuil d’entrée de l’ISF (et désormais de l’IFI) se situe à un patrimoine net du foyer (constitué de plusieurs membres de la famille, par exemple couple marié ou concubin notoires) de 1,3M€ après abattements et déduction des passifs.

Le barème de patrimoine n’a pas suivi l’inflation, mais le seuil — alors de 800 000 euros — avait été relevé en 2012 afin de prendre en compte la forte revalorisation de l’immobilier permettant à de nombreux contribuables de sortir de cet impôt.

Les taux des différentes tranches n’ont guère évolué depuis la création de cet impôt avec une tranche marginale supérieure à 1,5 %. François Fillon cependant, avait pendant un temps fortement réduit les taux avec deux tranches de 0,25 % et 0,5 %.

Déclaration ISF/IFI : comment estimer son patrimoine (immobilier, résidence principale, abattements…) ?

La valeur du patrimoine doit être déclaré sur la déclaration de revenue spécifique en respectant la date limite de dépôt de la déclaration qui intervient dans le courant de l’année d’imposition.

La valeur à prendre en compte est celle du patrimoine du foyer (et non par personne, y compris pour des couples mariés sous le régime de la séparation de biens). Il faut considérer la valeur de marché (ou valeur vénale) estimée au 1er janvier de l’année d’imposition.

Cette valorisation n’est pas toujours évidente, notamment pour les actifs illiquides. Cependant, il était possible de documenter assez facilement les différents actifs :

• Solde des comptes et placements bancaires
• Déduction des dettes exigibles
• Décote éventuelle pour illiquidité
• Valorisation des actions cotées en bourse au cours de clôture
• Valeur des actifs financiers (SICAV, assurance-vie, fonds, valeurs mobilières…) fournie via des attestations des sociétés de gestion

Avec l’IFI, seuls les actifs immobiliers sont désormais concernés. Dans ce cas, la valorisation (à l’exception par exemple des SCPI qui fournissent des attestations) peut-être plus compliquée.

Il est possible d’appliquer différentes méthodes (capitalisation des loyers, méthode des comparables…) pour estimer une valeur de marché des actifs immobiliers. La résidence principale détenue en direct fait l’objet d’un abattement de 30%.

Le gouvernement a récemment mis en place une plateforme en ligne pour estimer les valeurs foncières qui donne accès via un site internet dédié aux transactions réelles réalisées sur le marché immobilier. Destiné à limiter les cas de fraude, cela permet de fournir une base opposable à l’administration fiscale dans le cadre de sa déclaration et d’attester de sa bonne foi.

Qu’est-ce que le bouclier fiscal ?

Il s’agit d’un mécanisme mis en place par la loi instaurant un plafonnement de l’ISF (et des autres impôts) en permettant d’éviter un caractère confiscatoire de la fiscalité des contribuables, Le ratio entre les deux notions suivantes ne devant pas dépasser actuellement 75 % (précédemment 50 %) :

• « la somme de tous les impôts dus en France ou à l’étranger au titre des revenus et produits N-1 ;
• le total des revenus mondiaux nets de frais professionnels de N-1 (après déduction des seuls déficits catégoriels dont la déduction est autorisée par l’article 156 du CGI) et des revenus exonérés d’impôt sur le revenu ou soumis à prélèvement libératoire perçus en N-1 en France et à l’étranger.“

Impôt sur la fortune, instauration et suppression : quelle justification et quel bilan ?

À l’origine, l’instauration de l’impôt sur la fortune avait un fort biais idéologique, mais en pratique le montant concerné par cet impôt n’a jamais été très significatif par rapport à la fiscalité globale (même s’il ne touche qu’une petite part des contribuables).

Parmi les critiques apportées à l’ISF on pourrait citer le fait de taxer le capital et, symboliquement, de porter sur des éléments de patrimoine ayant déjà fait l’objet d’une fiscalité lors de leur constitution.

Pourtant, le Conseil Constitutionnel n’a pas remis cet impôt en cause. Au sujet de l’ISF et de l’IFI le Conseil Constitutionnel a eu tendance à juger que celui-ci taxait « la capacité contributive que confère la détention d’un ensemble de biens et de droits » et que l’impôt n’impliquait pas que « que seuls les biens productifs de revenus entrent dans l’assiette de l’ISF, ni que cet impôt ne doive être acquitté qu’au moyen des revenus des biens imposables ».

Les taux du barème, qui étaient dans l’absolu plutôt réduits en période de taux d’intérêt élevés, étaient devenus significatifs dans un contexte de baisse des taux de rendement des actifs. Le taux marginal d’imposition pouvait-être supérieur au rendement brut de nombreux actifs (par ailleurs déjà fiscalisé), pourtant cela n’a pas été remis en cause. Le mécanisme de plafonnement permettait cependant a priori d’éviter un caractère confiscatoire.

Le barème de l’impôt sur la fortune et le seuil d’entrée ayant peu évolué au cours du temps, il a inclus peu à peu avec la hausse de l’immobilier des foyers dont la résidence principale était souvent le principal patrimoine. Si pour protéger les entreprises françaises l’ISF excluait le patrimoine professionnel, il touchait à plein les entrepreneurs ayant revendu leur entreprises (et n’ayant plus d’attache professionnelle) et qui pouvaient être tentés dès lors de s’expatrier pour échapper à cet impôt.

Les différentes réformes (augmentation du seuil d’entrée, création de l’IFI) ont eu pour conséquence de faire baisser fortement le nombre de contribuables assujettis. Par ailleurs, la création de l’IFI a entrainé une chute du montant moyen de cet impôt. En termes d’efficacité économique, il semblerait que depuis la réforme le solde de départs à l’étranger de ménages avec un patrimoine important ait plutôt ralenti.

Cela pourrait être également lié à d’autres éléments de la réforme globale de la fiscalité. Difficile cependant de déceler une augmentation de l’investissement dans les entreprises (les incitations de la loi TEPA ont par ailleurs disparu) ainsi que semble en attester les premiers rapports réalisés par le Comité d’Evaluation des Réformes de la Fiscalité du Capital à demande d’Emmanuel Macron pour évaluer l’impact global de la réforme fiscale (IFI, PFU).

Par ailleurs, différents « think-tanks » plus ou moins libéraux tels que l’IFRAP, Coe-Rexecode via « Les conséquences économiques des expatriations dues aux écarts de fiscalité entre la France et les autres pays » ou bien récemment l’Institut des politiques publiques via son rapport « Évaluer les effets de l’impôt sur la fortune et de sa suppression sur le tissu productif » se sont penchés sur le sujet de cet impôt.

Ils se révèlent souvent sévères sur l’ISF. Si les avocats de cet impôt évoquent une optique de justice sociale, certains de ces organismes pointent ses effets pervers et estiment que les départs à l’étranger induits par l’ISF auraient représenté un impact global de 200 milliards de patrimoine et 45 milliards de capitaux dont le rapatriement pourrait créer 400 000 emplois. L’existence de l’ISF pouvait en effet notamment inciter des entrepreneurs ayant cédé leur entreprise (sortant de leur patrimoine professionnel) à s’exiler pour éviter une érosion potentielle annuelle de 1,5 % de leur patrimoine pour les plus fortunés (hors optimisations possibles), sans compter l’imposition sur les plus-values qui pouvaient dépasser 60 % du gain.

Depuis la suppression de l’ISF, le rythme des départs semble avoir ralenti. Ce phénomène n’est cependant sans doute pas dissociable de la réforme globale de la loi Macron qui a réformé globalement la fiscalité des revenus du capital : unification des taux intérêt/plus-value et passage au PFU unique à 30% contre un barème progressif d’impôt sur le revenu qui pouvait rapidement atteindre marginalement plus de 60 % des revenus précédemment (hors ISF).

Si l’IFI avait pour vocation de s’attaquer à la « rente immobilière », cette démarche n’est pas aisée. En effet, dans le même temps, les gouvernements soutiennent par ailleurs le logement locatif via de nombreuses incitations fiscales (Pinel, Malraux…). L’immobilier dit professionnel sous le statut de LMP est d’ailleurs exclu de l’assiette.

Certains critiques ont mis en avant le fait qu’alors que la résidence principale reste taxée (avec un abattement de 30%), d’autres actifs assez ostentatoires (chevaux de course, yachts, jets-privés, lingots d’or…) sont désormais exclus de l’assiette. Le propriétaire d’un appartement au bord de la mer pouvant être redevable de l’impôt, alors que le propriétaire d’un yacht est exonéré.

Cependant, de manière pragmatique, conserver des actifs tels que les yachts dans l’assiette aurait sans doute poussé des non résidents étranger par nature mobiles, et potentiellement concerné en tant qu’étranger au titre de leurs avoirs situés en France, à éviter d’avoir leur port d’attache dans l’hexagone, privant ainsi l’économie de retombées intéressantes.
In fine, le barème de l’ISF n’étant pas revalorisé avec l’inflation, cet impôt avait peu a peu inclus de plus en plus de contribuables.

Par ailleurs, les pouvoirs publics ont laissé les taux d’imposition applicables relativement inchangés par rapport à leur niveau initial (alors que les taux d’intérêts sont dans le même temps passés de 17 % en 1981 lors de la création de l’impôt sur la fortune à zéro) entrainant une ponction supplémentaire potentiellement confiscatoire sur les revenus du capital. Enfin, combiné à de nombreuses exemptions, cet impôt était sans doute devenu illisible et inéquitable. Tout cela dans un contexte de mondialisation, d’espace économique européen unifié, de forte mobilité des investisseurs et de concurrence fiscale entre les états.

Publication originale le 10 mars 2022, mise à jour le 10 mars 2022